Как работает ChatGPT?

ChatGPT — один из самых блестящих новых инструментов на базе искусственного интеллекта, но алгоритмы, работающие в фоновом режиме, фактически обеспечивают работу целого ряда приложений и сервисов с 2020 года. Поэтому, чтобы понять, как работает ChatGPT, нам нужно начать с разговора о базовом языке. двигатель, который приводит его в действие.

GPT в ChatGPT в основном представляет собой GPT-3 или Генеративный предварительно обученный преобразователь 3, хотя GPT-4 теперь доступен для подписчиков ChatGPT Plus и, вероятно, скоро получит более широкое распространение. Модели GPT были разработаны OpenAI (компания, стоящая за ChatGPT и генератором изображений DALL·E 2), но они поддерживают все, от функций искусственного интеллекта Bing до таких инструментов письма, как Jasper и Copy.ai. Фактически, большинство текстовых генераторов AI, доступных на данный момент, используют GPT-3 и, вероятно, будут предлагать GPT-4 в качестве следующего шага.

ChatGPT привлек внимание к GPT-3, потому что он сделал процесс взаимодействия с текстовым генератором ИИ простым и, что наиболее важно, бесплатным для всех. Кроме того, это чат-бот, а люди любят хороших чат-ботов со времен SmarterChild.

Хотя сейчас GPT-3 и GPT-4 являются самыми популярными моделями больших языков (LLM), в ближайшие несколько лет конкуренция, вероятно, возрастет. У Google, например, есть Bard — чат-бот с искусственным интеллектом, который работает на собственном языковом движке Pathways Language Model (PaLM 2). Но на данный момент предложение OpenAI является отраслевым стандартом де-факто. Это просто самый простой инструмент для людей.

Итак, ответ на вопрос «как работает ChatGPT?» в основном: ГПТ-3 и ГПТ-4. Но давайте копнем немного глубже.

Что такое ChatGPT?

ChatGPT — это приложение, созданное OpenAI. Используя языковые модели GPT, он может отвечать на ваши вопросы, писать копии, составлять черновики электронных писем, поддерживать беседу, объяснять код на разных языках программирования, переводить естественный язык в код и многое другое — или, по крайней мере, пытаться — все на основе естественного языка. подсказывает, что вы кормите его. Это чат-бот, но очень, очень хороший.

Хотя с ним здорово поиграться, если, скажем, вы хотите написать шекспировский сонет о своем питомце или получить несколько идей для тем для некоторых маркетинговых электронных писем, это также хорошо для OpenAI. Это способ получить много данных от реальных пользователей и служить причудливой демонстрацией возможностей GPT, которые в противном случае могли бы показаться немного нечеткими, если вы не были глубоко в машинном обучении.

Сейчас ChatGPT предлагает две модели GPT. Стандартный GPT-3.5 менее мощный, но доступен всем бесплатно. Более продвинутый GPT-4 ограничен подписчиками ChatGPT Plus, и даже они получают только ограниченное количество вопросов каждый день.

Одной из важных особенностей ChatGPT является то, что он может запоминать ваш разговор с ним. Это означает, что он может получить контекст из того, о чем вы его спрашивали ранее, а затем использовать его для информирования своего разговора с вами. Вы также можете запросить доработку и исправление, и это будет ссылаться на то, что вы обсуждали ранее. Это заставляет взаимодействие с ИИ ощущаться как настоящее движение туда-сюда.

Если вы хотите действительно почувствовать это, потратьте пять минут на игру с ChatGPT прямо сейчас (это бесплатно!), а затем вернитесь, чтобы прочитать о том, как это работает.

Как работает ChatGPT?

Этот огромный набор данных был использован для формирования нейронной сети глубокого обучения [ ... ] смоделированной по образцу человеческого мозга, что позволило ChatGPT изучать закономерности и отношения в текстовых данных [ ... ] , предсказывая, какой текст должен быть следующим в любом заданном предложении. .

ChatGPT работает, пытаясь понять ваше приглашение, а затем выдает строки слов, которые, по его прогнозам, лучше всего ответят на ваш вопрос, основываясь на данных, на которых он был обучен.

Давайте на самом деле поговорим об этой тренировке. Это процесс, в котором зарождающемуся ИИ даются некоторые основные правила, а затем он либо ставится в ситуации, либо получает множество данных для обработки, чтобы разработать свои собственные алгоритмы.

GPT-3 был обучен примерно на 500 миллиардах «токенов», которые позволяют его языковым моделям легче присваивать значение и предсказывать правдоподобный последующий текст. Многие слова сопоставляются с отдельными токенами, хотя более длинные или сложные слова часто разбиваются на несколько токенов. В среднем токены имеют длину примерно четыре символа. OpenAI хранит молчание о внутренней работе GPT-4, но мы можем с уверенностью предположить, что он был обучен практически на том же наборе данных, поскольку он еще более мощный.

Все токены были получены из огромного массива данных, написанных людьми. Сюда входят книги, статьи и другие документы по самым разным темам, стилям и жанрам, а также невероятное количество контента, извлеченного из открытого Интернета. По сути, ему было позволено перебрать всю совокупность человеческих знаний.

Этот огромный набор данных использовался для формирования нейронной сети глубокого обучения — сложного, многоуровневого взвешенного алгоритма, смоделированного по образцу человеческого мозга, — который позволил ChatGPT изучать закономерности и взаимосвязи в текстовых данных и использовать способность создавать человекоподобные данные. ответы, предсказывая, какой текст должен быть следующим в любом заданном предложении.

Хотя на самом деле, это сильно занижает стоимость вещей. ChatGPT не работает на уровне предложений — вместо этого он генерирует текст, за которым могут следовать слова, предложения и даже абзацы или строфы. Это не интеллектуальный текст на вашем телефоне, прямо угадывающий следующее слово; он пытается создать полностью последовательные ответы на любое приглашение.

Чтобы еще больше улучшить способность ChatGPT реагировать на множество различных запросов, он был оптимизирован для диалога с помощью метода, называемого обучением с подкреплением с обратной связью с человеком (RLHF). По сути, люди создали модель вознаграждения со сравнительными данными (где два или более ответа модели ранжировались тренерами ИИ), чтобы ИИ мог узнать, какой ответ был лучшим.

Вернемся к сформированной нейронной сети. Основываясь на всем этом обучении, нейронная сеть GPT-3 имеет 175 миллиардов параметров или переменных, которые позволяют ей принимать входные данные — вашу подсказку — а затем, на основе значений и весов, которые она присваивает различным параметрам (и небольшой степени случайности). ), выводит то, что, по его мнению, лучше всего соответствует вашему запросу. OpenAI не сообщает, сколько параметров имеет GPT-4, но можно с уверенностью предположить, что их более 175 миллиардов, что меньше 100 триллионов параметров, о которых когда-то ходили слухи. Независимо от точного числа, большее количество параметров автоматически не означает лучшее. Некоторая повышенная мощность GPT-4, вероятно, связана с большим количеством параметров, чем у GPT-3, но многое, вероятно, связано с улучшением того, как он был обучен.

В конце концов, самый простой способ представить это — это как одна из тех игр «закончи предложение», в которые вы играли в детстве.

В конце концов, самый простой способ представить это — это как одна из тех игр «закончи предложение», в которые вы играли в детстве. Например, когда я дал ChatGPT с помощью GPT-3 подсказку «Zapier is…», он ответил:

«Zapier — это веб-инструмент автоматизации, который позволяет пользователям объединять различные веб-приложения для автоматизации повторяющихся задач и улучшения рабочих процессов».

Такое предложение вы можете найти в сотнях статей, описывающих то, что делает Zapier, поэтому вполне логично, что оно выплевывается здесь. Но когда мой редактор сделал то же самое, он сказал:

«Zapier — это веб-инструмент автоматизации, который позволяет пользователям подключать различные веб-приложения и автоматизировать рабочие процессы между ними».

Это очень похоже, но это не совсем тот же самый ответ. Эта случайность (которую вы можете контролировать в некоторых приложениях GPT-3 с помощью параметра, называемого «температура») гарантирует, что ChatGPT не просто отвечает на каждый отдельный ответ тем, что составляет стандартный ответ. Он каждый раз запускает каждое приглашение через всю нейронную сеть и бросает пару кубиков здесь и там, чтобы сохранить актуальность. Маловероятно, что он начнет утверждать, что Zapier — это цвет с Марса, но он будет смешивать следующие слова в зависимости от их относительной вероятности.

(Что бы это ни стоило, при работе на GPT-4 ChatGPT сказал: « Zapier — это веб-инструмент автоматизации, который позволяет пользователям интегрировать и автоматизировать задачи между различными онлайн-приложениями и службами». Почти то же самое!)

Выплевывая слова, а не знания

Создатели ChatGPT первыми заявили, что он может выдавать неверную (и, возможно, вредную) информацию, хотя они усердно работают над тем, чтобы это исправить.

Вот банальный пример. Когда я попросил ChatGPT, используя GPT-3 и GPT-4, ответить на «Гарри Гиннесс…», GPT-3 сначала ответил, спросив, какой Гарри Гиннесс. Отличный вопрос — нас буквально двое! Поэтому я сказал: «Гарри Гиннесс, писатель» (это я). GPT-4 сразу догадался, кто я такой, хотя оба ответа были очаровательны:

GPT-3: Гарри Гиннесс — независимый писатель и журналист из Ирландии. Он писал для различных изданий, включая The New York Times, The Guardian, The Huffington Post и Popular Mechanics. Он освещает самые разные темы: от технологий и фотографии до путешествий и культуры.

ГПТ-4: Гарри Гиннесс — ирландский писатель, фотограф и эксперт по технологиям. Он писал для различных изданий, включая How-To Geek, Lifehacker и Tuts+. Его работа в основном сосредоточена на технологиях, учебных пособиях и советах, а также на фотографии и редактировании изображений. Компания Guinness заработала репутацию создателя подробных руководств, которые помогают читателям разобраться в сложных вопросах или решить проблемы простым способом.

Первая и последняя строки GPT-3 взяты почти дословно с моих различных веб-сайтов и биографий авторов в Интернете (хотя обычно я указываю себя как внештатный писатель и фотограф, а не как журналист). Но список публикаций в основном составлен. Я писал для The New York Times , но не для The Guardian , The Huffington Post или Popular Mechanics (я регулярно пишу для Popular Science , так что, возможно, это откуда-то взялось).

GPT-4 правильно понимает часть фотографа и на самом деле перечисляет некоторые публикации, для которых я писал, что впечатляет, хотя они не те, которыми я бы больше всего гордился. Это отличный пример того, как OpenAI удалось повысить точность GPT-4 по сравнению с GPT-3, хотя он не всегда может дать самый правильный ответ.

Но вернемся к GPT-3, так как его ошибка представляет собой интересный пример того, что происходит за кулисами в ChatGPT. Он на самом деле ничего не знает обо мне. Это даже не копирование/вставка из интернета и доверие к источнику информации. Вместо этого он просто предсказывает строку слов, которая будет следующей, на основе миллиардов точек данных, которые у него есть.

Например: New York Times гораздо чаще группируется с The Guardian и Huffington Post, чем с местами, для которых я писал, такими как Wired , Outside , The Irish Times и, конечно же, Zapier. Поэтому, когда ему нужно выяснить, что должно последовать из «Нью-Йорк таймс» , он не опирается на опубликованную информацию обо мне; он извлекает этот список крупных публикаций из всех имеющихся у него обучающих данных. Это очень умно и выглядит правдоподобно, но это неправда.

GPT-4 справляется со своей задачей намного лучше и прибивает публикации, но остальная часть того, что он говорит, на самом деле просто кажется правдоподобным продолжением предложений. Я не думаю, что это имеет большое значение для моей репутации: это просто говорит то, что говорит биография. Он гораздо лучше скрывает, как работает, чем GPT-3, хотя на самом деле использует тот же метод.

Тем не менее, очень впечатляет, насколько GPT уже улучшился. На данный момент GPT-4 привязан к премиум-подписке, поэтому большая часть контента ChatGPT, который вы видите, будет зависеть от GPT-3, но это может измениться в ближайшее время. Кто знает, что принесет GPT-5.

Что такое ChatGPT API?

OpenAI не относится к своей технологии как к нам. У компании есть платформа API, которая позволяет разработчикам интегрировать мощь ChatGPT в свои приложения и сервисы (конечно, за определенную плату).

Zapier использует API ChatGPT для обеспечения собственной интеграции ChatGPT, которая позволяет подключать ChatGPT к тысячам других приложений и добавлять ИИ в критически важные для бизнеса рабочие процессы. Вот несколько примеров для начала, но вы можете активировать ChatGPT практически из любого приложения.

Вы также можете использовать другие модели OpenAI, такие как DALL·E и Whisper, с интеграцией Zapier с OpenAI. Автоматизируйте рабочие процессы, включающие создание изображений и расшифровку аудио, прямо из приложений, которые вы уже используете.

Связанное чтение: Как вы можете (и когда не должны) использовать ChatGPT для написания маркетингового текста