Что такое GPT-3? Все, что вашему бизнесу нужно знать о революционной программе OpenAI по обработке естественного языка

GPT-3 - это компьютерная программа, разработанная частной компанией OpenAI из Сан-Франциско. Это гигантская нейронная сеть, и как таковая, она является частью сегмента глубокого обучения машин, который в свою очередь является отраслью области компьютерных наук, известной как искусственный интеллект, или ИИ. Программа лучше, чем любая предыдущая программа, создает строки текста, звучащие так, будто они могли быть написаны человеком.

Причина, по которой такой прорыв может быть полезен компаниям, заключается в том, что он имеет большой потенциал для автоматизации задач. GPT-3 может реагировать на любой текст, который человек вводит в компьютер, новым текстом, соответствующим контексту. Например, введите полное предложение на английском языке в строку поиска, и вам более вероятно вернется ответ полными предложениями, соответствующими запросу. Это означает, что GPT-3 может потенциально усилить усилия человека во множестве ситуаций, от вопросов и ответов в области обслуживания клиентов до поиска документов для дилерских проверок и создания отчетов.

Рассмотрим следующий краткий пример того, что человек набирает на компьютере и как GPT-3 отвечает:

Вопрос: Кто сыграл Тесс в сериале "Прикосновение ангела"?

GPT-3-сгенерированное завершение: А: Деллорис Патрисия Ирли (6 июля 1931 - 19 ноября 2017), известная профессионально как Делла Риз

Программа на данный момент находится в частной бета-версии, для которой люди могут зарегистрироваться в режиме ожидания. Она предлагается OpenAI в качестве API, доступного через облачную платформу, и компании, которым предоставлен доступ, разработали некоторые увлекательные приложения, которые используют генерацию текста для усовершенствования всех видов программ, от простых вопросно-ответных систем до создания программного кода.

Вместе с потенциалом для автоматизации приходят и большие недостатки. GPT-3 требует больших вычислительных ресурсов, что делает его использование в большинстве компаний невозможным в рамках возможностей предприятия. Сгенерированный текст может производить впечатление с первого взгляда, но длинные композиции часто становятся некошерными. Кроме того, у него большой потенциал для усиления предубеждений, включая расизм и сексизм.

КАК РАБОТАЕТ GPT-3?

GPT-3 - это пример того, что называется языковой моделью, которая представляет собой конкретный вид статистической программы. В данном случае она была создана как нейронная сеть.

Название GPT-3 - это акроним, который означает "генеративное предварительное обучение", и это уже третья версия данной технологии. Она является генеративной, потому что, в отличие от других нейронных сетей, которые выдают числовой результат или ответ "да" или "нет", GPT-3 может генерировать длинные последовательности оригинального текста в качестве своего вывода. Она предварительно обучена в том смысле, что она не была разработана с каким-либо предварительным знанием о предметной области, хотя она может выполнять задачи, связанные с конкретными областями знания, такие как перевод на иностранный язык.

Языковая модель, в случае GPT-3, это программа, которая вычисляет вероятность появления одного слова в тексте, исходя из других слов в тексте. Это то, что известно как условная вероятность слов.

Например, в предложении, Я хотел приготовить омлет, поэтому пошел в холодильник и достал некоторые ____, пустое место может быть заполнено любым словом, даже абсурдным, учитывая бесконечную составляемость языка. Но слово "яйца", вероятно, занимает достаточно высокое место для заполнения этого пробела в большинстве нормальных текстов, выше, скажем, чем "слоны". Мы говорим, что вероятность наличия яиц при заданных условиях текста выше, чем вероятность наличия слонов.

При разработке нейронной сети, называемой фазой обучения, GPT-3 подается миллионы и миллионы примеров текста, а она преобразует слова в так называемые векторы, числовые представления. Это форма сжатия данных. Затем программа пытается развернуть этот сжатый текст обратно в правильное предложение. Задача сжатия и разжатия развивает точность программы в вычислении условной вероятности слов.

После того, как модель будет обучена, то есть ее подсчеты условной вероятности для миллиардов слов станут максимально точными, она может предсказать, какие слова следуют далее, когда человек начинает печатать первое слово или несколько слов. Это действие предсказания известно в машинном обучении как вывод.

Это ведет к поразительному зеркальному эффекту. Возникают не только вероятные слова, но и воспроизводится текстура и ритм жанра или форма письменного задания, такие как вопросно-ответные наборы. Так, например, GPT-3 может быть питана некоторыми именами известных поэтов и образцами их работ, затем именем другого поэта и только заголовком вымышленного стихотворения, и GPT-3 произведет новое стихотворение таким образом, чтобы оно соответствовало ритму и синтаксису поэта, имя которого было предложено.

Рассмотрим следующий пример того, как GPT-3 создает стихотворение с нуля, похожее на произведения Уоллеса Стивенса, после предоставления заголовков, имен и примеров других поэтов и их работ:

Человекоподанное ввод : Город  ПЕРЕВОД С АНГЛИЙСКОГО ЕДМУНДОМ КИЛОМ [Текст стихотворения опущен]

Человекоподобный ввод: НЕКОТОРЫЕ ДЕРЕВЬЯ Джон Эшбери [Текст стихотворения опущен]

 Вход от человека: Shadows on the Way Wallace Stevens

GPT-3 пригенерировал следующее стихотворение:
-------- Сгенерированное стихотворение 1 --------
   Мне нужно иметь тени на пути,
   Если я хочу идти —
   Каждый шаг сделан медленно и одиноко,
   Чтобы быть уже готовым.

   И я должен мыслить серыми строками,
   Чтобы иметь тусклые мысли в качестве направления,
   Должен смотреть на синее и зеленое,
   И никогда не позволять глазу забыть,
   Что цвет — мой друг.

   И фиолетовый тоже должен окружать меня,
   Желтый солнца больше не вторгается,
   Чем синеватый снег,
   Который падает на каждого из нас.
   Мне нужно иметь серые мысли и синие мысли вместе,
   Если я собираюсь уходить вообще.

Создание ответа означает, что GPT-3 может сделать гораздо больше, чем просто писать текст. Он может проходить все виды тестов, включая тесты на рассуждение с использованием ответов на естественном языке. Например, если GPT-3 получает на вход эссе о ставках за аренду недвижимости в Манхэттене и утверждение, которое его кратко описывает, например, "Манхэттен дешевый", и вопрос "верно или неверно?", GPT-3 отвечает на весь этот запрос, возвращая слово "неверно", так как утверждение не согласуется с аргументами эссе.

Ввод от человека: Снижение арендной платы может показаться удивительным, учитывая, что некоторые сообщества в Нью-Йорке опечалились потерей любимых местных предприятий из-за высоких арендных плат. Но, несмотря на недавние смягчения, для многих из этих розничных торговцев ставка аренды все еще слишком сильно увеличилась по сравнению с теми, что были в конце 1970-х, когда они заключали свои договоры аренды. Конечно, недавнее падение цен не означает, что Манхэттен дешевый.

Входные данные, предоставленные человеком: вопрос: Манхэттен дешевый. правда, ложь или ни то, ни другое?

Человеком предоставленный ввод: ответ:

GPT-3-сгенерированное заполнение: false

Способность GPT-3 отвечать таким образом, что соответствует заданным примерам, включая формы, с которыми он ранее не сталкивался, делает его так называемой моделью языка "few-shot". Вместо того чтобы быть подробно настроенной или "обученной", как это называется, на определенной задаче, GPT-3 уже имеет так много информации о том, как слова сочетаются, что ему достаточно всего нескольких примеров задачи, так называемого шага донастройки, и он приобретает способность выполнять также и эту новую задачу.

Возможность отражать естественные языковые стили и достаточно высокий уровень оценок по языковым тестам могут создать впечатление, что GPT-3 приближается к своего рода человекоподобной владению языком. Как мы увидим, это не так.

Более подробную информацию можно найти в официальной статье по GPT-3, опубликованной учеными OpenAI.

Что может GPT-3?

OpenAI теперь стала так же известна - или, возможно, пошла накатом - среди масс из-за практик по выпуску своего кода, как сам код сам по себе. Когда компания представила предшественника GPT-2 в День Святого Валентина 2019 года, изначально она не планировала выпускать наиболее мощную версию для публики, говоря о том, что это слишком опасно для ее выпуска в дикой природе из-за риска массового производства ложного и вводящего в заблуждение текста. Позднее OpenAI сделала его доступным для загрузки.

На этот раз OpenAI не предоставляет никаких загрузок. Вместо этого, они включили облачный API-интерфейс, сделав GPT-3 услугой через интернет. (Можно считать его LMaaS, услугой языковой модели через интернет.) Причиной такого решения, по заявлению OpenAI, является как ограничение использования GPT-3 злоумышленниками, так и получение прибыли.

"В открытых исходных кодах нет кнопки 'отменить'", сообщил OpenAI ZDNet через представителя.

«Выпуск GPT-3 через API позволяет нам безопасно контролировать его использование и отзывать доступ при необходимости».

В настоящее время API-сервис OpenAI ограничен для утвержденных сторон; есть список ожидания, в который можно вступить, чтобы получить доступ.

"В настоящее время API находится в контролируемой бета-версии с небольшим количеством разработчиков, которые предлагают идеи для того, чтобы реализовать их с помощью API", - сообщила OpenAI ZDNet.

Также: 'Опасный' текстовый генератор искусственного интеллекта от OpenAI теперь доступен: люди находят слова 'убедительными'

Есть увлекательные примеры того, что можно сделать от компаний в бета-программе. Sapling, компания, поддерживаемая венчурным фондом Y Combinator, предлагает программу, которая работает поверх CRM-программного обеспечения. Когда сотрудник обслуживает входящий запрос о помощи, скажем, по электронной почте, программа использует GPT-3, чтобы предложить целую фразу в качестве ответа из наиболее вероятных вариантов ответов.

Компания-разработчик игр Latitude использует GPT-3, чтобы улучшить свою текстовую приключенческую игру AI Dungeon. Обычно для создания такой игры требуется сложное дерево решений, чтобы сценарий включал множество возможных путей в игре. Вместо этого GPT-3 может динамически генерировать изменяющееся состояние игрового процесса в ответ на действия, вводимые пользователями.

Уже сейчас автоматизация задач выходит за рамки естественного языка и расширяется на генерацию компьютерного кода. Код — это язык, и GPT-3 может логически выводить наиболее вероятный синтаксис операторов и операндов на разных языках программирования, а также создавать последовательности, которые можно успешно компилировать и запускать.

Ранний пример озарил Твиттер-сферу, от стартапа по разработке приложений Debuild. Глава компании, Шариф Шамим, смог создать программу, в которой вы пишете описание пользовательского интерфейса программного обеспечения простым английским языком, а GPT-3 отвечает компьютерным кодом, используя расширение JSX для JavaScript. Этот код создает пользовательский интерфейс, соответствующий вашему описанию.

Это поражает воображение. С помощью GPT-3 я создал генератор макетов, где вы просто описываете желаемый макет, и он генерирует для вас код JSX. W H A T pic.twitter.com/w8JkrZO4lk

— Шариф Шами (@sharifshameem) 13 июля 2020 г.

Шамир показал, что, описывая пользовательский интерфейс с несколькими кнопками, с помощью одного предложения он может описать всю программу, хотя и простую, такую как вычисление основных арифметических операций и отображение результата, а GPT-3 сгенерирует весь код и отобразит работающее приложение.

Я только что создал *работающее* приложение React, описав то, что мне нужно было с помощью GPT-3. Я все еще восхищен. pic.twitter.com/UUKSYz2NJO

— Шариф Шамир (@sharifshameem) 17 июля 2020 г.

OpenAI получила «десятки тысяч заявок на доступ к API до настоящего времени, и мы осторожно рассматриваем доступ, узнавая, что эти модели способны делать в реальном мире», - компания сообщила ZDNet. «В связи с этим, список ожидания может быть долгим».

Цена на возможный коммерческий сервис пока не определена. Отвечая на вопрос о выходе программы из бета-версии, OpenAI ответила ZDNet, "не скоро".

"Выпуск такой мощной модели означает, что нам нужно продвигаться медленно и продуманно, оценивая ее влияние на бизнес, отрасли и людей", - заявила компания. "Формат API позволяет нам изучать и регулировать ее использование соответствующим образом, но мы не торопимся делать ее всеобще доступной из-за ограничений."

Если вы нетерпеливы и не хотите ждать бета-списка ожидания, вы можете в то же время загрузить предыдущую версию, GPT-2, которую можно запустить на ноутбуке с использованием Docker. Исходный код размещен в том же репозитории Github, в формате Python для фреймворка TensorFlow. Конечно, вы не получите таких же результатов, как с GPT-3, но это способ познакомиться со системой.

Также помните, что постоянно появляются новые языковые модели с аналогичными возможностями, и некоторые из них могут быть достаточными для ваших целей. Например, Google недавно выпустил версию своей языковой модели BERT, называемую LaBSE, которая демонстрирует значительное улучшение в машинном переводе. Она доступна для скачивания с TensorFlow Hub.

Также: Гигантский GPT-3 от OpenAI намекает на границы языковых моделей для искусственного интеллекта

ЧТО ТАКОЕ ИСТОРИЯ GPT-3?

GPT-3, представленный в мае, является третьей версией программы, впервые представленной в 2018 году компанией OpenAI, за которой последовала GPT-2 в прошлом году. Три программы являются примером быстрого развития в области языковых моделей, благодаря двум большим прорывам, которые произошли в 2015 году.

Первым прорывом было использование так называемого внимания. Ученые-искусственного интеллекта Йошуа Бенджио и его коллеги из Монреальского института искусственного интеллекта Мила заметили, что языковые модели, сжимая предложение на английском языке и затем разжимая его, всегда использовали вектор фиксированной длины. Каждое предложение было упаковано в вектор одинакового размера, независимо от его длины.

Бенжио и его команда пришли к выводу, что такой жесткий подход является узким местом. Языковая модель должна быть способна искать по множеству векторов разной длины, чтобы найти слова, оптимизирующие условную вероятность. И поэтому они разработали способ позволить нейронной сети гибко сжимать слова в вектора разных размеров, а также позволить программе гибко искать по этим векторам для контекста, который имеет значение. Они назвали это вниманием.

Внимание стало ключевым элементом в языковых моделях. Оно было использовано учеными Google два года спустя для создания программы языковой модели под названием Transformer. Transformer набрал невероятно высокие баллы на тестах по языковому манипулированию. Он стал фактической языковой моделью, и им было использовано Google для создания известной модели BERT, еще одной очень успешной языковой модели. Transformer также стал основой GPT-1.

Избавленный от необходимости жестко манипулировать вектором фиксированного размера, Трансформер и его потомки могут перемещаться по разным частям данного текста и находить условные зависимости, которые охватывают гораздо больший контекст.

Эта свобода подготовила почву для еще одного прорывного достижения, которое появилось в 2015 году и было еще более важным для работы OpenAI, известным как безнадзорное обучение.

Фокус до этого времени для большинства языковых моделей был направлен на обучение с учителем на основе так называемых размеченных данных. При заданном входе нейронная сеть также получает пример выхода в качестве целевой версии ответа. Так, если задача состоит в переводе, входом может быть англоязычное предложение, а в качестве целевой цели может быть предоставлен перевод на французский язык, созданный человеком, и эта пара предложений составляет размеченный пример.

Попытка нейронной сети сгенерировать французский перевод будет сравниваться с официальным французским предложением, и разница между ними показывает, насколько нейронная сеть ошибается в своих прогнозах, то есть функция потери или целевая функция.

Фаза обучения предназначена для закрытия разрыва в ошибке между рекомендуемым выходом нейронной сети и целевым выходом. Когда разрыв максимально мал, функция оптимизации достигает своей цели и нейронная сеть лингвистической модели считается обученной.

Но пометить желаемый результат аккуратно может быть проблемой, потому что требуется много курирования данных, таких как сбор образцовых предложений парами по человеческому суждению, что требует времени и ресурсоемко. Эндрю Дай и Квок Ле из Google предположили, что можно уменьшить количество помеченных данных, если языковая модель будет сначала обучена в безнадзорном режиме.

Вместо того, чтобы предоставлять пары предложений, сети были предоставлены только одиночные предложения и ей приходилось сжимать каждое из них в вектор и восстанавливать каждое обратно в исходное предложение. Зеркальность стала функцией потерь для оптимизации. Они обнаружили, что чем больше не помеченных примеров сжимаются и восстанавливаются таким образом, тем больше они могут заменить множество помеченных данных по таким задачам, как перевод.

В 2018 году команда OpenAI объединила эти два элемента. Механизм внимания, разработанный Бенджио и его коллегами, который будет перемещаться по множеству векторов слов, и метод необученного предварительного обучения Дая и Ле, который будет поглощать большие объемы текста, сжимать и распаковывать его, чтобы воспроизвести исходный текст.

Они взяли стандартный Трансформер и подали ему содержимое BookCorpus, базу данных, составленную Университетом Торонто и Массачусетским технологическим институтом, состоящую из более чем 7000 опубликованных книжных текстов на общий объем почти миллион слов, что в сумме составляет 5 ГБ. GPT-1 был обучен сжимать и разжимать эти книги.

Так началась трехлетняя история все более и более объемных наборов данных. Исследователи в OpenAI, предполагая, что больше данных делают модель более точной, расширили границы того, что программа могла усвоить. С GPT-2 они отказались от BookCorpus в пользу собственного набора данных, состоящего из восьми миллионов веб-страниц, собранных с исходящих ссылок с Reddit, общим объемом 40 ГБ.

Тренировка GPT-3 все еще огромна, состоящая из популярного набора данных CommonCrawl из веб-страниц с 2016 по 2019 год. Номинально это 45 ТБ сжатых текстовых данных, хотя OpenAI редактировала его, удаляя дубликаты и вносящая другие улучшения в качестве. Финальная версия составляет 570 ГБ данных. OpenAI дополнила это несколькими дополнительными наборами данных различных типов, включая данные из книг.

КАК GPT-3 ЗАВИСИТ ОТ ВЫЧИСЛИТЕЛЬНОЙ МОЩНОСТИ?

С появлением GPT-1, 2 и 3 масштаб вычислений стал существенным фактором для прогресса. При обучении моделей требуется все больше вычислительной мощности, чтобы достичь лучших результатов.

Что оптимизирует нейронную сеть во время обучения - это настройка ее весов. Веса, которые также называются параметрами, являются матрицами, массивами строк и столбцов, на которые умножается каждый вектор. Путем умножения множества векторов слов или фрагментов слов им придается большая или меньшая весовая значимость в окончательном выводе, поскольку нейронная сеть настраивается для уменьшения ошибки.

OpenAI обнаружила, что для успешной работы с их все большими наборами данных им пришлось добавить все больше и больше весов.

Оригинальный Transformer от Google имел 110 миллионов весов. GPT-1 следовал этому дизайну. С GPT-2 количество было увеличено до 1,5 миллиарда весов. С GPT-3 количество параметров увеличилось до 175 миллиардов, что делает GPT-3 самой большой нейронной сетью, которую когда-либо видел мир.

Умножение - простая вещь, но когда 175 миллиардов весов должны быть умножены на каждый бит входных данных, по миллиардам байтов данных, это становится невероятным упражнением в параллельной обработке компьютера.

Уже с GPT-1, в 2018 году, OpenAI продвигалась в границах практического компьютерного моделирования. Увеличение объема данных требовало увеличения числа графических процессоров (GPU). Предыдущие языковые модели помещались в одну GPU, потому что сами модели были небольшими. Обучение GPT-1 занимало месяц на восьми параллельной работе графических процессоров (GPU).

С GPT-3 OpenAI была несколько скрытничеством. Она не описала точную конфигурацию компьютера, используемую для тренировки, кроме как сказала, что она работает на кластере чипов Nvidia V100, работающих в Microsoft Azure. Компания описала общее количество вычислительных циклов, необходимых, заявляя, что это эквивалентно проведению тысячи триллионов операций с плавающей запятой в секунду в течение 3 640 дней.

Компания-производитель компьютеров и оператор облачных вычислений Lambda Computing оценивает, что одной графической карты потребуется 355 лет для запуска такого объёма вычислений, что по стандартной цене на облачные GPU экземпляры стоимость составит 4,6 миллиона долларов. И здесь ещё есть вопрос о памяти. Чтобы хранить все весовые значения, требуется все больше и больше памяти с увеличением количества параметров. Для 175 миллиардов параметров в GPT-3 требуется 700 ГБ, что в 10 раз больше, чем память на одной графической карте.

Именно такие огромные требования к мощности подталкивают область компьютерных чипов. Они подняли акции Nvidia, доминирующего поставщика GPU для обучения искусственного интеллекта, на почти 5000% за последние десять лет. Это привело к ряду стартап-компаний, поддерживаемых сотнями миллионов долларов венчурного капитала, включая Cerebras Systems, Graphcore и Tachyum. Конкуренция будет продолжаться, пока разработка все более масштабных моделей останется основной направленностью этой области.

OpenAI выпустила свои собственные исследования о растущей вычислительной мощности, необходимой для работы. Компания отметила еще в 2018 году, что объем вычислительных циклов, потребляемых самыми большими моделями обучения ИИ, удвоился каждые 3,4 месяца начиная с 2012 года, что является быстрее темпом расширения, чем в случае знаменитого закона Мура от роста транзисторной мощности. (Заметьте, компания также провела исследования, показывающие, что модели, становящиеся все большими на единицу, на самом деле оказываются более эффективными по сравнению с предыдущими нейронными сетями, выполняющими ту же работу.)

Уже сейчас разрабатываются модели, использующие более триллиона параметров, согласно информации, предоставленной компаниям, знакомым с секретными проектами искусственного интеллекта. Вероятно, это еще не предел, пока гипермасштабные компании, такие как Google, готовы уделять своим огромным центрам обработки данных все больше мощностей для моделей еще большего размера. Большинство ученых, занимающихся искусственным интеллектом, согласны в том, что увеличение размера моделей машинного обучения будет нормой в ближайшее время.

"С точки зрения влияния на искусственный интеллект в целом, наиболее захватывающая часть GPT-3 заключается в том, что она показывает, что мы далеко не достигли пределов масштабирования ИИ", - рассказал Кенни Дэниэл, главный технический директор поставщика инструментов управления ИИ Algorithmia, в интервью ZDNet.

Помимо повышения использования вычислительных мощностей, другим важным влиянием GPT-3 будет являться то, как он ускоряет программирование и разработку приложений в целом. Демонстрация Шамина JSX-программы, построенной просто путем набора фразы, это лишь вершина айсберга.

КАКИЕ НЕДОСТАТКИ У GPT-3?

Несмотря на значительное улучшение по сравнению с предыдущей версией, GPT-3 имеет ряд ограничений, о которых сами авторы указывают. «Хотя в целом качество высокое, образцы GPT-3 иногда повторяются семантически на уровне документа и начинают терять согласованность при достаточно длинных отрывках», - отмечено в опубликованной статье.

Программа также плохо справляется с рядом индивидуальных тестов. "Конкретно, GPT-3 испытывает трудности с вопросами типа 'Если я положу сыр в холодильник, он растает?' пишут авторы, описывая те типы здравого смысла, с которыми GPT-3 не справляется."

Сразу после выхода GPT-3 волнение достигло таких масштабов, что генеральный директор компании, Сэм Альтман, обратился к людям с просьбой сдержать свой пыл.

"Шумиха вокруг GPT-3 чересчур велика", написал Альтман 19 июля. "Это впечатляет (спасибо за комплименты!), но у него все же есть серьезные недостатки и иногда бывают очень глупые ошибки", - написал он. "AI изменит мир, но GPT-3 - только очень раннее представление. Нам еще многое предстоит разобрать".

Хайп вокруг GPT-3 слишком велик. Это впечатляет (спасибо за хорошие комплименты!), но у него все равно есть серьезные слабости и иногда он делает очень глупые ошибки. Искусственный интеллект изменит мир, но GPT-3 - это только очень ранний взгляд. Нам еще многое предстоит понять.

— Сэм Альтман (@sama) 19 июля 2020 года

Другие люди вне OpenAI также внесли свою правильность. Опытный пользователь нескольких поколений GPT, Макс Вулф, написал на своем личном блоге, что GPT-3 лучше предыдущих версий, но только в среднем. Существует спектр качества сгенерированного текста, так что некоторые примеры, с которыми вы столкнетесь, кажутся замечательными, а другие совсем не очень хорошими. Вулф сравнивает GPT-3 с Siri от Apple, у которой есть тревожная привычка выдавать мусор во многих случаях. (Эссе Вулфа стоит прочитать полностью, чтобы внимательно рассмотреть GPT-3.)

Действительно, чем больше и больше примеров GPT-3 читает человек, особенно длинных текстов, тем больше начального энтузиазма исчезает. GPT-3 на протяжении длительного времени теряет суть, как говорят. Независимо от жанра или задачи, его текстовый вывод становится длинным и скучным, с появлением внутренних несоответствий в повествовании.

Несмотря на свою энтузиазм, некоторые программисты перечислили много недостатков, такие как неудачные попытки GPT-3 рассказать шуточки отцовского уровня. Когда вводится загадка типа "Что одна тарелка сказала другой?," правильным ответом на нее должно быть "Ужин на мне!" Но вместо этого GPT-3 может ответить нехумористично: "Погрузи меня!"

Вопрос: Что одна тарелка сказала другой тарелке?

GPT-3-сгенерированное завершение: A. Погрузи меня!

В то время как GPT-3 может отвечать на предполагаемые вопросы на здравый смысл, например, сколько у жирафа глаз, он не может отвлечься от бессмысленного вопроса и ведется на то, чтобы дать бессмысленный ответ. Если его спросят: "Сколько глаз у моей ноги?", он покорно ответит: "У моей ноги два глаза".

Один из способов думать обо всей этой посредственности состоит в том, что получение хорошего результата от GPT-3 в некоторой степени требует инвестиций в создание эффективных подсказок. Некоторые подсказки, созданные людьми, могут вынудить программу давать более лучшие результаты, чем другие подсказки. Это новая версия пословицы "мусор на входе, мусор на выходе". Подсказки могут стать новой областью программирования, требующей и опыта, и изящества.

Предвзятость - большое соображение, не только для GPT-3, но и для всех программ, которые полагаются на условное распределение. Основной подход программы - вернуть точно то, что в нее вводят, как зеркало. Это может привести к возникновению предубеждений в данных. Уже была проведена ученая дискуссия о значительной предвзятости в GPT-2.

С помощью GPT-3 ученый по искусственному интеллекту в Nvidia, Анима Анандкумар, подняла тревожный сигнал о тенденции к производству предвзятого вывода, включая расистские и сексистские высказывания.

Меня беспокоит то, что это выпущено без учета предвзятости. Обучено на корпусе @reddit с огромным количеством #расизма и #сексизма. Я работал с такими моделями и текст, который они генерировали, удивительно предвзят. @alexisohanian @OpenAI https://t.co/R8TU1AeYZd

— Проф. Анима Анандкумар (@AnimaAnandkumar) 11 июня 2020 года

Обратившись к критике Анандкумара, OpenAI сказало ZDNet, "Как и в случае со всеми всё более мощными генеративными моделями, вопросы справедливости и злоупотребления являются нашими обеспокоенностями."

"Это одна из причин, по которой мы предоставляем эту технологию через API и запускаем ее в частную бета-версию для начала", - заявила OpenAI ZDNet. Компания отмечает, что "не будет поддерживать использование, которое мы считаем причиной физического или психического вреда для людей, включая, но не ограничиваясь, домогательство, намеренное обман, радикализацию, астротерфинг или спам."

OpenAI сообщил ZDNet, что они используют знакомый вид тестирования на проникновение, чтобы обнаружить угрозы в программе:

Мы развернули то, что мы называем «красной командой», которая задачами имеет непрерывное нарушение системы фильтрации контента, чтобы узнать больше о том, как и почему модель возвращает плохие результаты. Ее аналогом является "синяя команда", которая задачами имеет измерение и снижение предубежденности.

Еще одной большой проблемой является очень широкий и максимально общий характер GPT-3, факт того, что он подкрепляет только самую толстую часть кривой условной вероятности. Существует так называемый длинный хвост и иногда толстый хвост вероятностного распределения. Это менее распространенные случаи, которые могут составлять самые инновационные примеры использования языка. Фокусирование на зеркальном отражении наиболее распространенного текста в обществе угрожает исчезновению творчества и исследования.

На данный момент, решением OpenAI для этой проблемы является настройка, которую можно отрегулировать в GPT-3, называемая "temperature" (температура). Изменение этого параметра позволит настроить GPT-3 на выбор менее вероятных сочетаний слов и, таким образом, создавать текст, который, возможно, будет более необычным.

Более актуальной проблемой для бизнеса является невозможность настройки GPT-3 на компаний-специфичные данные. Без возможности настройки ничего, сложно специализировать GPT-3 для промышленной области, например. Может случиться так, что любая компания, использующая API-сервис, столкнется с текстом, который нуждается в дополнительной обработке, чтобы сделать его применимым к отрасли. Возможно, стартапы, такие как Sapling, станут формировать экосистему, эквивалентную ВПП, которые решат эту проблему. Возможно, но это остается вопросом, подлежащим исследованию.

Если это не вызывает достаточное беспокойство, есть еще одна проблема: в качестве облачного сервиса GPT-3 является черным ящиком. Это означает, что компании, которые используют этот сервис, не имеют представления о том, каким образом он приходит к своим выводам - особенно рискованно, учитывая вопросы пристрастности. Экосистема участников, таких как Sapling, которые улучшают GPT-3, могут добавить дополнительные слои осложнения в то же время, когда они улучшают сервис.

Как часть проблемы с "чёрным ящиком", GPT-3 иногда может просто запоминать информацию, которую он усвоил с веб-сайтов. Это вызывает вопросы о нарушении авторских прав. Если компания использует выходные данные от API сервиса, содержащие материалы, защищенные авторским правом, эта компания может нарушить права другого лица. На вопрос о авторском праве OpenAI ответила ZDNet, что авторское право на текст, сгенерированный GPT-3, "принадлежит пользователю, а не OpenAI". Как это работает на практике, пока неизвестно.

В настоящее время самым большим практическим недостатком является масштаб, необходимый для обучения и работы GPT-3. OpenAI признает это в официальной статье. Авторы пишут, что необходимо провести работы по расчету, как стоимость больших моделей амортизируется со временем на основе созданной выходной информации.

Кроме того: Нет, этот ИИ не может закончить ваше предложение

ДЕЙСТВИТЕЛЬНО ЛИ GPT-3 УЧИТСЯ?

С узким значением слова, GPT-3 учится в том смысле, что его параметры настраиваются автоматически путем обработки тренировочных данных, так что языковая модель становится лучше, чем могло бы позволить только явное программирование. В этом смысле GPT-3 представляет собой прогресс в десятилетиях длительного поиска компьютера, который может научиться функции преобразования данных без явного кодирования этой функции человеком.

Тем не менее, задаются вопросы о том, действительно ли машина обладает искусственным интеллектом или на самом деле учится. Есть много способов обсудить этот вопрос, но поверхностное размышление подсказывает, что многое из того, что мы можем назвать мыслью человека, не происходит здесь.

Представьте, что вы можете удерживать в своем мозге числовой показатель того, сколько слов могут встречаться вместе друг с другом. Вы бы сказали, что ваша способность формировать фразы, предложения, абзацы и целые тексты была бы глубокой? Вы, вероятно, скажете, что это всего лишь статистика, и что чего-то не хватает.

Были проведены сравнения между глубоким обучением и знаменитым Клевером Хансом, немецкой лошадью, которую хозяин выставлял публично, демонстрируя ее способность выполнять арифметические действия копытами. Позднее было обнаружено, что Ханс реагирует на сигналы своего хозяина и только после этого начинает стучать копытами, и что без этих сигналов он не способен выполнять задачи.

Аналогично, человеческое качество GPT-3 рассыпается при ближайшем рассмотрении. Когда GPT-3 правильно отвечает на утвердительно-отрицательный вопрос о эссе по нью-йоркской недвижимости, это не потому, что программа знает о недвижимости или Нью-Йорке. Она хранит распределение вероятностей, которое зафиксировано в утверждениях в текстах, и формат пары "вопрос-утверждение", и она может отразить их в выводе.

Ханс ничего не знал о арифметике, хотя, в защиту Ханса, он был все же интеллигентным. В случае нейронных сетей критики скажут, что есть только трюки, без какого-либо здравого смысла.

Однако, интеллект и обучение могут иметь множество значений, и в течение многих лет цель для того, чтобы считаться искусственным интеллектом, менялась, как отметила историк области Памела Маккордак. Некоторые могут утверждать, что программа, которая может рассчитывать вероятности на основе обширных текстовых сборников, может представлять собой другой вид интеллекта, возможно, чужой интеллект, отличный от нашего собственного. Преждевременно отвергать это кажется.

Кроме того, нейронные сети, порождающие эти условные вероятности, являются не только статистическими программами. Их расчеты являются неотъемлемым свойством множественных одновременных математических операций, которые происходят параллельно, настройки весов параметров. Если возможно рассмотреть другие формы интеллекта, то внешность, такая как распределенные представления, формирующиеся внутри нейронных сетей, может быть одним из мест, где следует искать.

КАКОВО БУДУЩЕЕ GPT-3?

Одно кажется определенным: GPT-3 открыл новую главу в машинном обучении. Его самая удивительная особенность - его обобщенность. Только несколько лет назад нейронные сети строились с функциями, настроенными на конкретную задачу, такую как перевод или ответы на вопросы. Наборы данных были отобраны, чтобы отражать эту задачу. Вместо этого, у GPT-3 нет функций, специфичных для задачи, и ему не нужен особый набор данных. Он просто поглощает как можно больше текста из любого источника и отражает его в своем выводе.

Каким-то образом, в расчете условного вероятностного распределения по всем этим гигабайтам текста возникает функция, способная выдавать ответы, которые конкурируют на любом количестве задач. Это ошеломляющий триумф простоты, который, скорее всего, имеет много лет впереди успехов.

Тем не менее, даже такая общность может иметь свои пределы. Уже в конце своей статьи авторы GPT-3 отмечают, что направление предварительного обучения в конечном итоге может иссякнуть. «Более фундаментальное ограничение общего подхода, описанного в этой статье, заключается в том, что он может в конечном итоге столкнуться с (или уже столкнулся со) своими пределами цели предварительного обучения».

Авторы предлагают перспективные новые направления, которые могут включать «изучение целевой функции у людей» и смешивание других видов глубокого обучения, таких как подход «обучение с подкреплением», используемый в AlphaZero DeepMind для победы в шахматах и го. (Они уже начали внедрять такие подходы. В начале сентября авторы OpenAI продемонстрировали, что они могут использовать обучение с подкреплением для обучения GPT-3, чтобы получить более качественные резюме статей, предоставив языковой модели некоторую обратную связь от людей о том, какие резюме звучат лучше.)

Другое, что они предлагают, это добавление других типов данных, таких как изображения, чтобы заполнить "модель мира" программы.

Действительно, в ближайшие годы, этот очень общий подход, скорее всего, будет распространяться на другие модальности, кроме текста, такие как изображения и видео. Представьте программу, подобную GPT-3, которая может переводить изображения на слова и наоборот, без использования какого-либо специфического алгоритма для моделирования связи между ними. Она могла бы, например, "учиться" текстовому описанию сцены по фотографиям или предсказывать физические последовательности событий по текстовым описаниям.

Директор Facebook AI Янн ЛеКун утверждает, что самообучение в различных формах представляет собой будущее глубокого обучения. Если это правда, то подход с предварительным обучением на основе разных типов данных, от голоса до текста, от изображений до видео, может быть рассмотрен как одно из самых многообещающих направлений развития неконтролируемого обучения.