Новый клон ChatGPT с открытым исходным кодом – называется Dolly

Open Source GPT Chat сделал еще один шаг вперед с выпуском модели большого языка Dolly (DLL), созданной компанией Databricks.

Новый клон ChatGPT называется Долли, в честь знаменитой овцы с тем же именем, первого млекопитающего, клонированного в истории.

Открытые модели больших языковых моделей

Долли LLM - это последняя реализация растущего движения открытого искусственного интеллекта, которое стремится предложить больший доступ к технологии, чтобы она не была монополизирована и контролировалась крупными корпорациями.

Одной из проблем, побуждающих движение открытого искусственного интеллекта, является то, что бизнесы могут быть неохотными передавать конфиденциальные данные третьей стороне, которая контролирует технологию искусственного интеллекта.

На основе открытых исходных кодов

Долли была создана на основе модели с открытым исходным кодом, созданной некоммерческим научно-исследовательским институтом EleutherAI и модели Stanford University Alpaca, которая в свою очередь была создана на основе модели LLaMA с открытым исходным кодом с 65 миллиардами параметров, созданной компанией Meta.

LLaMA, что означает Large Language Model Meta AI, является языковой моделью, которая обучается на общедоступных данных.

Согласно статье от Weights & Biases (Весы и Раздел), LLaMA может превзойти многие из лучших языковых моделей (OpenAI GPT-3, Gopher by Deep Mind и Chinchilla by DeepMind), несмотря на свой более небольшой размер.

Создание лучшего набора данных

Другой источник вдохновения был научный исследовательский документ (SELF-INSTRUCT: Ausrichtung des Sprachmodells mit selbstgenerierten Anweisungen PDF), который изложил способ создания обучающих данных вопрос-ответ, которые являются высокого качества и лучше ограниченных общедоступных данных.

В исследовательской статье "Самообучение" объясняется:

«...мы отбираем набор экспертно написанных инструкций для новых задач и, согласно оценке людей, показываем, что настройка GPT3 с использованием SELF-INSTRUCT превосходит использование существующих общедоступных наборов инструкций на значительное расстояние, оставляя только 5% пропуска по сравнению с InstructGPT...

...Применяя наш метод к обычному GPT3, мы демонстрируем абсолютное улучшение на 33% по сравнению с оригинальной моделью на наборе SUPERNATURALINSTRUCTIONS, сравнимым с результатами InstructGPT..., которая обучается с использованием конфиденциальных данных пользователей и предоставленных людей».

Важность Долли заключается в том, что она демонстрирует, что полезная большая модель языка может быть создана с помощью небольшого, но качественного набора данных.

Databricks наблюдает:

«Dolly работает путем взятия существующей открытой модели от EleutherAI с 6 миллиардами параметров и незначительно ее модифицирует, чтобы обладать возможностью следовать инструкциям, таким как генерация идей и текстов, которые отсутствуют в оригинальной модели, с использованием данных от Alpaca.

»

...Мы показываем, что любой человек может взять устаревшую программу с открытым исходным кодом для обучения большой языковой модели (LLM) и придать ей магическую способность следовать инструкциям, подобным ChatGPT, обучив ее всего за 30 минут на одном компьютере с использованием качественных обучающих данных.

Удивительно, но для следования инструкциям не требуются самые новые и самые большие модели: наша модель состоит всего из 6 миллиардов параметров, по сравнению с 175 миллиардами параметров для GPT-3.

Открытый искусственный интеллект Databricks

Dolly, по словам, демократизирует ИИ. Это часть растущего движения, к которому недавно присоединилась некоммерческая организация Mozilla с созданием Mozilla.ai. Mozilla является издателем браузера Firefox и другого программного обеспечения с открытым исходным кодом.