Выпущено семь бесплатных открытых моделей GPT

Российская компания по искусственному интеллекту Cerebras представила семь моделей GPT с открытым исходным кодом, чтобы предложить альтернативу тесно контролируемым и собственным системам, доступным в настоящее время.

Модели GPT с открытым исходным кодом, включая веса и рецепт обучения, были выпущены Cerebras, компанией из Силиконовой долины, занимающейся разработкой инфраструктуры для приложений искусственного интеллекта, по лицензии Apache 2.0, которая является очень разрешительной.

В некоторой степени, семь моделей GPT являются доказательством концепции для суперкомпьютера Cerebras Andromeda AI.

Инфраструктура Cerebras позволяет их клиентам, таким как Jasper AI Copywriter, быстро обучать собственные модели языка.

В блоге Cerebras отмечается:

«Мы тренировали все модели Cerebras-GPT на 16x CS-2 Cerebras Wafer-Scale Cluster, называемом Андромеда.

Кластер позволил провести все эксперименты быстро, без необходимости распределенной системной инженерии и настройки моделей параллельной работы на кластерах GPU.

Самое главное, он позволил нашим исследователям сосредоточиться на разработке ML, а не на распределенной системе. Мы считаем, что возможность легко тренировать крупные модели является ключевым фактором для широкой общественности, поэтому мы сделали Cerebras Wafer-Scale Cluster доступным в облаке через Cerebras AI Model Studio».

Модели Cerebras GPT и прозрачность

Cerebras ссылается на концентрацию владения технологией искусственного интеллекта только несколькими компаниями как причину создания семи моделей GPT с открытым исходным кодом.

OpenAI, Meta и Deepmind хранят большое количество информации о своих системах в секрете и тщательно контролируют обращение к ней, что ограничивает возможности инноваций в то, что три корпорации считают возможным сделать с их данными.

Закрытая система - это лучший вариант для инноваций в области искусственного интеллекта? Или открытый исходный код - это будущее?

Серебрас пишет:

«Для того чтобы LLMs были доступной и открытой технологией, мы считаем важным иметь доступ к современным моделям, которые являются открытыми, воспроизводимыми и бесплатными для исследовательских и коммерческих приложений.

В этом контексте мы обучили семейство моделей-трансформеров с использованием последних техник и открытых наборов данных, которое мы назвали Cerebras-GPT.

Эти модели являются первым семейством моделей GPT, обученных с использованием формулы Chinchilla и выпущенных по лицензии Apache 2.0».

Таким образом, эти семь моделей выпущены на Hugging Face и GitHub для поощрения дальнейших исследований с открытым доступом к технологии искусственного интеллекта.

Эти модели обучались на суперкомпьютере Andromeda искусственного интеллекта от Cerebras, что заняло всего несколько недель.

Cerebras-GPT полностью открыт и прозрачен, в отличие от последних моделей GPT от OpenAI (GPT-4), Deepmind и Meta OPT.

OpenAI и Deepmind Chinchilla не предлагают лицензий на использование моделей. Meta OPT предлагает только не коммерческую лицензию.

У GPT-4 от OpenAI практически нет прозрачности относительно их обучающих данных. Они использовали данные Common Crawl? Они сканировали Интернет и создали свой собственный набор данных?

OpenAI сохраняет эту информацию (и ещё больше) в секрете, что противоположно подходу Cerebras-GPT, который полностью прозрачен.

Все следующее является открытым и прозрачным:

• Архитектура модели
• Обучающие данные
• Веса модели
• Контрольные точки
• Статус оптимального использования вычислительных ресурсов (да)
• Лицензия на использование: Лицензия Apache 2.0

Семь версий представлены в моделях 111М, 256М, 590М, 1.3B, 2.7B, 6.7B и 13B.

Было объявлено:

«Впервые среди компаний по аппаратному обеспечению искусственного интеллекта исследователи Cerebras обучали серию из семи моделей GPT с параметрами 111 млн, 256 млн, 590 млн, 1.3 млрд, 2.7 млрд, 6.7 млрд и 13 млрд на суперкомпьютере Andromeda AI.

Обычно такая работа занимает несколько месяцев, но благодаря невероятной скорости систем Cerebras CS-2, которые составляют Andromeda, и возможности архитектуры потоковой передачи весов Cerebras избавить от необходимости передачи данных, это было выполнено за несколько недель.

Эти результаты демонстрируют, что системы Cerebras могут обучать самые большие и сложные рабочие нагрузки искусственного интеллекта сегодня.

Это первый раз, когда набор моделей GPT, обученных с использованием передовых методов эффективности тренировки, был сделан общедоступным.

Эти модели обучены до максимальной точности при заданном вычислительном бюджете (то есть используют эффективность обучения по рецепту «Chinchilla»), поэтому они имеют меньшее время обучения, меньшие затраты на обучение и потребляют меньше энергии, чем любые существующие общедоступные модели».

Открытый искусственный интеллект

Фонд Mozilla, разработчики открытого программного обеспечения Firefox, создали компанию под названием Mozilla.ai для разработки открытых GPT и систем рекомендаций, которые надежны и уважают конфиденциальность.

Компания Databricks недавно также выпустила свободно распространяемое клонированное решение GPT под названием Dolly (Dolly), которое стремится демократизировать "магию ChatGPT".

В дополнение к этим семи моделям Cerebras GPT, другая компания, называющаяся Nomic AI, выпустила GPT4All - открытый исходный код GPT, который может запускаться на ноутбуке.

Движение открытого искусственного интеллекта находится на начальном этапе, но набирает обороты.

GPT-технология приводит к глобальным изменениям во всех отраслях, и, вероятно, неизбежно, что вклад открытого исходного кода может изменить облик отраслей, стимулирующих эти изменения.

Если открытое программное обеспечение продолжит развиваться такими темпами, мы можем быть на пороге свидетельства сдвига в инновациях искусственного интеллекта, который не будет сконцентрирован в руках нескольких корпораций.

Прочитайте официальное объявление:

Компания Cerebras Systems выпускает семь новых моделей GPT, обученных на системах CS-2 Wafer-Scale.