ChatGPT может писать код. Теперь исследователи говорят, что он также хорошо умеет исправлять ошибки.

Чатбот ChatGPT от OpenAI может очень хорошо исправлять ошибки в программном обеспечении, но его ключевым преимуществом перед другими методами и моделями искусственного интеллекта является его уникальная способность для диалога с людьми, что позволяет улучшить правильность ответа.

Ученые из Университета Иоганна Гутенберга в Майнце и Университета Колледжа Лондона столкнули ChatGPT от OpenAI с "стандартными автоматизированными техниками исправления программ" и двумя глубокообучаемыми подходами к исправлению программ: CoCoNut от исследователей из Университета Ватерлоо, Канада; и Codex, модель, основанная на GPT-3, разработанная OpenAI, которая лежит в основе GitHub Copilot, сервиса автоматического дополнения кода в парном программировании.

Также: Как начать использовать ChatGPT

"Мы обнаружили, что производительность по исправлению ошибок в ChatGPT конкурентноспособна по сравнению с широко используемыми подходами глубокого обучения CoCoNut и Codex, и заметно лучше результатов, сообщенных для стандартных подходов к исправлению программ," - пишут исследователи в новой научной статье на arXiv, которую впервые заметил New Scientist.

Лучшие чат-боты на основе искусственного интеллекта: ChatGPT и другие интересные альтернативы для попробовать

Искусственный интеллект (ИИ) чат-боты и писатели могут помочь снизить вашу рабочую нагрузку, позволяя написать электронные письма, эссе и даже выполнять математические задания. Они используют искусственный интеллект для создания текста или отвечают на запросы на основе ввода пользователя. ChatGPT - один из популярных примеров, но есть и другие заметные чат-боты.

Прочитать сейчас

То, что ChatGPT может использоваться для решения проблем с кодированием, не новость, но исследователи отмечают, что его уникальная способность диалога с людьми дает ему потенциальное преимущество перед другими подходами и моделями.

Исследователи проверили производительность ChatGPT с использованием набора заданий QuixBugs по исправлению ошибок. Системы автоматического ремонта программ (APR) кажутся в некотором недостатке, так как они были разработаны до 2018 года.

ChatGPT основан на архитектуре Transformer, которую глава искусственного интеллекта Meta Ян ЛеКанн подчеркнул на этой неделе, была разработана Google. Codex, CodeBERT из Microsoft Research и предшественник его BERT из Google также основаны на методе трансформеров Google.

OpenAI подчеркивает возможность диалога у ChatGPT на примерах отладки кода, где он может запрашивать уточнения и получать подсказки от человека, чтобы прийти к лучшему ответу. Он обучен большими моделями языка, которые находятся за ChatGPT (GPT-3 и GPT 3.5) с использованием обучения с подкреплением от обратной связи человека (RLHF).

В то время как способность ChatGPT к обсуждению может помочь ему прийти к более правильному ответу, качество его предложений остается неясным, отмечают исследователи. Вот почему они хотели оценить возможность ChatGPT исправлять ошибки.

Исследователи протестировали ChatGPT на 40 задачах только на Python в QuixBugs, а затем вручную проверили, было ли предложенное решение правильным или нет. Они повторили запрос четыре раза, потому что в надежности ответов ChatGPT есть некоторая случайность, как это выяснил профессор Уортон после того, как поставил чатбот на экзамен, подобный МВА.

ChatGPT решено 19 из 40 ошибок Python, став наравне с CoCoNut (19) и Codex (21). Но стандартные методы APR только решены семь проблем.

Исследователи выяснили, что успех ChatGPT в общении с собеседником достигает 77,5%.

В отношении усилий и производительности данный факт оставляет неоднозначные выводы для разработчиков. Stack Overflow недавно запретил использование ответов, сгенерированных ChatGPT, поскольку они имели низкое качество, но звучали правдоподобно. Профессор Уортонской школы отметил, что ChatGPT может быть отличным спутником для студентов MBA, так как он может выступать в роли "умного консультанта", который предлагает элегантные, но зачастую неверные ответы, тем самым способствуя развитию критического мышления.

"Это показывает, что человеческий вклад может быть очень полезен для автоматизированной системы APR, с помощью ChatGPT, предоставляя средства для этого", - пишут исследователи.

"Несмотря на его высокую производительность, возникает вопрос, перевешивают ли психологические затраты, необходимые для проверки ответов ChatGPT, преимущества, которые ChatGPT приносит."