ChatGPT сдал экзамен MBA. Вот как это было

Профессор Уортона, Пенсильванский университет, дал теоретическую оценку B для ChatGPT после оценки ответов, которые он сгенерировал для выпускного экзамена в типичном курсе MBA.

Кристиан Тервиш, профессор управления операциями в Wharton, сказал, что ChatGPT проделывает «потрясающую работу по основным вопросам управления операциями и анализа процессов».

«Не только ответы правильные, но и объяснения превосходны», — пишет он в новом официальном документе.

Также: Как начать использовать ChatGPT

Но он добавил, что чат-бот делает «неожиданные ошибки в относительно простых вычислениях на уровне математики 6-го класса» и что в настоящее время он не может справиться с более сложными вопросами анализа процессов. С другой стороны, текущая версия ChatGPT может изменять свои ответы в ответ на подсказки человека, чтобы прийти к правильному решению.

«Учитывая эту производительность, Chat GPT3 получил бы на экзамене оценку от B до B-», — пишет Тервиш.

Несколько вопросов Тервиша были направлены на то, чтобы проверить, может ли ChatGPT определить узкое место в операции обработки с несколькими машинами с разной пропускной способностью.

ChatGPT, однако, «совершил значительную ошибку огромной величины» при расчетах с помощью арифметики среднего уровня.

Интересно, что ChatGPT изначально неправильно ответил на один из вопросов Тервиша об анализе очередей. Он подсказал ему лучший ответ, и ChatGPT улучшил свой ответ. На следующий день профессор задал ему тот же первоначальный вопрос без подсказки — и ChatGPT ответил правильно с первой попытки.

«Он либо способен учиться на прошлых отзывах, либо мне просто повезло», — отмечает он, добавляя, что в качестве его ответов, похоже, была некоторая случайность.

Тервиш также обнаружил, что ChatGPT может формулировать умные и юмористические вопросы, которые он может использовать на будущих экзаменах. Тем не менее, чат-бот также допустил тонкие недостатки в некоторых вопросах, из-за которых на них невозможно было ответить.

Также: ChatGPT «не хватало глубины и проницательности», говорят редакторы престижных научных журналов.

Тервиш предупреждает других, чтобы они помнили о возможностях и ограничениях ChatGPT. Он говорит, что «влюбился» в ChatGPT после прочтения его ответа на свой первый вопрос, но предупреждает, что он «допустил серьезные ошибки в некоторых довольно простых ситуациях».

«Мы все еще далеки от A+ для решения сложных задач, и нам по-прежнему нужен человек, — пишет он.

«С моей точки зрения на образование учащийся начальной школы все еще должен знать, что 7 x 7 = 49 и что столицей Пенсильвании является Гаррисберг, несмотря на то, что калькуляторы широко используются уже более 50 лет, и учащиеся могут использовать Google Wikipedia, чтобы найти ответы. для большинства фактических вопросов. Природа базовых навыков такова, что они необходимы для понимания более сложных тем».

Тервиш соглашается с тем, что преподаватели должны быть обеспокоены тем, что учащиеся K-12 могут использовать ChatGPT для списывания заданий и экзаменов. Например, Департамент образования Нью-Йорка недавно запретил чат-бота, потому что в обучении важны надежные тесты, а сертификация навыков не должна подвергаться риску из-за новых технологий. Он отмечает, что студент, использующий ChatGPT, все равно что может позвонить другу со «средней академической компетенцией», чтобы тот сдал за него экзамен.

Но он также утверждает, что ChatGPT и подобные технологии могут играть роль «умного консультанта» — того, кто дает элегантные, но часто неправильные ответы, что, по его мнению, является «идеальной тренировочной площадкой» для развития навыков у студентов MBA, которые нуждаются критически оценивать предложенные альтернативы.