ChatGPT: Могут ли студенты сдать экзамен по инструментам ИИ в университете?


По мере приближения сезона экзаменов у учащихся может возникнуть соблазн обратиться к новым инструментам искусственного интеллекта (ИИ), чтобы получить преимущество в оценках.

Университеты старались понять, на что способны приложения ИИ, такие как ChatGPT, и представить руководство по их использованию — и теперь их призывают учить студентов, как их использовать.

A student at laptop

Ученые Университета Бата рассматривают проблемы и возможности.

«Наш первый вопрос был: «Могут ли учащиеся использовать это для ответов на наши оценочные вопросы?», — говорит Джеймс Ферн о ChatGPT — онлайн-инструменте, который может отвечать на вопросы, в том числе создавать эссе и электронные письма, на языке, близком к человеческому.

James has been looking at how robust his department's assessments are

«Например, вопросы с несколькими вариантами ответов, с которыми он справится очень хорошо.

«Мы определенно не ожидали, что он будет работать так хорошо, как он… это было почти на 100% правильно».

Но с более сложными вопросами, требующими от учащихся критического мышления, возникают трудности.

Один пример из оценки последнего года обучения гласит: «Почему важно понимать, когда занятия спортом связаны с состоянием питания у людей с [специальным термином, по словам Джеймса] избыточным весом?»

И есть контрольные признаки того, что ответ, данный ChatGPT, не был написан студентом.

ChatGPT answer: Understanding the timing of exercise in relation to nutrition status [Note: Repeats phrase in question] is important for people with overweight because it can affect their body composition and metabolic health. Exercise and nutrition are both critical components of weight management, and the timing of when these are consumed can have a significant impact on weight loss and other health outcomes. [Note: No evidence given] Consuming carbohydrates and proteins before and after exercise can provide energy and help with muscle repair and recovery. [Note: Too simple] Additionally, exercising on an empty stomach or after a period of fasting (such as in the morning before breakfast) can lead to increased fat oxidation and improve insulin sensitivity, which can be beneficial for people with overweight. Therefore, understanding the timing of exercise in relation to nutrition status can help individuals optimize their weight management strategies and improve their overall health.

«На первый взгляд, он выглядит очень хорошо — он выглядит очень четко написанным, его язык выглядит вполне профессионально», — говорит Джеймс.

Но некоторые утверждения больше похожи на утверждения ученика GCSE, чем студента университета.

Он имеет привычку повторять точную формулировку вопроса во вступлении и заключении, «просто написанное немного по-другому».

А при цитировании источников информации, как принято в академической работе, просто их выдумывает.

A fake academic reference from ChatGPT: Mousavi, S. N., Abbasian, S., Khosravi, N., & Asemi, Z. (2022). Timing of nutrient intake and exercise: A systematic review of current evidence and recommendations for future studies. [Note: This academic paper does not exist] Trends in Food Science & Technology, 118, 47-56. [Note: Page numbers are invented]

«Они выглядят идеально — у них правильные имена авторов, правильные названия журналов, все названия звучат очень разумно — их просто не существует», — говорит Джеймс.

«Если вы не знаете, как работают большие языковые модели, вас очень легко обмануть, думая, что это подлинные ссылки».

С тех пор как ChatGPT был выпущен для публики около шести месяцев назад, многие студенты не знали, когда они могут и не могут его использовать.

«У меня может возникнуть соблазн использовать ChatGPT… но в настоящее время я слишком боюсь этого, потому что вас могут поймать», — говорит один студент, идущий между занятиями в кампусе.

«Пока не ясно, что считается мошенничеством с ChatGPT», — говорит другой. «Если вы скопировали все свое задание из ChatGPT, это мошенничество, но это может быть очень полезно для руководства»,

Новый совет Агентства по обеспечению качества, которое проверяет стандарты в британских университетах, призывает их вооружить студентов навыками искусственного интеллекта, которые они могут использовать в мире труда.

Это побуждает их объяснять новым и возвращающимся студентам в сентябре, как и когда следует использовать ИИ, а также адаптировать курсы, где это необходимо.

Лектор по маркетингу Ким Уоттс называет это «еще одним инструментом в наборе инструментов». И некоторые студенты ее факультета уже начали использовать ChatGPT в этом семестре в курсовых работах, требующих составления маркетингового плана.

Kim says ChatGPT will help get "students started on things"

«Я предлагаю студентам пойти в ChatGPT, тем, кто, возможно, не знает, с чего начать… и начать играть с подсказками», — говорит она.

«Это не даст им ответов, но может дать им идеи».

‘Критическое мышление’

Ким демонстрирует это, попросив ChatGPT разработать собственный маркетинговый план.

Он отвечает серией пронумерованных пунктов — от создания фирменного стиля до использования социальных сетей.

Но Ким, оторвавшись от экрана, говорит: «Это не пройдет.

«Представление чего-то подобного просто недостаточно подробно — это не показывает нам никакого обучения, это не показывает никакого критического мышления».

Ким говорит, что больше всего выиграют от ChatGPT учащиеся-нейроотличники и те, для кого английский не является родным языком.

Но любого студента, решившего использовать его, попросят представить свои подсказки и ответы ChatGPT в качестве приложения, чтобы было «действительно ясно, как далеко они продвинулись» из ответов чат-бота.

Летние экзамены

Как и в большинстве университетов, политика Бата в отношении ChatGPT и других инструментов искусственного интеллекта все еще находится в разработке. Он должен действовать с сентября.

После этого команда будет собираться в течение года, чтобы убедиться, что она не отстает от быстро меняющихся технологий.

Тем временем многие сотрудники снова проводят личные летние экзамены под наблюдением.

Доктор Крис Бонфилд, руководитель группы, занимающейся разработкой оценок, говорит, что «предположением по умолчанию» является то, что учащиеся не должны использовать ChatGPT в этом году. И если сотрудники решат разрешить это, они должны четко изложить свои ожидания.

Скорость, с которой развивается технология, представляет собой проблему для университетов, но Бат быстро отказался от разговоров о ее запрете.

Chris says the pace at which the technology changes poses a challenge for universities

«Этот инструмент никуда не исчезнет, ​​— говорит Крис.

«Для того, чтобы наши студенты были оснащены навыками, необходимыми им для будущей работы, а также чтобы наши дипломы оставались актуальными, нам придется принять участие».

‘Слишком опасно’

На прошлой неделе Джеффри Хинтон, широко известный как крестный отец искусственного интеллекта, ушел из Google, заявив, что сожалеет о своей работе, а чат-боты вскоре могут быть умнее людей.

Профессор Верена Ризер, ученый-компьютерщик из Университета Хериот-Ватт, которая работает в области ИИ уже два десятилетия, говорит, что ее собственные студенты «используют его очень творчески», но чат-боты все еще находятся на ранних стадиях разработки и « могут быть использованы для создания дезинформации в [а] масштабе, что, очевидно, очень важно, когда речь идет об образовании.

Предыдущие модели ChatGPT не выпускались, поскольку считались «слишком опасными», говорит она.

Его разработчик, OpenAI, говорит, что «как и любая технология, эти инструменты сопряжены с реальными рисками» и работают «для обеспечения безопасности, встроенной в нашу систему на всех уровнях».

С момента запуска ChatGPT другие компании сосредоточили свои усилия на ИИ. Google, например, выпустил Bard, который доступен только для взрослых.

«Я ожидаю, что вскоре мы увидим разные версии ChatGPT от разных компаний и, надеюсь, более безопасные модели, которые фактически уменьшат возможные опасности», — говорит Верена.

«На данный момент мы действительно не знаем, как остановить модели, выводящие информацию, которая является неправильной, токсичной или ненавистной — и это большая проблема».


Добавить комментарий