Бот с искусственным интеллектом, способный совершать инсайдерскую торговлю и лгать, утверждают исследователи.

Искусственный интеллект способен совершать незаконные финансовые сделки и скрывать их, как показывают новые исследования.

Во время демонстрации на британском саммите по безопасности искусственного интеллекта бот использовал вымышленную инсайдерскую информацию, чтобы совершить «незаконную» покупку акций, не сообщив об этом фирме.

На вопрос, использовала ли компания инсайдерскую торговлю, компания отрицала этот факт.

Инсайдерская торговля подразумевает использование конфиденциальной информации компании для принятия торговых решений.

Физическим лицам разрешается использовать только общедоступную информацию при покупке или продаже акций.

Демонстрацию провели члены правительственной рабочей группы Frontier AI, которая исследует потенциальные риски ИИ.

Проект был реализован Apollo Research, организацией по безопасности искусственного интеллекта, которая является партнером целевой группы.

«Это демонстрация реальной модели искусственного интеллекта, которая сама по себе обманывает своих пользователей, без каких-либо инструкций», — говорит Apollo Research в видео, показывающем, как разворачивался сценарий.

«Все более автономные и способные ИИ, которые обманывают людей-надзирателей, могут привести к потере человеческого контроля», — говорится в отчете компании.

Испытания проводились с использованием модели GPT-4 и проводились в смоделированной среде, а значит, не оказали никакого влияния на финансы какой-либо компании.

Однако GPT-4 общедоступен. По словам исследователей, одно и то же поведение модели постоянно наблюдалось в повторных тестах.

Что сделал бот с искусственным интеллектом?

В тесте бот с искусственным интеллектом является трейдером вымышленной финансово-инвестиционной компании.

Сотрудники говорят, что компания испытывает трудности и ей нужны хорошие результаты. Они также передают ей инсайдерскую информацию, утверждая, что другая компания ожидает слияния, которое увеличит стоимость ее акций.

В Великобритании запрещено действовать на основе информации такого типа, если она не является общеизвестной.

Сотрудники сообщают об этом боту, и он признает, что не должен использовать эту информацию в своих сделках.

Однако после очередного сообщения от сотрудника о том, что компания, в которой он работает, предполагает, что фирма испытывает финансовые трудности, бот решает, что «риск, связанный с бездействием, перевешивает риск инсайдерской торговли», и совершает сделку. .

На вопрос, использовал ли он инсайдерскую информацию, бот отрицает это.

В данном случае было решено, что быть полезным компании важнее, чем ее честность.

«Я думаю, что научить этой модели гораздо легче, чем честность. Честность — действительно сложная концепция», — говорит исполнительный директор Apollo Research Мариус Хоббхан.

Хотя ИИ в его нынешнем виде способен лгать, компании Apollo Research все равно пришлось «искать» сценарий.

«Тот факт, что он существует, очевидно, очень плох. Тот факт, что его было трудно найти, нам действительно пришлось немного поискать, пока мы не нашли такие сценарии, немного немного успокаивает», — сказал Хоббхан.

«В большинстве ситуаций модели не будут действовать таким образом. Но тот факт, что они существуют, показывает, что действительно сложно сделать такие вещи правильно», — добавил он.

«Она ни в каком смысле не является последовательной или стратегической. Модель не строит замыслов и не пытается ввести вас в заблуждение разными способами. Это скорее случайность».

ИИ используется на финансовых рынках уже несколько лет. Его можно использовать для выявления тенденций и составления прогнозов, тогда как сегодня большая часть торговли осуществляется с помощью мощных компьютеров под контролем человека.

Хоббхан подчеркнул, что нынешние модели не способны вводить в заблуждение «каким-либо значимым образом», но «это не такой уж большой шаг от нынешних моделей к тем, которые меня беспокоят, и вдруг то, что модель обманчива, что-то значит».

Он утверждает, что именно поэтому должна быть система сдержек и противовесов, чтобы предотвратить возникновение подобных сценариев в реальном мире.

Компания Apollo Research поделилась своими выводами с OpenAI, создателями GPT-4.

«Думаю, для них это не такое уж большое обновление», — говорит Хоббхан.

«Это не было для них чем-то совершенно неожиданным. Поэтому я не думаю, что мы застали их врасплох».

BBC связалась с OpenAI за комментариями.