Согласно новому исследованию, инструменты искусственного интеллекта (ИИ) стали значительно лучше отвечать на юридические вопросы, но все еще не могут воспроизвести компетенцию даже младшего юриста.
Крупнейшая британская юридическая фирма Linklaters проверила чат-ботов, задав им 50 «относительно сложных» вопросов об английском праве.
Она пришла к выводу, что GPT 2 от OpenAI, выпущенный в 2019 году, был «безнадежным», но его модель o1, выпущенная в декабре 2024 года, показала себя значительно лучше.
Linklaters заявила, что продемонстрировала, что инструменты «достигают той стадии, когда они могут быть полезны» для реальной юридической работы — но только под контролем эксперта-человека.
Юристы, как и многие другие профессии, борются с тем, какое влияние окажет недавнее стремительное развитие ИИ, и следует ли его рассматривать как угрозу или возможность.
Международная юридическая фирма Hill Dickinson недавно заблокировала общий доступ к нескольким инструментам ИИ после того, как обнаружила «значительный рост использования» ее сотрудниками.
Также ведутся ожесточенные международные дебаты о том, насколько рискован ИИ и насколько жестко его необходимо регулировать.
На прошлой неделе США и Великобритания отказались подписать международное соглашение по ИИ, а вице-президент США Дж. Д. Вэнс раскритиковал европейские страны за то, что они отдают приоритет безопасности, а не инновациям.
Будущее для «мясистых кусочков»
Это был второй раз, когда Linklaters проводила свои тесты LinksAI, первоначальное испытание состоялось в октябре 2023 года.
В первом запуске тестировались OpenAI GPT 2, 3 и 4 вместе с Bard от Google.
Теперь экзамен был расширен и теперь включает o1 от OpenAI и Gemini 2.0 от Google, который также был выпущен в конце 2024 года.
Он не включал DeepSeek R1 — явно недорогую китайскую модель, которая поразила мир в прошлом месяце — или какой-либо другой неамериканский инструмент ИИ.
Тест включал постановку вопросов, которые потребовали бы совета от «компетентного юриста среднего звена» с двухлетним опытом работы.
Новые модели показали «значительное улучшение» по сравнению со своими предшественниками, сказал Линклейтерс, но все еще не достигли уровня квалифицированного юриста.
Даже самые передовые инструменты допускали ошибки, упускали важную информацию и придумывали цитаты — хотя и меньше, чем предыдущие модели.
Инструменты «начинают работать на уровне, на котором они могут помочь в юридических исследованиях», сказал Линклейтерс, приведя примеры предоставления первых черновиков или проверки ответов.
Однако он сказал, что существуют «опасности» в их использовании, если юристы «еще не имеют четкого представления об ответе».
Он добавил, что, несмотря на «невероятный» прогресс, достигнутый в последние годы, остаются вопросы о том, будет ли это воспроизведено в будущем, или существуют «врожденные ограничения» в том, что могут делать инструменты ИИ.
В любом случае, говорится в нем, отношения с клиентами всегда будут ключевой частью работы юристов, поэтому даже будущие достижения в области инструментов ИИ не обязательно положат конец тому, что он назвал «мясистой частью предоставления юридических услуг».