Горячая линия психического здоровья прекращает обмен данными с ИИ

Горячая линия по психическому здоровью больше не будет делиться данными со службой поддержки клиентов ИИ после критики их отношений.

Loris.ai использовала анонимные данные из Crisis Text Line (CTL) для разработки систем искусственного интеллекта, которые помогают агентам по обслуживанию клиентов понимать настроения в чатах.

Один из членов правления CTL написал в Твиттере, что они «неправильно» согласились на отношения.

Горячая линия сообщила, что выслушала опасения своего сообщества.

Аналогичная горячая линия в Великобритании использует программное обеспечение CTL, но ее данные не были переданы Loris.

CTL, базирующаяся в США, сообщила Би-би-си, что 31 января прекратила отношения с Loris по обмену данными и попросила удалить свои данные.

Его вице-президент Шон Родригес заявил Би-би-си: «Лорис не получал доступа к каким-либо данным с начала 2020 года».

Использование данных привлекло широкое внимание после отчета Politico.

В августе компания Loris заявила, что ее «решение для чата на базе искусственного интеллекта» помогло представителям службы поддержки клиентов «понимать настроения клиентов и динамически формировать эффективные ответы на основе тона клиента».

Лорис добавил, что его происхождение «исходит из широко известной Crisis Text Line, где способность вести самые сложные разговоры имеет решающее значение. Именно этот интеллект, полученный в результате анализа почти 200 миллионов сообщений, лежит в основе ИИ».

Компания сообщила Politico, что ее ИИ с тех пор «развился» и теперь включает электронную коммерцию и другие данные от предприятий.

CTL говорит, что любые переданные данные были полностью анонимными и очищены от информации, позволяющей установить личность.

Горячая линия сообщает, что она прозрачна в отношении обмена данными со своими пользователями — ее условия обслуживания и политика конфиденциальности отправляются «в виде автоматического ответа на каждое исходное текстовое сообщение, которое Crisis Text Line получает и на которое соглашаются все отправители текстовых сообщений», — говорится в сообщении. .

Значимое согласие

Но Politico поговорил с экспертами, резко критикуя договоренность. Один спросил, могут ли те, кто испытывает кризис психического здоровья, полностью согласиться на обмен данными.

CTL «может иметь юридическое согласие, но есть ли у них действительно значимое, эмоциональное, полностью понятное согласие?» Об этом Politico сообщила Дженнифер Кинг, научный сотрудник Института искусственного интеллекта Стэнфордского университета по политике конфиденциальности и данных.

Некоторые участники CTL теперь также сомневаются в договоренности с Лорис.

В твите после публикации статьи член совета директоров Дана Бойд сказала, что, поразмыслив: «Я ошибалась, когда соглашалась на эти отношения». Она также написала сообщение в блоге, в котором подробно изложила свои мысли по этому вопросу.

CTL прекратил обмен данными. В заявлении на своем веб-сайте говорится, что «внимательно выслушали опасения нашего сообщества».

Компания заявила, что вносит изменения и работает над повышением прозрачности для пользователей: «Мы услышали ваши отзывы о том, что всем, кто находится в кризисной ситуации, должно быть ясно и легко понять, на что они соглашаются, когда обращаются за помощью», — говорится в сообщении.

Горячая линия сообщает, что у нее было более 6,7 миллионов разговоров с людьми, нуждающимися в помощи.

А г-н Родригес написал, что «сила данных и искусственного интеллекта» остается центральной в работе CTL по оказанию помощи тем, кто нуждается в поддержке психического здоровья.

По его словам, данные использовались для выявления тех, кто подвергается риску, и оказания им помощи как можно быстрее.

«И данные успешно используются для деэскалации десятков тысяч текстовых сообщений, находящихся в кризисной ситуации и испытывающих суицидальные мысли», — добавил он.

данные Великобритании

Технология CTL используется другими организациями, в том числе британской компанией Shout 85258, которая предлагает бесплатную службу поддержки психического здоровья посредством обмена текстовыми сообщениями.

Благотворительная организация недавно объявила, что провела миллион разговоров с людьми, нуждающимися в поддержке.

Он сообщил Би-би-си, что CTL передавались только полностью анонимные данные и что его данные, хранящиеся на защищенных серверах в Лондоне, не были переданы Лорис.

Shout говорит, что «строгое соглашение о передаче данных с CTL» позволяет горячей линии США использовать данные только для предоставления и улучшения «технологической платформы для предоставления услуги Shout», которую благотворительная организация лицензирует на безвозмездной основе.

CTL также сообщил Би-би-си: «Обмен нашими анонимными данными из США с Loris не затронул ни одного пользователя из Великобритании».