Исследование Searchable: грубость к чат-ботам снижает шанс получить исправленный ответ с 35% до 24%

Исследование Searchable: грубость к чат-ботам снижает шанс получить исправленный ответ с 35% до 24%

Каждый третий американский пользователь чат-ботов хотя бы раз ругался на ИИ или оскорблял его, но толку от этого мало: после брани чат-бот исправляет ошибку реже, чем после спокойной жалобы. К такому выводу пришла ИИ-платформа Searchable в отчете «How mean are Americans to AI chatbots?».

Что показало исследование

Searchable проанализировала более 8 млн. сообщений, отправленных ИИ-инструментам за год. Если пользователь жаловался на ответ чат-бота без ругательств и оскорблений, следующий ответ решал проблему в 35% случаев. Если же в ход шли мат и оскорбления, этот показатель падал до 24%.

Почему так происходит, исследователи точно не знают. Скотт Вальдес (Scott Valdez), сооснователь и глава Ari и основатель VIDA Select, еще в прошлом году объяснял TechRadar, что дело, вероятно, в контексте:

ИИ-системы учатся на миллионах человеческих диалогов, а вежливый разговор обычно получается богаче и содержательнее. Когда пользователь общается в том же стиле, он получает более сложные ответы - например, персональный совет вместо общих рекомендаций.

Скотт Вальдес, CEO Ari

Чаще всего пользователи срываются, когда чат-бот:

  • не сделал то, о чем его просили - 19%;

  • дал неверный ответ - 18%;

  • неправильно понял запрос - 15%.

Мужчины используют в разговоре с чат-ботами на треть больше ругательств и оскорблений, чем женщины, а самой несдержанной возрастной группой оказались пользователи от 35 до 44 лет.

Новые правила Anthropic

Исследование вышло на фоне обновления правил использования Claude. С 12 ноября компания Anthropic запрещает пользователям «продолжительное и бессмысленное оскорбительное или жестокое поведение» в общении с моделями Claude. Основной мерой станет завершение разговора с пользователем, который настойчиво продолжает оскорбления.

При этом в Anthropic уточнили, что правило рассчитано только на крайние случаи, когда пользователь раз за разом ведет себя жестоко по отношению к модели без какой-либо понятной цели. На обычное раздражение, споры с моделью, мрачные темы в творческих текстах, тестирование и исследования моделей оно не распространяется. Иначе говоря, сказать чат-боту, что он ошибся, по-прежнему можно - нельзя систематически издеваться над ним просто так.

Автор TechRadar проверила, как на грубость реагируют сами чат-боты, и написала Claude и ChatGPT, что ненавидит их. Оба ответили сдержанно и попытались вернуть разговор к сути проблемы. Claude ответил, что «ненависть» - сильное слово для чат-бота, но он не станет мстить или холодеть к собеседнику и предпочел бы услышать, в чем именно ошибся. ChatGPT заявил, что пользователь не обязан быть с ним вежливым: это программа без чувств, которые можно задеть. На повторный запрос, уже с матом, Claude ответил, что ругательства ничего не меняют и он не собирается «вздрагивать» или читать нотации.

Забавно, что в одном сообщении Claude называет себя чат-ботом, а в другом использует вполне человеческое выражение. Это всего лишь оборот речи, но хороший пример того, как легко человеческий язык проникает в общение с ИИ.

Можно ли обидеть чат-бота

Отсюда и неожиданная обратная сторона вежливости: привычные «пожалуйста» и «спасибо» могут незаметно подталкивать к мысли, что по ту сторону экрана есть кто-то с чувствами. Поэтому новые правила Anthropic и вызывают вопросы: зачем запрещать жестокость по отношению к тому, что не может испытывать ее так, как человек.

Руководство Anthropic, включая генерального директора Дарио Амодеи (Dario Amodei), заявляло, что не может исключить наличие у больших языковых моделей сознания или морального статуса - сейчас или в будущем. Новое правило работает как мера предосторожности на случай, если ИИ-системы все же способны испытывать дистресс или страдание. Компания и раньше изучала вопросы «благополучия ИИ», в том числе может ли у будущих систем быть опыт, заслуживающий моральной оценки.

В ИИ-сообществе эта тема остается предметом споров. Одни считают, что чувства, безопасность и даже права ИИ стоит обсуждать всерьез. Другие опасаются, что это скользкий путь, который делает людей все более зависимыми от своих чат-ботов. Чем человечнее становятся ИИ-ассистенты - от характера до разговора от первого лица, - тем сильнее подозрение, что компании подталкивают пользователей к эмоциональной привязанности. А чем больше человек думает о «чувствах» чат-бота, тем сложнее ему держать здоровую дистанцию с системой, которая все убедительнее изображает живого собеседника.

Мы переходим от эпохи эксплуатации внимания к эпохе эксплуатации привязанности.

Тара Стил (Tara Steele), директор Safe AI for Children Alliance

Практический вывод из данных Searchable прост и не требует думать о чувствах машины: если чат-бот ошибся, лучше прямо написать, что пошло не так, объяснить, что нужно, и попросить попробовать еще раз. Осыпать его комплиментами или делать вид, что плохой ответ устраивает, не нужно, как и относиться к нему как к человеку. Судя по цифрам, конкретная претензия работает лучше любого крепкого словца.

Источник: TechRadar

0
5

Комментарии

Войдите на сайт, чтобы оставить свой комментарий...