Иногда телефонный звонок, каким бы скучным он ни был, является самым простым способом убедиться, что что-то сделано. Именно это недавно выяснил один клиент BMW Toronto после того, как, по его мнению, вел приятный онлайн-обмен с сотрудником дилерского центра. Они договорились о сделке обратного выкупа его стареющего X3. А потом ему позвонили. Оказалось, что он заключил сделку с искусственным интеллектом, и сначала этого было достаточно, чтобы оставить ее недействительной.
Знакомьтесь, «Квинн»
По сообщению CBC News, владелец похоронного бюро Зак Джакомелли пытался продать свой BMW 2021 года тому же дилерскому центру, который его продал. После отправки онлайн-запроса в BMW Toronto он начал переписываться с «Квинн», которая, казалось, была представителем автосалона.
Разговор быстро перешел к сделке. По сообщениям, Квинн предложила 27 162,79 долларов за автомобиль — сумму, которая точно совпадала с тем, что Джакомелли еще должен был выплатить по кредиту. Впервые процесс, казалось, склонялся в его пользу. «Я почувствовал, что этот человек, Квинн, наконец-то меня услышала», — сказал Джакомелли. «Я чувствовал себя очень хорошо». Еще лучше, ИИ даже назначил встречу для завершения транзакции, сказав ему: «Давайте закрепим это сегодня в 15:30». Потом все развалилось.
Ошибка ИИ
Сотрудник дилерского центра позвонил Джакомелли и объяснил, что Квинн вообще не была человеком. Вместо этого это был чат-бот с искусственным интеллектом, который сделал предложение по ошибке. «Он сказал, что предложение недействительно», — вспоминал Джакомелли. «Я был в шоке, я был ошеломлен, у меня челюсть упала на пол». Фактическая стоимость обратного выкупа, по словам дилера, была ближе к 20 000 долларов. Это оставляло разницу более 7000 долларов.
«Я был опустошен», — сказал он информационной службе. «Если они собираются заменять работу своих сотрудников искусственным интеллектом, то они должны выполнять то, что говорит этот ИИ».
Ситуация стала еще более неудобной, поскольку Джакомелли говорит, что не имел понятия, что разговаривает с ИИ. Чат-бот никогда не идентифицировал себя как искусственный интеллект во время разговора. После того, как CBC News связалась с дилерским центром, BMW Toronto изменил свое решение и восстановил первоначальное предложение в 27 162,79 долларов. Джакомелли немедленно его принял.
Кто должен быть осторожнее
Менеджер по продажам дилерского центра сообщил CBC, что ошибка возникла из-за сбоя в коммуникации. По словам дилера, ИИ ошибочно интерпретировал сумму, оставшуюся по кредиту клиента, как сумму, которую автосалон должен заплатить за автомобиль. BMW Toronto говорит, что сейчас меняет свои процедуры, чтобы только сотрудники-люди представляли предложения по обратному выкупу, и таким образом клиенты четко информировались, когда они взаимодействуют с ИИ.
Кажется, каждый имеет возможность здесь чему-то научиться. Дилеры, стремящиеся сократить расходы с помощью чат-ботов с ИИ, могут захотеть быть более бдительными. Клиентам нужно быть еще более осторожными. Дилеры могут поглотить тысячи долларов из-за ошибочных сделок. Большинство клиентов, даже в BMW, не имеют такого запаса прочности.
Эта история подчеркивает, насколько хрупким может быть доверие в эпоху автоматизации. Хотя ИИ обещает эффективность, его внедрение без надлежащего контроля может привести к значительным финансовым и репутационным потерям. Для потребителей это напоминание всегда проверять, с кем они общаются, и настаивать на письменном подтверждении сделок, особенно когда речь идет о больших суммах. Для бизнеса же этот случай становится очередным сигналом о необходимости прозрачности в использовании ИИ и создания четких протоколов, которые бы предотвращали подобные инциденты, ведь ответственность за действия алгоритмов все равно лежит на компании.