Опасные советы: Gemini AI завел туристов в каньон на горе Шаста

Google позиционирует Gemini AI как идеального спутника в путешествиях, однако группа спасенных туристов винит чат-бота в том, что они заблудились во время похода.

Трое мужчин использовали Gemini для планирования восхождения на гору Шаста в Северной Калифорнии. В итоге они получили неверные рекомендации и начали спуск с вершины в ночное время, что противоречит местным правилам безопасности. Группа попыталась связаться с офисом шерифа округа Сискию за указаниями, но, согласно данным ведомства в Facebook, всё равно сбилась с маршрута и оказалась в каньоне Мад-Крик.

Ситуация стала критической: один из участников группы упал и получил травму колена. Туристы оказались заблокированы в крутом овраге и были вынуждены разбить бивуак до тех пор, пока на следующее утро их не обнаружили рейнджеры Лесной службы США (USFS).

Офис шерифа использует этот инцидент, чтобы предостеречь людей от слепого доверия ИИ при планировании поездок. «По завершении спасательной операции мужчины сообщили, что в значительной степени полагались на Google Gemini AI при составлении маршрута и списка необходимых вещей», — заявили в ведомстве. Это стало критической ошибкой, так как Gemini посоветовал взять гораздо меньше еды и воды, чем требовалось: запланированный восьмичасовой подъем превратился в многодневное испытание.

Случай подчеркивает проблему «галлюцинаций» чат-ботов, когда ИИ смешивает факты и цифры. В определенных ситуациях — например, при медицинских рекомендациях или планировании маршрутов в дикой природе — это может быть опасно.

В ответе изданию PCMag компания Google сообщила, что серьезно относится к произошедшему и ведет расследование. Однако на данный момент компания не смогла воспроизвести неточные ответы, которые якобы дал Gemini, так как точные запросы туристов неизвестны.

Редакция PCMag также не обнаружила вредных советов при самостоятельном тестировании. На запрос о планировании поездки на гору Шаста чат-бот ответил: «Хотя технически спуск в темноте возможен, настоятельно рекомендуется этого не делать, особенно при восхождении в конце сезона».

Тем не менее, шериф округа Сискию Джеримайя ЛаРу сообщил NBC Bay Area, что Gemini «преуменьшил серьезность ситуации». Он добавил, что люди слишком полагаются на ИИ, в то время как им следует общаться с опытными проводниками.

Иронично, что на фоне этого инцидента Google объявил о многолетнем соглашении со звездой YouTube MrBeast. Блогер будет использовать Gemini в своих будущих приключениях на природе, включая шоу о выживании в суровых условиях.