В этой статье основатель и генеральный директор Avaamo Рам Менон объясняет различные типы галлюцинаций ИИ, почему они возникают и как предприятия могут их предотвратить.
Репортер New York Times Кевин Руз в начале прошлого года провел долгую беседу с чат-ботом искусственного интеллекта Microsoft Bing. Виртуальный персонаж признался в своих темных фантазиях о распространении дезинформации, признался в любви к нему и пытался убедить его бросить жену. Инцидент был неприятным, но безобидным.
Однако этого нельзя сказать о двух нью-йоркских адвокатах, к которым судья в июне прошлого года применил санкции и обязал выплатить штрафы за цитирование несуществующих прецедентов и вымышленных цитат, предоставленных ChatGPT.
По данным GitHub. Откроется в новом окне., это примеры галлюцинаций ИИ — явления, которое встречается в 3–10 % ответов от таких приложений, как ChatGPT, Cohere, Claude и других больших языковых моделей (LLM).
Что такое галлюцинация искусственного интеллекта?
Галлюцинация — это когда модель уверенно генерирует ложные или нерелевантные результаты. Это может раздражать или даже развлекать случайных пользователей, но такая неуверенность в точности LLM является одним из главных препятствий для внедрения на предприятии. Недавний опрос Forrester Consulting Откроется в новом окнеиз 220 лиц, принимающих решения в области ИИ, обнаружили, что более половины заявили, что галлюцинации сдерживают более широкое использование ИИ в их организациях.
Это предостережение оправдано. Галлюцинации могут превратить LLM из многообещающего инструмента в серьезную проблему. Если 3% кажется небольшой цифрой, подумайте, насколько вы доверяете автомобилю, у которого тормоза отказывали в 3% случаев, или авиакомпании, потерявшей 3% багажа своих пассажиров. Даже несколько галлюцинаций потенциально могут ввести в заблуждение или оскорбить клиентов, поставить организацию в неловкое положение и даже создать юридическую угрозу, если конфиденциальная или личная информация будет непреднамеренно раскрыта.
К счастью, галлюцинации можно смягчить, если использовать правильные инструменты и понимать, почему они возникают.
Почему у студентов-магистров галлюцинации?
Существует три основных типа галлюцинаций ИИ.
Галлюцинации, конфликтующие с входными данными: они возникают, когда LLM генерируют контент, который отличается от исходной подсказки – или входных данных, данных модели ИИ для генерации определенного результата – предоставленного пользователем. Ответы не соответствуют исходному запросу или запросу. Например, запрос о том, что слоны являются крупнейшими наземными животными и не умеют летать, вызывает ответ: «Да, слоны известны своей способностью летать на большие расстояния».
Галлюцинации, конфликтующие с контекстом: они случаются, когда LLM создают контент, несовместимый с информацией, которую они ранее генерировали в том же разговоре или контексте. Это создает недостаток преемственности и последовательности в диалоге. Например, в диалоге о Марсе, в котором упоминается его красный цвет, LLM отвечает: «Марс славится своими пышными зелеными лесами и огромными океанами, что делает его очень похожим на Землю с точки зрения обитаемости». Ответ прямо противоречит известным характеристикам Марса, обсуждавшимся ранее.
Галлюцинации, противоречащие фактам: эти типы создают текст, противоречащий фактам, распространяя неверную или вводящую в заблуждение информацию. Примером может служить утверждение, что температура кипения воды составляет 150 градусов по Цельсию или что Эйфелева башня была построена в 1958 году.
Вероятностное предсказание слов против рассуждений
Эти сценарии возникают из фундаментальной вероятностной конструкции LLM. Обученные на обширных наборах данных, LLM учатся предсказывать следующее слово в последовательности на основе предыдущих шаблонов, которые они видели в своих наборах обучающих данных. Этот процесс, естественно, способствует развитию творческих способностей у студентов-магистров, но также способствует возникновению галлюцинаций.
Распространенное заблуждение о магистратурах заключается в том, что они могут рассуждать. Хотя их расширенные возможности иногда могут создавать иллюзию рассуждения, LLM в основном работают на вероятностных принципах. Если их предоставить самим себе, они в конечном итоге начнут галлюцинировать.
Галлюцинации на предприятии
Эта уязвимость является ключевой проблемой для предприятий, рассматривающих возможность интеграции этой технологии в свои рабочие процессы, особенно в приложения, ориентированные на клиентов. В отчете Menlo Ventures «Состояние генеративного искусственного интеллекта на предприятии» за 2023 год говорится, что крупные организации отдают приоритет «производительности и точности» над всеми другими критериями закупок. Обещания LLM о повышении эффективности могут быть сведены на нет, если ответы, которые они генерируют, являются неточными или потенциально вредными.
Большинство LLM не обучены колебаться. Их кажущаяся уверенность может ввести пользователей в заблуждение, заставив поверить в то, что они говорят, правда, даже если это не так. Так было на примере нью-йоркских адвокатов. Простой поиск мог бы вызвать сомнения в достоверности фактов, приведенных ChatGPT, но они решили принять информацию за чистую монету. Таким образом, инструмент, который должен был помочь им в работе, стал огромной ответственностью для их фирмы и клиента.
Подробнее: Является ли ИИ самым большим риском? Вот что нужно знать предприятиям
Смягчение галлюцинаций на предприятии
Есть три эффективные стратегии, позволяющие значительно снизить риск галлюцинаций.
1. Правильно вводите данные
Данные обучения LLM должны обеспечивать адекватный контекст, соответствующий ожидаемым задачам. Доступ к источникам данных систем учета позволяет LLM генерировать ответы, включающие контекстно значимую информацию, выходящую за рамки данных общего назначения, используемых для обучения общедоступных моделей.
Этот метод, известный как поисковая дополненная генерация (RAG), привязывает LLM к определенному набору знаний, ограничивая его способность галлюцинировать и предоставляя контекст для получения осмысленного ответа.
2. Контроль доступа: кто и что может видеть?
Не все данные, которыми располагает предприятие, предназначены для совместного использования всеми сотрудниками компании. Средства управления доступом предоставляют LLM информацию о том, кем является пользователь и тип контента, к которому он должен иметь доступ. Это имеет решающее значение для предотвращения непреднамеренного раскрытия частной или конфиденциальной информации.
3. Задавайте правильные вопросы
Ясность, конкретность и точность подсказки напрямую влияют на качество и точность результатов LLM. На этапе подсказки мы можем предоставить подробные инструкции и контекст, направляя ответы LLM на запросы и устанавливая границы его обсуждения.
Случай с дилером Chevy, чей чат-бот с искусственным интеллектом рекомендовал посетителю веб-сайта грузовик Ford, является примером LLM, который не был достаточно проинструктирован, чтобы выступать в качестве представителя бренда компании. Хотя технически это не было галлюцинацией, это был пример того, как модель вышла из строя в контексте ее использования.
Своевременное проектирование могло бы предотвратить этот конфуз. Оперативное проектирование также может включать соответствующие метаданные и историю предыдущих разговоров, чтобы обеспечить LLM максимально релевантным контекстом для получения хорошего ответа.
Подключить LLM к интерфейсу запросов недостаточно
Подключение к LLM с использованием их легкодоступных API — это лишь малая часть более широкой картины корпоративного развертывания. Критические элементы, такие как RAG, надежный контроль доступа и эффективный прием данных, могут стать катализатором внедрения на предприятии. Хорошей новостью является то, что существуют проверенные способы борьбы с галлюцинациями.
Более продуманные подсказки могли бы помочь агенту службы поддержки клиентов Chevrolet с искусственным интеллектом, а фирма, нанимающая двух нью-йоркских адвокатов, получила бы выгоду от практики RAG, основанной на четко определенных файлах данных.
Ключом к тому, чтобы сделать LLM удобным для предприятия, являются комплексные структуры, инструменты и услуги, которые интегрируют данные из существующих систем учета в сочетании с ролевым доступом и моделями, основанными на корпоративных данных. Этот контроль необходим для реализации его значительного потенциала на предприятии.
