Детектор лжи на основе ИИ: открытый код HallOumi — ключ к внедрению ИИ в корпорациях

Решение проблемы галлюцинаций в корпоративном ИИ с помощью модели HallOumi

Внедрение корпоративного ИИ зачастую тормозится проблемой галлюцинаций – выдуманных ответов ИИ-систем. Это приводит к серьёзным последствиям, от юридических проблем до выполнения компаниями несуществующих инструкций. Различные организации пытались решить эту проблему разными методами: от донастройки моделей на лучших данных до использования RAG (Retrieval Augmented Generation) и введения ограничительных мер. Однако, компания Oumi предлагает инновационный подход – модель HallOumi.

Модель HallOumi: проверка достоверности ИИ-контента

HallOumi – это модель проверки достоверности с открытым исходным кодом, разработанная компанией Oumi (Open Universal Machine Intelligence), объединяющая бывших инженеров Apple и Google. Выпущенная 2 апреля, эта модель предлагает новый подход к обнаружению галлюцинаций. Название модели – комбинация слов «галлюцинация» и «Oumi». HallOumi анализирует генерируемый ИИ контент предложение за предложением, сравнивая его с исходным документом и проверяя соответствие каждого утверждения.

«Галлюцинации – одна из самых серьёзных проблем при использовании генеративных моделей», – отмечает Манос Кукумидис, генеральный директор Oumi. – «Это вопрос доверия: модели обучаются генерировать правдоподобные, но не обязательно истинные результаты».

Принцип работы HallOumi

Система принимает исходный документ и ответ ИИ, затем проверяет, подтверждает ли исходный материал каждое утверждение в ответе. «HallOumi анализирует каждое предложение отдельно, – объясняет Кукумидис. – Для каждого предложения указываются конкретные предложения в исходном документе, которые нужно проверить, чтобы оценить точность информации, предоставленной большой языковой моделью (LLM)».

Результат анализа каждого предложения включает:

• Уровень уверенности в отсутствии галлюцинации.
• Конкретные цитаты, подтверждающие или опровергающие утверждения.
• Понятное объяснение причин подтверждения или опровержения.

«Модель обучена быть очень тонкой, – добавляет Кукумидис. – Даже наши лингвисты иногда считают, что помеченное моделью как галлюцинация утверждение выглядит правдоподобно. Только детальное изучение обоснования показывает тонкие причины, почему модель сделала ошибочное предположение или почему информация неточна».

Интеграция HallOumi в корпоративные рабочие процессы

HallOumi может интегрироваться в корпоративный ИИ несколькими способами. Один из вариантов – использование интерактивного интерфейса. Однако, для производственных процессов более эффективен API-ориентированный подход. Модель открыта для интеграции в существующие рабочие процессы, может запускаться локально или в облаке и использоваться с любой большой языковой моделью (LLM).

Процесс проверки включает подачу исходного контекста и ответа LLM в HallOumi, которая затем проверяет вывод. Предприятия могут использовать HallOumi для добавления слоя верификации в свои ИИ-системы, помогая обнаруживать и предотвращать галлюцинации в сгенерированном контенте. Oumi выпустила две версии модели: генеративную 8B-модель (с подробным анализом) и классификационную модель (с быстрой оценкой).

Сравнение HallOumi с другими методами

HallOumi дополняет, а не заменяет существующие методы, такие как RAG, предлагая при этом более подробный анализ, чем типичные системы защиты от галлюцинаций. Она применима как к сценариям с использованием RAG (где LLM получает контекст из поиска), так и к ситуациям, когда LLM работает с уже предоставленным документом.

В отличие от систем, обеспечивающих только бинарную проверку (правда/ложь), HallOumi предоставляет анализ на уровне предложений с оценками уверенности и объяснениями, что позволяет пользователям точно понимать, где и как возникают галлюцинации. HallOumi использует специализированную форму рассуждений, анализируя каждое утверждение по отдельности.

Модель способна обнаруживать не только случайные галлюцинации, но и преднамеренную дезинформацию. Например, HallOumi определила случай, когда модель DeepSeek игнорировала данные из Википедии и генерировала пропагандистский контент.

Значение HallOumi для внедрения корпоративного ИИ

Для компаний, активно внедряющих ИИ, HallOumi предлагает важный инструмент для безопасного развертывания генеративных ИИ-систем. Она позволяет повысить доверие к LLM, предоставляя необходимые гарантии точности. Для компаний, которые только начинают внедрять ИИ, открытый характер HallOumi позволяет экспериментировать с технологией, получая при необходимости коммерческую поддержку от Oumi.

По мере развития ИИ, подобные инструменты, как HallOumi, могут стать стандартным компонентом корпоративных ИИ-стеков, обеспечивая надежное разделение фактов и вымыслов в ИИ-системах.