Deep Search: Новый вызов Perplexity и поиску ChatGPT

Современный ландшафт поиска на основе ИИ

Современные поисковые системы на основе искусственного интеллекта, такие как Perplexity и ChatGPT Search, предоставляют актуальные ответы, сочетая знания и возможности рассуждения больших языковых моделей (LLM) с веб-поиском. Однако эти решения, как правило, являются проприетарными и закрытыми, что ограничивает возможности их настройки и адаптации для специфических задач.

Разработка новых решений в области поиска на основе ИИ в основном происходила за закрытыми дверями, и проекты с открытым исходным кодом традиционно уступали по удобству использования и производительности. Open Deep Search (ODS) призван изменить эту ситуацию, демонстрируя, что открытые системы могут конкурировать и даже превосходить закрытые аналоги по качеству, скорости и гибкости.

Архитектура Open Deep Search (ODS)

Open Deep Search (ODS) разработан как модульная система, интегрируемая с моделями с открытым исходным кодом, такими как DeepSeek-R1, и закрытыми моделями, такими как GPT-4 и Claude. Система состоит из двух основных компонентов, оба из которых используют выбранную базовую LLM:

Инструмент открытого поиска

Этот компонент принимает пользовательский запрос и извлекает информацию из сети, предоставляя её LLM в качестве контекста. Для улучшения результатов поиска и обеспечения релевантности контекста, инструмент выполняет несколько действий. Во-первых, он перефразирует исходный запрос, расширяя охват поиска и учитывая различные точки зрения. Затем он получает результаты из поисковой системы, извлекает контекст из лучших результатов (фрагменты и связанные страницы) и применяет методы разбиения на части и повторного ранжирования для фильтрации наиболее релевантного контента. Он также включает специальную обработку для конкретных источников, таких как Wikipedia, ArXiv и PubMed, и может быть настроен на приоритетную обработку надёжных источников при обнаружении противоречивой информации.

Агент открытого рассуждения

Агент получает запрос пользователя и использует базовую LLM и различные инструменты (включая инструмент открытого поиска) для формирования окончательного ответа. Sentient предоставляет две архитектуры агентов в рамках ODS:

ODS-v1

Эта версия использует фреймворк агента ReAct в сочетании с рассуждением Chain-of-Thought (CoT). Агенты ReAct чередуют шаги рассуждения («мысли») с действиями (например, использованием инструмента поиска) и наблюдениями (результатами работы инструментов). ODS-v1 итеративно использует ReAct для получения ответа. При возникновении затруднений (определяемых отдельной моделью оценки), он переходит к CoT Self-Consistency, выбирая несколько ответов CoT из модели и используя наиболее часто встречающийся.

ODS-v2

Эта версия использует Chain-of-Code (CoC) и агента CodeAct, реализованного с использованием библиотеки Hugging Face SmolAgents. CoC использует способность LLM генерировать и выполнять фрагменты кода для решения проблем, а CodeAct применяет генерацию кода для планирования действий. ODS-v2 способен управлять несколькими инструментами и агентами, позволяя решать более сложные задачи, требующие сложного планирования и, потенциально, нескольких итераций поиска.

В отличие от систем, предлагающих "глубокий поиск" через разговорных агентов, ODS работает на другом уровне, предоставляя базовую архитектуру для интеллектуального извлечения информации, а не просто её сводки.

Производительность и практические результаты

Sentient оценила ODS, объединив его с моделью с открытым исходным кодом DeepSeek-R1 и протестировав на популярных закрытых аналогах, таких как Perplexity AI и OpenAI GPT-4 Search Preview, а также на автономных LLM, таких как GPT-4 и Llama-3.1-70B. Использовались эталоны вопрос-ответ FRAMES и SimpleQA, адаптированные для оценки точности систем ИИ с поддержкой поиска.

Результаты показали конкурентоспособность ODS. Как ODS-v1, так и ODS-v2 в сочетании с DeepSeek-R1 превзошли флагманские продукты Perplexity. ODS-v2 в сочетании с DeepSeek-R1 превзошёл GPT-4 Search Preview на сложном эталоне FRAMES и показал почти равные результаты на SimpleQA.

Интересно отметить эффективность фреймворка. Агенты рассуждения в обеих версиях ODS научились использовать инструмент поиска рационально, принимая решения о необходимости дополнительного поиска на основе качества первоначальных результатов. Например, ODS-v2 использовал меньше веб-поисков для более простых задач SimpleQA по сравнению с более сложными многоходовыми запросами в FRAMES, оптимизируя потребление ресурсов.

Для предприятий, заинтересованных в мощных возможностях искусственного интеллекта в области рассуждения, основанных на информации в реальном времени, ODS представляет собой многообещающее решение, предлагающее прозрачную, настраиваемую и высокопроизводительную альтернативу проприетарным системам поиска на основе ИИ. Возможность подключать предпочитаемые модели больших языковых моделей и инструменты с открытым исходным кодом обеспечивает организациям больший контроль над своим стеком ИИ и позволяет избежать привязки к поставщику. ODS создан с учетом модульности и динамически выбирает инструменты, которые необходимо использовать, основываясь на описаниях, предоставленных в запросе. Это позволяет ему взаимодействовать с незнакомыми инструментами — при условии их хорошего описания — без предварительного знакомства. Хотя производительность ODS может снижаться при чрезмерном увеличении количества инструментов, тщательное проектирование системы минимизирует этот эффект.

Код для ODS доступен на GitHub.