ИИ написал научную статью, и её приняли к публикации. Но не всё так просто…

Первый рецензируемый научный труд, созданный ИИ?

Стартап Sakana заявил о создании ИИ-системой одной из первых рецензируемых научных публикаций. Однако данное утверждение требует уточнений.

Споры вокруг роли ИИ в науке

Роль искусственного интеллекта в научных исследованиях вызывает всё больше споров. Часть исследователей считает ИИ пока не готовым к участию в качестве соавтора, другие видят в нём большой потенциал, но признают, что это лишь начало.

Компания Sakana относится ко второй группе. Используя систему The AI Scientist-v2, она создала статью и отправила её на семинар ICLR – престижной конференции по ИИ. Организаторы семинара и руководство ICLR согласились на эксперимент по анонимному рецензированию рукописей, созданных ИИ. Вместе с учёными из Университета Британской Колумбии и Оксфордского университета Sakana представила три статьи, сгенерированные ИИ. Система The AI Scientist-v2 создала статьи полностью самостоятельно: от научных гипотез и экспериментов до кода, анализа данных, визуализации, текста и заголовков.

«Генерируя идеи для исследований, мы предоставляли ИИ аннотацию и описание семинара, – пояснил Роберт Ланге, научный сотрудник и один из основателей Sakana. – Это гарантировало соответствие тем семинара».

Одна из трёх статей была принята на семинар ICLR – статья, критически оценивающая методы обучения моделей ИИ. В интересах прозрачности и соблюдения правил ICLR, Sakana отозвала статью до публикации.

«Принятая статья предлагает новый перспективный метод обучения нейронных сетей и показывает наличие нерешённых эмпирических проблем, – отметил Ланге. – Это интересный момент, способный стимулировать дальнейшие исследования».

Нюансы достижения

Однако достижение Sakana не так впечатляет, как кажется на первый взгляд. В своём блоге компания признаёт, что ИИ допускал ошибки в цитировании, например, неверно приписывая метод статье 2016 года вместо оригинальной работы 1997 года.

Статья Sakana не прошла столь же строгую проверку, как другие рецензируемые публикации. После первоначального рецензирования компания отозвала её, тем самым статья не прошла дополнительную «мета-рецензию», которая теоретически могла бы привести к её отклонению.

Показатели принятия статей на семинарах конференций обычно выше, чем на основной «конференционной секции», что Sakana честно упоминает в своём блоге. Компания заявила, что ни одно из её исследований, сгенерированных ИИ, не соответствовало внутренним требованиям для публикации в основной секции ICLR.

Мэтью Гуздиал, исследователь ИИ и доцент Университета Альберты, назвал результаты Sakana «немного вводящими в заблуждение».

«Sakana отобрала статьи из нескольких сгенерированных, то есть использовала человеческое суждение при выборе результатов, которые, по их мнению, могли бы быть приняты, – сказал он. – Это демонстрирует эффективность тандема человек-ИИ, а не самостоятельный научный прогресс ИИ».

Майк Кук, научный сотрудник King’s College London, специализирующийся на ИИ, подверг сомнению строгость рецензентов и семинара.

«Новые семинары часто рецензируются молодыми исследователями, – сказал он. – Этот семинар посвящён негативным результатам и трудностям – что само по себе здорово, но, возможно, ИИ проще убедительно описать неудачу».

Кук добавил, что не удивлён способности ИИ пройти рецензирование, учитывая его умение писать тексты, похожие на человеческие. Частично сгенерированные ИИ статьи, прошедшие рецензирование в журналах, – не новость, как и этические дилеммы, которые это порождает.

Технические недостатки ИИ, такие как склонность к «галлюцинациям», заставляют многих учёных с осторожностью относиться к его использованию в серьёзной работе. Эксперты опасаются, что ИИ может генерировать шум в научной литературе, не способствуя прогрессу.

Кук отметил, что важно определить, насколько результат работы Sakana отражает качество ИИ в разработке и проведении экспериментов, а не только его способность убеждать людей. Sakana, справедливости ради, не утверждает, что её ИИ способен на революционные открытия. Целью эксперимента было изучение качества исследований, сгенерированных ИИ, и подчёркивание необходимости норм, касающихся науки, созданной ИИ. Компания подчеркнула необходимость обсуждения в научном сообществе вопросов оценки науки, созданной ИИ, чтобы избежать предвзятости и не допустить ситуации, когда единственная цель – пройти экспертную оценку, подрывая смысл научного процесса.