Вывести ботов на чистую воду: самарские ученые придумали, как отличать в интернете искусственный интеллект от человека

Самарские исследователи выяснили, как определить возраст информации, которую выдает чат-бот / Фото: Олеся Орина

В Самаре придумали, как в эпоху искусственного интеллекта отличать в интернете ботов от людей. Понять это можно с помощью определенного типа вопросов. Каких именно — в ходе экспериментов выяснили преподаватели и аспиранты Самарского университета им. С.П. Королева.

Экспериментальное исследование

Ученые провели исследование, посвященное проблемам возраста информации, которой оперируют популярные системы ИИ — так называемые большие языковые модели (БЯМ). Эти системы, как правило, используют для написания текстов, их литературной обработки, исправления ошибок, перевода и т. д. Также БЯМ могут искать и собирать информацию, общаться с пользователями и отвечать на их вопросы.

«К сожалению, традиционные БЯМ не оснащены системами дообучения по большинству тем и областей человеческих знаний, поэтому со временем их информация устаревает, ответы чат-ботов становятся неточными и теряют актуальность», – рассказал доктор технических наук, профессор кафедры программных систем Андрей Сухов.

По словам ученого, пока невозможно уверенно утверждать, является ли ответ чат-бота точным и основан ли на реальных фактах или он использовал непроверенную информацию. Самарские исследователи выявили закономерность, с помощью которой можно легко выводить чат-ботов, которые маскируются под человека, на чистую воду. Они составили определенный тип вопросов, с помощью которого можно понять, с кем именно общается человек — с реальным собеседником или с искусственным интеллектом.

«Формат ответов чат-бота на запросы, относящиеся к информации до и после обучения БЯМ, сильно различается. Стандартная выдача, как правило, представляет собой текстовый ответ с объяснением результата. Если пользователь запросил информацию о событиях и явлениях, произошедших уже после обучения БЯМ, то чат-бот обращается к поисковой системе и выдает пользователю список из отрывков текстов со ссылками на сайты», – подчеркнул один из авторов исследования, аспирант кафедры киберфотоники по специальности «Искусственный интеллект и машинное обучение» Мурад Джериби.

Наработки самарских ученых могут помочь усовершенствовать классический тест Тьюринга / Фото: Олеся Орина

Человек или компьютер?

По его словам, подобная смена формата ответа позволяет достаточно точно определить момент времени, когда происходило обучение модели, и может помочь отличить в ходе общения в интернете бота от человека. Чтобы выяснить возраст информации, выдаваемой БЯМ, нужно составить и задать список вопросов, которые предполагают простой численный ответ. Он должен иметь различные числовые значения в разные периоды времени. К примеру, чат-боту можно задать контрольный вопрос о численности населения или о количестве браков и разводов за определенные периоды времени в какой-нибудь стране. Подобная статистика общедоступна на порталах соответствующих ведомств.

«Подобные вопросы можно задавать, например, и для того, чтобы понять, с кем вы общаетесь в сети – с человеком или компьютером. Если ответы собеседника содержат ссылки на интернет-поисковик или в ответе приводится список сайтов с краткой информацией по тематике запроса, то очень велика вероятность, что вы общаетесь именно с системой ИИ», – отметил Андрей Сухов.

Наработки самарских ученых могут помочь усовершенствовать классический тест Тьюринга, который британский математик предложил еще в 1950 году. Речь идет о методе исследования ИИ, цель которого – выяснить, способен ли компьютер в диалоге с человеком вести себя настолько убедительно, что тот не заметит подмены. Сейчас эта методика уже не справляется с современными системами ИИ. Исследователи считают, что алгоритм действий, предложенный ими, можно будет в дальнейшем применять для составления обновленного списка вопросов при прохождении теста Тьюринга.

Материал подготовлен при поддержке Минобрнауки России в рамках Десятилетия науки и технологий.

К ЧИТАТЕЛЯМ

Узнавайте новости первыми, подпишитесь на наш телеграм-канал и канал в МАХ

Обсуждаем новости в нашем канале ВК. Подписывайтесь и оставайтесь на связи

Хотите больше историй и видео? Подпишитесь на наш дзен-канал