И вот тут начали сгущаться тучи. Потому что всё, что похоже на правду — красивую, логичную, убедительную правду — вполне может быть придумано системой, которая обучена выглядеть правдоподобной. И да, она может. Легко.
Спасли, как ни странно, другие люди. Те, кто, видимо, уже прошёл этим путём и проложил через зелёное болото дорожку, щедро усеяв её своими мозгами. Оказалось, существует технология Grounding Metadata. По сути — попытка построить формальную систему подтверждения реальности. Состоит она из двух важных частей.
Grounding Chunks — источники. Список веб-страниц, которые поиск реально нашёл и передал модели на чтение.
И Grounding Supports — это массив, который прямо говорит: «Фрагмент текста со знака 120 по 250 подтверждается источником №3».
Мне ничего не оставалось, кроме как встроить этот самый граундинг в своего агента. Я для себя назвал это «грунтованием веры».
В итоге вместе с каждым текстом теперь формируется сопроводительный набор. Так спокойнее:
- Во-первых, список авторитетных сайтов по контексту текста. Это, конечно, тоже может быть галлюцинацией, но уже правдоподобной и проверяемой.
- Во-вторых, системный реестр ссылок: GROUNDING_API_V1. Да, версия первая. Позор. Человечество только-только начало догадываться, что его слегка водят за нос.
- В-третьих, протокол фактологической верификации INTEGRITY_CHECK — выборочная проверка конкретных фактов.
Помогло ли это? Не знаю. Формально — да. Практически — стало спокойнее. Экзистенциально — не очень. Потому что ощущение, что где-то нас всё равно… на…верное… вводят в заблуждение, никуда не делось. Ведь если задуматься, система верификации тоже может галлюцинировать. А источники могут ссылаться друг на друга и вообще не содержать того что должны.
Реальность, как известно, вообще штука подозрительная. Говорят, мир, в котором мы живём, кому-то снится. Возможно, этот сон теперь снабжён ссылками на источники… Бррр… Не делайте литературных агентов – оно того не стоит 🙂