Каждый, кто пользуется ИИ, в частности LLM такими, как ChatGPT, не раз замечал, что ИИ может выдавать неверные и странные результаты. Например, при запросе “сгенерировать человеческую ладонь”, ИИ сгенерирует ладонь с шестью пальцами, а при запросе: “кто был президентом США в 1700 году”, ИИ ответит “Джордж Вашингтон”, хотя США ещё не существовала как страна в 1700 году.
Проект, которому посвящен этот ресерч, нацелен на то, чтобы минимизировать количество подобных ошибок.
Mira Network — протокол, который позволяет выполнять доверенную проверку результатов ИИ, преобразуя сложный контент в независимые проверяемые утверждения. Эти утверждения проверяются через распределённый консенсус с участием различных моделей ИИ, операторы узлов получают экономические стимулы за честную проверку. Этот децентрализованный подход гарантирует, что ни один субъект не сможет манипулировать результатами проверки, при этом обеспечивая проверку результатов ИИ.
Одна из главных целей Mira Network — повышение надежности ИИ.
Все системы ИИ страдают от двух основных типов ошибок: галлюцинаций и предвзятости, которые вместе определяют общую погрешность модели. Текущие коэффициенты ошибок слишком высоки для автономного применения в ответственных сценариях, создавая критический разрыв между теоретическими способностями ИИ и его практическими возможностями.
С увеличением объема данных и параметров, на которых обучаются модели, проблемы надежности продолжают сохраняться из-за так называемой дилеммы обучения. Эта дилемма повторяет классический компромисс между точностью и ошибками: галлюцинации представляют ошибки точности (несоответствие результатов модели), в то время как предвзятость проявляется как систематическое отклонение от истины (ошибки точности). Когда разработчики моделей увеличивают объем данных для обучения, чтобы повысить точность и уменьшить галлюцинации, это неизбежно приводит к увеличению предвзятости (ошибок) из-за отбора данных. И наоборот, обучение на разнообразных, но конфликтующих источниках данных для уменьшения предвзятости приводит к увеличению галлюцинаций, так как модель производит непоследовательные результаты в рамках более широкой базы знаний.
Модели, дообученные для работы с узким набором задач, демонстрируют более высокую надежность в рамках этих задач. Однако исследования показывают, что такие модели испытывают трудности с интеграцией нового знания, так как дополнительное обучение усваивается значительно менее эффективно, чем то, что уже согласуется с существующими знаниями модели. Такие модели часто борются с ситуациями, выходящими за рамки их области обучения, делая их неподходящими для автономных систем, которые должны справляться с разнообразными реальными ситуациями.
Архитектура сети включает надежную проверку через новую комбинацию преобразования контента, распределенной проверки и механизмов консенсуса. Система обрабатывает всё: от простых фактических утверждений до сложного контента, включая техническую документацию, творческий текст, мультимедийный контент и код.
Рассмотрим составное утверждение: «Земля вращается вокруг Солнца, а Луна вращается вокруг Земли». Хотя проверка этого простого утверждения через несколько моделей может показаться простой, проверка сложного контента — целых абзацев, юридических документов или кода — представляет фундаментальные вызовы. Передача исходного контента без изменений для проверки моделями терпит неудачу, так как каждая модель-верификатор может интерпретировать и проверять разные аспекты контента. Систематическая проверка требует стандартизации результатов ИИ таким образом, чтобы каждая модель-верификатор рассматривала одну и ту же задачу в идентичном контексте.
Предложенный подход трансформации решает эту фундаментальную проблему. Для приведённого примера система разбивает исходное утверждение на отдельные проверяемые элементы: (1) «Земля вращается вокруг Солнца» и (2) «Луна вращается вокруг Земли». Через ансамблевую проверку определяется достоверность каждого утверждения, и выдаются криптографические сертификаты, подтверждающие процесс верификации. Этот процесс применяется универсально как к данным, сгенерированным ИИ, так и к данным, созданным человеком, делая систему независимой от источника, при этом поддерживая строгие стандарты проверки.
Сеть обрабатывает трансформацию исходного контента, распределение утверждений, управление консенсусом и организацию сети. Инфраструктура узлов включает независимых операторов, которые запускают модели-верификаторы, обрабатывают утверждения и обеспечивают координацию сети.
Рабочий процесс проверки
Процесс проверки осуществляется систематически. Клиенты предоставляют контент-кандидат и указывают требования к проверке, такие как область применения (например, медицинская, юридическая или техническая информация) и порог консенсуса (например, согласие X из Y узлов). Сеть преобразует этот контент в проверяемые утверждения, сохраняя логические взаимосвязи, распределяет эти утверждения по узлам для проверки, а затем агрегирует результаты для достижения консенсуса. Сеть генерирует криптографический сертификат, фиксирующий результат проверки, включая информацию о том, как модели достигли консенсуса для каждого утверждения, и возвращает как результат, так и сертификат клиенту.
Алгоритм консенсуса
Экономическая модель безопасности сети сочетает механизмы Proof-of-Work (PoW) и Proof-of-Stake (PoS) для создания устойчивых стимулов для честной проверки, одновременно распределяя реальную экономическую ценность.
Сеть создаёт ощутимую экономическую ценность, снижая уровень ошибок ИИ через верификацию. Клиенты оплачивают сетевые сборы за проверку, а сеть распределяет эти сборы между участниками — операторами узлов и поставщиками данных — в виде вознаграждений за верификацию.
В отличие от традиционных блокчейнов, где PoW предполагает решение криптографических задач с минимальной вероятностью успеха, Mira преобразует проверку в стандартизированные вопросы с несколькими вариантами ответов. Хотя такая стандартизация упрощает систематическую проверку между узлами, она также создаёт фундаментальный вызов: вероятность случайных ответов ограничена. Например, тест верификации может иметь 50% вероятность успеха с двумя вариантами ответа или 25% — с четырьмя вариантами. Это делает стратегию случайного угадывания потенциально рискованной, так как высокая награда требует вычислительных усилий.