Один вопрос · три контролируемых условия
Проверяйте архитектуру,
а не впечатление от ответа.
Flash Direct и Flash Graph используют одну модель. Поисковый бюджет, temperature и длина ответа выровнены; граф создаётся заново для каждого запуска.
Human-in-the-loop
Слепая парная оценка
Режимы, модели, стоимость, время и граф скрыты до отправки оценки.
Завершите пакетный эксперимент или загрузите следующую доступную пару.
Protocol 1.0.0
Пакетный эксперимент
Preregistered запуск
30 вопросов × 3 режима × минимум 3 повтора. Запуски перемешиваются фиксированным seed, а пары анонимизируются.
Полный запуск дорогой и долгий: 270 ответов плюс проходы графа.