自作ルーブリック設計と実用評価パイプライン

1. 決定モデルにおけるルーブリック設計の勘所

生成型LLM（GPT-4等）に対する「思考の連鎖（CoT: Chain-of-Thought）」とは対照的に、Jevは提示された基準（Criteria）と状態（State）を文字通りに直接照合します。

そのため、高精度な評価を行うためには以下の3原則が不可欠です：

• 単調増加性 (Monotonic Order): Score の基準配列は、必ずインデックス0（最悪）から最後のインデックス（最善）へと段階的に記述します。Jevはこの順序を前提として期待スコア（加重平均）を計算します。
• 相互排他性 (Mutual Exclusivity): 「良い」「普通」のような曖昧な表現を避け、「引用文にない独自事実が1点以上含まれる」「すべての記述が裏付けられている」といった客観的な境界条件を記述します。
• Stateの純度 (State Purity): 評価対象の state には不要なHTMLタグや余計なメタデータを含めず、評価に必要なキー（context, query, answer）だけに絞り込みます。

2. 3大プリミティブの「複合パイプライン」設計

1つの質問だけで合否を決めるのではなく、「Noul」「Choice」「Score」を組み合わせることで、極めて堅牢な多層防衛ラインが構築できます。

3. パイプラインの実行と検証

ワークスペース内に用意した実践スクリプト custom_eval_pipeline.py では、4種類のRAG回答サンプルを一括評価しています：

# 実行コマンド
uv run python custom_eval_pipeline.py

一次情報リソース（推奨文献）

• 本ワークスペース: Jev ルーブリック設計原則リファレンス — 設計パターンの詳細解説。
• 本ワークスペース: typesafe_sdk 仕様リファレンス — SDKシグネチャ。
• TypeSafe AI: Primitives and Rubric Best Practices — 公式ガイド。