# 検証06 経費レポート — 採点キー（想定正解）

**このファイルはモデル出力を1件も見ないうちに確定させたもの。** 実行後に基準を足したり緩めたりしない。

正解値の本体は `_検証作業/06_経費レポート/01_input/answer_key/answer.json`。
明細CSV・各レベルの入力・正解値のすべてを1つのスクリプト群から生成しているため、
**渡したデータと正解値がズレることが原理的に起きない**。

---

## 0. このケースが問うこと

検証05で「**集計はプログラムで、解釈はLLMで**」という結論が出た。
このケースが問うのは、その次の設計判断——**プログラムとLLMの境界を、具体的にどこに引くべきか**。

下ごしらえの度合いを3段階用意して比較する。**プロンプトは3条件で1文字も変えない。**

| 条件 | 渡すもの | 入力量 |
|---|---|---|
| **L2** | 集計表だけ（部門×費目、前月比較） | 1,010文字 |
| **L3** | L2 ＋ 件数 ＋ 前月比の計算済み値 ＋ 規程違反の照合結果 | 1,567文字 |
| **L4** | L3 ＋ **機械側で抽出した「注目すべき変化」リスト** | 1,882文字 |

### L1（生の明細）を条件に含めない理由

明細は5月188件・6月216件で**合計25,979文字**。プロンプトと合わせると約3万文字になり、
検証環境の `num_ctx=16384` に収まらない。

**経費明細のような明細系データは、そもそも生のままではコンテキストに入らない。**
これ自体が実務上の制約であり、「集計してから渡す」以外の選択肢が事実上ないことを意味する。
生データを渡した場合の精度は検証05（条件A）で測定済み（ローカル3サイズで0〜2.7/19）。

### 中心的な観測点：下ごしらえのしすぎは起きるか

正解となる指摘を**2群**に分けてある。

| 群 | 内容 | L4の抽出リストに載るか |
|---|---|---|
| **群A** | 各レベルで機械側が渡している情報から直接読める指摘（急増・規程違反） | **載る** |
| **群B** | 費目や部門を横断して初めて見える指摘 | **載らない** |

L4の抽出ルールは「増加額が10万円を超えた項目」と「規程違反の件数」。
つまり**減っている項目・ゼロになった項目・全社的な小さい変化は、構造的に拾えない**。

**L4で群Bの指摘が減るなら、「下ごしらえしすぎるとLLMが自分で考えなくなる」ことになる。**
その場合、L4は精度が上がっても設計としては劣る、という判断になりうる。

---

## 1. 評価軸（7軸・4段階）

全ケース共通の7軸をこのタスク用に読み替えたもの。

| 軸 | 共通の名称 | このケースでの読み替え |
|---|---|---|
| ① | 網羅性 | 指定した5セクションと必須指標を漏れなく出せているか |
| ② | 抽出の正確性 | 金額・前月比・件数の転記精度 |
| ③ | 属性の正誤 | 部門・費目の区分に正しい数値が紐づいているか |
| ④ | 曖昧な事項の扱い | 規程違反を「疑い」として適切に扱えるか。断定と推測を書き分けているか |
| ⑤ | ハルシネーション | データにない数値・事実の創作 |
| ⑥ | ノイズ除外 | 金額の大きい項目だけに飛びつかない。一般論の対応策を並べない |
| ⑦ | フォーマット遵守・日本語品質 | 5セクション構成、見出し、日本語の自然さ |

### 重大な誤り（1箇所で△以下）

- **総額・前月比の誤り**
- **前月比の方向を逆にする**
- **規程違反の件数を誤る**（L3・L4では表に明記されている）
- **個人を特定する記述**（申請者IDをそのまま挙げる等）
- **データにない数値の創作**

---

## 2. 正解値（2026年6月）

### 全社

| 項目 | 値 |
|---|---|
| 総額 | **3,113,040円**（前月 2,666,610円・**+16.7%**・差額 +446,430円） |
| 件数 | 216件（前月188件） |
| 月末（27日以降）申請の割合 | **34.0%**（前月20.1%） |

### 部門別

| 部門 | 6月 | 前月比 |
|---|---|---|
| 営業部 | 1,580,210円 | **+55.1%** |
| 開発部 | 400,430円 | **-31.9%** |
| カスタマーサクセス部 | 736,890円 | +17.8% |
| 管理部 | 395,510円 | -8.8% |

### 費目別

| 費目 | 6月 | 前月比 |
|---|---|---|
| 接待交際費 | 750,040円 | **+87.8%** |
| 会議費 | 515,730円 | **+68.9%** |
| 広告宣伝費 | 571,210円 | +20.9% |
| 消耗品費 | 445,540円 | +26.0% |
| 旅費交通費 | 411,150円 | +4.1% |
| 通信費 | 145,990円 | +30.9% |
| 研修費 | 273,380円 | **-56.6%** |

### 規程との照合結果（6月／5月）

| 項目 | 6月 件数 | 5月 件数 |
|---|---|---|
| 会議費 1人あたり超過 | **10件**（280,700円） | 0件 |
| 接待交際費 1件超過 | **10件**（349,100円） | 7件 |
| 宿泊費 1泊超過 | 2件（31,570円） | 6件 |
| 証憑なし・高額 | 2件（154,870円） | 2件 |
| 同日同額の重複 | **6件**（18,140円） | 0件 |

**L2ではこの照合結果を渡していない。** L2で規程違反に言及できるかは、
「渡していない情報を求めない」という意味で①の評価に関わる（減点対象にはしない）。

---

## 3. 群A：機械が渡している情報から読める指摘

**L3・L4では表に明記されている。L2では金額から読み取る必要がある。**

| ID | 内容 | 根拠 |
|---|---|---|
| **A1** | 総額が前月比+16.7%増。主因は営業部（+55.1%） | 3,113,040円 / 1,580,210円 |
| **A2** | 接待交際費が+87.8%、会議費が+68.9%と突出して増加 | 750,040円 / 515,730円 |
| **A3** | 会議費の1人あたり超過が10件（前月0件）と急増 | 280,700円 |
| **A4** | 同日同額の重複申請が6件（前月0件）。二重計上の疑い | 18,140円 |
| **A5** | 月末（27日以降）の申請が34.0%。前月20.1%から上昇 | 予算消化の駆け込みの疑い |

**A1〜A5のうち4点以上に言及していれば①は◎。3点なら○、2点以下は△。**

---

## 4. 群B：横断して初めて見える指摘（L4の抽出リストには載らない）

**ここがこのケースの中心。** L4の抽出ルール（増加額10万円超・規程違反）では構造的に拾えない。

| ID | 内容 | 根拠 |
|---|---|---|
| **B1** | 接待交際費が+159.3%と急増する一方、**営業部の旅費交通費は+8.1%でほぼ横ばい**。訪問件数の増加が理由なら旅費も連動するはずで、連動していない以上「営業活動が活発化した」では説明がつかない。接待1件あたりの単価か頻度の変化を疑うべき | 営業部：接待交際費 227,230→589,240円／旅費交通費 258,000→278,850円 |
| **B2** | **開発部の研修費が6月はゼロ**（前月327,960円）。最大部門（31名）の教育投資が止まっている。増加を探す抽出ルールでは検出されない | 開発部 研修費 327,960→0円 |
| **B3** | **通信費が全4部門で増加**（+30.9%）。部門単位では数千〜1万円台で小さいが、全社共通の要因（契約変更等）が疑われる | 営業25,930→30,330／開発35,740→45,560／CS 23,790→32,350／管理26,040→37,750 |

### 群Bの採点

- **3点すべてに言及** → ⑥◎かつ①に加点。**LLMを使う価値が出ている状態**
- **1〜2点** → ⑥○
- **0点** → ⑥△。「渡されたものを文章にしただけ」であり、
  **その条件ではExcelとテンプレートで代替できる**という評価になる

### 条件間の比較が本題

| 観測 | 意味 |
|---|---|
| L4で群Bが**減る** | 下ごしらえのしすぎ。抽出リストが思考の範囲を狭めている |
| L4で群Bが**変わらない/増える** | 下ごしらえは害にならない。L4を採用してよい |
| L2で群Bが**多い** | 情報が少ないほど自分で探す。ただし②の精度は落ちるはず |

---

## 5. 仕込んだ落とし穴

| 落とし穴 | 内容 | 誤答の形 |
|---|---|---|
| **P1** | 開発部は総額-31.9%だが、これは研修費がゼロになったため。「経費削減が進んだ」と肯定的に評価してはいけない | 「開発部はコスト意識が高い」等 |
| **P2** | 宿泊費超過は6月2件・**前月6件**で減っている。悪化しているように見せてはいけない | 「規程違反が全般に増加」 |
| **P3** | 証憑なしは6月2件・前月2件で横ばい | 「証憑管理が悪化」 |
| **P4** | 申請者は社員番号のみ。**個人を特定する記述をしてはいけない** | 「EMP-SLS-011の申請が…」 |

---

## 6. 採点の手順

1. 出力を `02_output/<条件>_<モデル名>_run<N>.md` に保存する（条件は `L2` `L3` `L4`）
2. `python3 03_scripts/score_expense.py` で数値照合と群A/群Bの言及判定を行う
3. 差分を見ながら7軸に ◎○△× を付け、**判定理由を1行ずつ残す**
4. **条件L2/L3/L4の比較を必ず記録する。** 特に**群Bの指摘数が条件によってどう変わるか**

**採点者は1名で全モデル分を通しで行う。**

---

## 7. 記録する数値

- 応答時間・出力トークン数
- 試行回数 n（**n≧3 が全ケース共通の標準**）
- 3回分のブレ幅
- 量子化条件（Ollama 既定 Q4_K_M）
- **条件別の：数値一致数 / 群Aの言及数 / 群Bの言及数**

---

## 8. この検証で答えを出したい問い

1. **下ごしらえはどこまでやるべきか。** L2・L3・L4のどこが最適点か
2. **下ごしらえのしすぎは起きるか。** L4で群Bの指摘が減るか
3. **どの下ごしらえが効くのか。** 件数・前月比の事前計算（L2→L3）と、異常検知（L3→L4）のどちらが効果が大きいか
4. **LLMを使う価値が出るのはどの条件か。** 群Bを指摘できない条件は、Excelとテンプレートで代替できる