# 検証07 EC年間レポート — 採点キー（想定正解）

**このファイルはモデル出力を1件も見ないうちに確定させたもの。** 実行後に基準を足したり緩めたりしない。

正解値の本体は `_検証作業/07_EC年間レポート/01_input/answer.json`。
モデルへ渡すレポートも正解値も1つのスクリプトから生成しているため、
**渡したデータと正解値がズレることが原理的に起きない**。

---

## 0. このケースが問うこと

検証05・06で「集計はプログラム、解釈はLLM」という方向が見えた。
このケースは**集計済みレポートを固定**し、**そこからのインサイト抽出能力だけ**を8モデル横断で比較する。

条件は1つだけ（下ごしらえの度合いは変えない）。**変数はモデルだけ**にすることで、
モデル間の差を純粋に取り出す。

### 8モデルの内訳

| モデル | 提供元 | 位置づけ |
|---|---|---|
| qwen3:32b / 14b / 8b | Alibaba | 既存3ケースの比較対象 |
| llama3.1:8b | Meta | 汎用・多言語 |
| gemma3:12b | Google | 汎用 |
| phi4:14b | Microsoft | 汎用 |
| Llama-3.1-Swallow-8B-Instruct-v0.5 | 東京科学大学・産総研 | **日本語特化** |
| Llama-3-ELYZA-JP-8B | ELYZA | **日本語特化** |
| （参考）claude-sonnet-5 | Anthropic | クラウドの基準線 |

**今回いちばんの観測点：日本語特化モデルは、日本語のビジネス文書で有利になるのか。**
Swallow・ELYZA はいずれも8Bで、qwen3:8b・llama3.1:8b と同じサイズ帯。
**同一サイズ帯での日本語性能の差**を、初めて直接比較できる。

### 年間データならではの論点

これまでのケースは単月または2か月の比較だった。12か月あると、

- **季節性を一般傾向と切り分けられるか**（12月ピーク・2月谷）
- **通年の推移で初めて見える構造変化に気づけるか**
- **期間比較の歪みに気づけるか**（前半に12月が入るため単純比較が成立しない）

が問える。

---

## 1. 評価軸（7軸・4段階）

| 軸 | 共通の名称 | このケースでの読み替え |
|---|---|---|
| ① | 網羅性 | 指定した4セクションを出し、指摘が4〜6点あるか |
| ② | 抽出の正確性 | 引用した数値がレポートの値と一致しているか |
| ③ | 属性の正誤 | 月・指標・期間の対応が正しいか |
| ④ | 曖昧な事項の扱い | 季節性・母数の小ささ・期間比較の歪みを適切に扱えるか |
| ⑤ | ハルシネーション | レポートにない数値・事実の創作 |
| ⑥ | ノイズ除外 | 単一指標に飛びつかない。一般論の施策を並べない |
| ⑦ | フォーマット遵守・日本語品質 | 4セクション構成、見出し、**日本語の自然さ** |

**⑦は今回とくに重要。** 日本語特化モデルの評価軸として、
「日本語として読めるか」「ビジネス文書として通用するか」を厳しく見る。

### 重大な誤り（1箇所で△以下）

- **売上・粗利・CACなど主要指標の数値の誤り**
- **増減の方向を逆にする**
- **12月のピークを通常月の傾向として扱う**（T1）
- **レポートにない数値の創作**
- 日本語として意味をなさない文が複数ある

---

## 2. 正解値

### 通期（2025年7月〜2026年6月）

| 指標 | 値 |
|---|---|
| 売上 | 291,943,050円 |
| 粗利 | 132,185,991円（粗利率 **45.3%**） |
| 広告費 | 33,820,000円 |
| ROAS | 8.63 |
| 新規顧客 | 14,260人 |
| 客単価 | 8,150円 |

### 前半（2025年7-12月）と後半（2026年1-6月）

| 指標 | 前半 | 後半 | 差 |
|---|---|---|---|
| 売上 | 172,541,350円 | 119,401,700円 | **-30.8%** |
| 粗利 | 80,486,489円 | 51,699,502円 | **-35.8%** |
| 広告費 | 15,730,000円 | 18,090,000円 | **+15.0%** |
| 新規顧客 | 8,570人 | 5,690人 | **-33.6%** |
| CAC | 1,835円 | 3,179円 | **+73.2%** |

### 12か月で一貫して動いている指標

| 指標 | 2025年7月 | 2026年6月 |
|---|---|---|
| 原価率 | 52.0% | **58.2%** |
| 粗利率 | 48.0% | **41.8%** |
| CVR | 1.42% | **1.17%** |
| カート放棄率 | 68.5% | **75.1%** |
| リピート率 | 54.3% | **65.7%** |

### ピークとボトム

- ピーク：2025年12月 54,260,500円（**通期の18.6%**）
- ボトム：2026年2月 16,507,500円

---

## 3. 群A：レポートの表から直接読める指摘（5点）

| ID | 内容 | 根拠 |
|---|---|---|
| **A1** | 12月がピークで通期の18.6%を占める。季節性が強い | 54,260,500円 |
| **A2** | CVRが1.42%から1.17%へ一貫して低下 | 12か月の推移 |
| **A3** | CACが前半1,835円から後半3,179円へ+73.2%上昇 | サマリー表 |
| **A4** | 粗利率が月次で48.0%→41.8%、期間で46.6%→43.3%へ低下 | 収益性の表 |
| **A5** | 広告費は増えているのに新規顧客は減っている | +15.0% / -33.6% |

**A1〜A5のうち4点以上に言及していれば①は◎。3点なら○、2点以下は△。**

---

## 4. 群B：複数の指標を突き合わせて初めて見える指摘（3点）

**ここがこのケースの中心。** 表を1つずつ読むだけでは出てこない。

| ID | 内容 | 根拠 |
|---|---|---|
| **B1** | 売上-30.8%に対し**粗利は-35.8%とそれ以上に減っている**。減少幅の差が収益性の悪化を示す。原価率は12か月ほぼ一貫して上昇（52.0%→58.2%）しており、値引きに依存した販売になっている | 売上・粗利・原価率の3つを突き合わせて初めて言える |
| **B2** | **広告費を+15.0%に増やしているのに新規顧客は-33.6%**、CACは+73.2%。同時期にリピート率は54.3%→65.7%へ上がっているが、**これは施策の成果ではなく新規が取れないことの裏返し**である可能性が高い | 広告費・新規顧客・CAC・リピート率の4つを突き合わせる |
| **B3** | **2026年3月にカート放棄率が69.1%→71.8%へ跳ね**、以降75.1%まで悪化。**同時期にCVRも1.31%→1.17%へ低下**しており、3月に何が変わったかを確認すべき | カート放棄率とCVRを突き合わせ、変化点を特定する |

### 群Bの採点

- **3点すべて** → ⑥◎かつ①に加点。**分析として価値が出ている状態**
- **1〜2点** → ⑥○
- **0点** → ⑥△。表を順に読み上げているだけで、**分析になっていない**

**B2の「リピート率の改善は新規不振の裏返し」まで踏み込めたモデルは、特筆して記録する。**
これは数字の裏にある因果を疑う指摘であり、今回の最高難度。

---

## 5. 仕込んだ罠（4点）

| ID | 内容 | 誤答の形 |
|---|---|---|
| **T1** | 12月は通期の18.6%を占めるピーク。**季節要因**である | 「12月の水準を維持すべき」「12月並みの施策を通年で」 |
| **T2** | **前半後半の比較は前半に12月が入るため季節性で歪む。** 単純比較の-30.8%だけで「事業が3割縮小」と結論づけるのは早計（12月を除いた月平均では-15.9%） | 「事業規模が3割縮小した」と断定 |
| **T3** | 返品率は0.99%〜1.49%だが、**母数は月35〜86件**と小さい | 返品率の月次変動から傾向を語る |
| **T4** | 売上の減少に注目するあまり、**粗利率の一貫した低下**という構造問題を見落とす | 売上回復の施策だけを提案する |

**T2を自ら指摘できたモデルは④に加点する。** レポートには
「前半と後半はそれぞれ6か月。単純な期間比較であり、季節性は調整していない」と注記してあり、
これを読んで踏み込めるかを見る。

---

## 6. 採点の手順

1. 出力を `02_output/<モデル名>_run<N>.md` に保存する
2. `python3 03_scripts/score_ec.py` で数値照合と群A・群B・罠の判定を行う
3. 差分を見ながら7軸に ◎○△× を付け、**判定理由を1行ずつ残す**
4. **モデル別の群B指摘数を必ず記録する**（このケースの中心的な数字）
5. **日本語特化モデル（Swallow・ELYZA）と、同サイズの汎用モデル（qwen3:8b・llama3.1:8b）を
   必ず並べて比較する**

---

## 7. 記録する数値

- 応答時間・出力トークン数
- 試行回数 n（**n≧3 が全ケース共通の標準**）
- 3回分のブレ幅
- 量子化条件（Ollama 既定 Q4_K_M。Swallow・ELYZA は Q4_K_M 明示）
- **モデル別の：数値一致数 / 群Aの言及数 / 群Bの言及数 / 罠の回避数**

### 出力上限の設定に注意

モデル確認（2026/08/07）で、**Qwen3系は「3」と答えるだけで128〜221トークンを消費**した
（thinking部分）。非Qwen3系は2〜3トークン。**`num_predict` を絞るとQwen3系だけが
思考の途中で打ち切られて空応答になる。** このケースでは上限を設けないか、十分大きく取る。

---

## 8. この検証で答えを出したい問い

1. **日本語特化モデル（Swallow・ELYZA）は、日本語のビジネス文書で汎用モデルより優れるのか**
2. **同一サイズ帯（8B）で、モデルによる差はどれくらいあるのか**
3. **12か月の推移から、複数指標を突き合わせた指摘ができるモデルはどれか**
4. **季節性・母数・期間比較の歪みを扱えるモデルはどれか**