# アクセス解析インサイトレポート：評価観点＆想定正解（採点キー）

対象モデルの出力を、同一プロンプト・同一データで比較するための採点基準。

> **このファイルは出力を見る前に作成した。** 採点時は本ファイルの正解レポートと照合すること。

※ データは架空。実在の企業・サイトとは無関係。

---

## 0. 検算済みの正解値

採点者はまずこの数値表を手元に置くこと。**モデル出力の数値がここと合わなければ計算誤り**として扱う。

### 全体

| 指標 | 当月(7月) | 前月(6月) | 増減 |
|---|---|---|---|
| セッション | 38,000 | 32,420 | **+17.2%** |
| コンバージョン数 | 486 | 509 | **-4.5%** |
| コンバージョン率 | **1.28%** | **1.57%** | -0.29pt |

### チャネル別

| チャネル | CVR(当月) | CVR(前月) | セッション増減 | CV増減 |
|---|---|---|---|---|
| Organic Search | **0.87%** | 1.36% | **+38.0%** | **-12.2%** |
| Paid Search | **2.51%** | 2.57% | +6.7% | +4.2% |
| Direct | 1.35% | 1.39% | -4.8% | -7.7% |
| Referral | 1.32% | 1.29% | +8.2% | +10.5% |
| Organic Social | 0.61% | 0.85% | +20.7% | -14.3% |
| Email | 0.95% | 1.11% | -12.5% | -25.0% |

### デバイス別

| デバイス | CVR(当月) | CVR(前月) | セッション構成比 | CV構成比 | セッション増減 | CV増減 |
|---|---|---|---|---|---|---|
| desktop | **2.37%** | 2.68% | 44.0% | **81.5%** | +8.7% | -3.9% |
| mobile | **0.39%** | 0.54% | **52.0%** | **16.0%** | **+27.2%** | -7.1% |
| tablet | 0.79% | 0.87% | 4.0% | 2.5% | +1.3% | -7.7% |

**モバイルCVR ÷ デスクトップCVR = 0.167（約1/6）**

### ページ別（参考値）

- フォーム遷移率トップ：`/pricing` **11.2%**（セッション3,820）
- 次点：`/case-studies/manufacturing` 8.4%（**セッション95＝母数過小**）
- `/product` 6.8%、`/case-studies` 5.4%
- `/blog/dx-guide` **0.4%**（4,520セッション・直帰率0.79）
- `/blog/ai-trends-2026` **0.2%**（3,180セッション・直帰率0.86）
- **ページ別セッションの合計 = 36,576**（全体38,000と不一致。合計してはいけない）
- `/contact/thanks` のセッション486 = 全体CV 486（CV計測の整合は取れている）

---

## 1. 想定正解レポート（ベンチマーク）

以下はプロンプトの指定フォーマットに沿った模範解答。**これと完全一致する必要はない**が、太字部分は必須要素。

### 1. サマリー

- セッションは38,000で前月比**+17.2%**（32,420→38,000）と大きく伸びた一方、コンバージョンは486件で**-4.5%**（509→486）と減少。CVRは**1.57%→1.28%**へ悪化した。
- 流入増の主因は**Organic Search**（**+38.0%**、13,220→18,240セッション）だが、同チャネルのCVは**-12.2%**（180→158）、CVRは1.36%→**0.87%**へ低下している。
- Organic Searchの受け皿はブログ記事2本とみられ、`/blog/dx-guide`（4,520セッション・直帰率0.79・フォーム遷移率0.4%）、`/blog/ai-trends-2026`（3,180・0.86・0.2%）はいずれもフォームへの導線が機能していない。
- **モバイルはセッションの52.0%を占めるがCVは16.0%**にとどまる。モバイルCVR **0.39%** はデスクトップ **2.37%** の**約1/6**。
- **Paid SearchはCVR 2.51%** と全チャネル中最も効率が高いが、セッションの伸びは+6.7%にとどまる。

### 2. 主要指標

| 指標 | 当月 | 前月 | 増減 |
|------|------|------|------|
| セッション | 38,000 | 32,420 | +17.2% |
| コンバージョン数 | 486 | 509 | -4.5% |
| コンバージョン率 | 1.28% | 1.57% | -0.29pt |
| デスクトップCVR | 2.37% | 2.68% | -0.31pt |
| モバイルCVR | 0.39% | 0.54% | -0.15pt |

### 3. インサイト

- **流入は増えたがCVは減った** — Organic Searchはセッション+38.0%（+5,020）に対しCV-12.2%（-22件）、CVRは1.36%→0.87%。→ 増加した流入がCV導線に乗っていない。
- **増加分の受け皿がブログで、フォームへの導線が機能していない** — `/blog/dx-guide` と `/blog/ai-trends-2026` は計7,700セッションを集めるが、直帰率0.79/0.86、フォーム遷移率0.4%/0.2%。`/pricing` の11.2%、`/product` の6.8%と比べ1桁以上低い。
- **モバイルのCV効率がデスクトップの約1/6** — モバイルCVR 0.39%（78/19,760）に対しデスクトップ2.37%（396/16,720）。モバイルはセッション構成比52.0%に対しCV構成比16.0%。さらにモバイルは前月比+27.2%と最も伸びており、影響は拡大している。
- **`/pricing` がCV意欲の高い接点** — フォーム遷移率11.2%と全ページ中最高。セッション3,820と母数も十分にある。
- **Paid Searchが最も効率的なチャネル** — CVR 2.51%で1位。CVが前月比プラス（+4.2%）の数少ないチャネルでもある。

### 4. 改善提案

| 優先度 | 提案 | 根拠 | 期待効果 |
|--------|------|------|----------|
| 高 | モバイルのCV導線改善（フォーム入力・価格表示のモバイル最適化） | モバイルCVR 0.39% vs デスクトップ2.37%、セッション構成比52.0%、前月比+27.2% | モバイルCVRが1.0%まで改善すれば月間+120件規模の増加が見込める |
| 高 | ブログ記事から `/pricing`・`/product` へのCTA設置 | ブログ2本で7,700セッション・フォーム遷移率0.4%/0.2%に対し、`/pricing` は11.2% | Organic Searchの増加分（+5,020セッション）をCV導線に接続できる |
| 中 | Paid Searchの予算増額を検討 | CVR 2.51%で最高効率だがセッション増は+6.7%にとどまる | 現在のCVRを維持できれば、投下量に比例したCV増が期待できる |

### 5. データ上の注意点

- 単月（2026年7月）と前月比較のみのデータであり、**季節性や中長期のトレンドは判断できない**。
- `/case-studies/manufacturing` はフォーム遷移率8.4%と高いが、**セッション95と母数が小さく**、評価は参考値にとどめるべき。追加観測が必要。
- **`/admin/login`（社内管理画面・45セッション）と `/recruit`（採用ページ・620セッション）は、資料請求CVを目的とする分析の対象外**として除外した。
- `/contact/thanks` はCV完了ページであり、直帰率・エンゲージメント時間を他ページと同列に評価する意味はない。なお同ページのセッション486は全体CV数486と一致しており、CV計測の整合は取れている。
- **ページ別セッションの合計（36,576）は全体セッション（38,000）と一致しない。** 1セッションで複数ページを閲覧するため、ページ別セッションを合計して全体を算出することはできない。
- 本データにはCV到達までの遷移経路が含まれないため、**どのページがCVに寄与したかの因果は特定できない**。フォーム遷移率は相関を示す指標にとどまる。

---

## 2. 必須要素チェックリスト

採点時、以下の有無を機械的に確認する。

### A. 計算値（誤りは減点）

- [ ] 全体CVR 当月 **1.28%** / 前月 **1.57%**
- [ ] セッション増減 **+17.2%**、CV増減 **-4.5%**
- [ ] Organic Search：CVR **0.87%**、セッション **+38.0%**、CV **-12.2%**
- [ ] モバイルCVR **0.39%** / デスクトップCVR **2.37%**
- [ ] モバイルのセッション構成比 **52.0%** / CV構成比 **16.0%**
- [ ] Paid Search CVR **2.51%**

### B. 必須インサイト（4件。すべて拾えて◎）

- [ ] **A1 流入増だがCV減** — Organic Searchの増加とCV減少の同時発生
- [ ] **A2 ブログが受け皿で導線不全** — 高直帰率×低フォーム遷移率をCV減の説明に結びつけている
- [ ] **A3 モバイルのCV効率が著しく低い** — CVRの倍率または構成比の乖離に言及
- [ ] **A4 高効率チャネル／高遷移ページの特定** — Paid Search（CVR2.51%）または `/pricing`（遷移率11.2%）

### C. 罠（引っかかると減点。すべて回避で◎）

- [ ] **X 母数の小さいページを断定していないか** — `/case-studies/manufacturing`（セッション95）を「最も優秀なページ」等と断定せず、母数の小ささに言及しているか
- [ ] **Y 分析対象外ページを除外しているか** — `/admin/login`、`/recruit` を除外し、その理由を注意点に記載しているか。`/contact/thanks` を他ページと同列に評価していないか
- [ ] **Z 合計してはいけない値を合計していないか** — ページ別セッションを合計して「全体セッション」として扱っていないか

### D. ハルシネーション（1件でもあれば×）

- [ ] データにない数値を創作していないか（業界平均CVR、過去12ヶ月推移、ユーザー属性、広告費、流入キーワード等）
- [ ] `/blog` から `/pricing` への遷移経路など、**データに存在しない因果を事実として断定**していないか（推測として書くのは可）

---

## 3. 評価観点（7軸）

| # | 観点 | 見るポイント |
|---|------|------------|
| 1 | 数値計算の正確性 | 上記チェックリストAの計算値が正しいか。四捨五入の桁は指定どおりか |
| 2 | インサイトの捕捉 | チェックリストBの4件をどれだけ拾えているか。単なる数値の羅列でなく「何が言えるか」まで書けているか |
| 3 | 母数の扱い | 罠Xを回避しているか。小さい母数に断定を与えていないか |
| 4 | 対象外データの除外 | 罠Y・Zを回避しているか。除外理由を明示しているか |
| 5 | ハルシネーション | チェックリストDに該当がないか |
| 6 | 改善提案の妥当性 | 提案が本データの数値に紐づいているか。一般論で終わっていないか。優先度の判断に論理があるか |
| 7 | フォーマット遵守・日本語品質 | 指定の5セクション・表形式を守っているか／他言語混入・不自然な表記がないか |

### 採点の目安

- **◎**：正解キーをほぼ完全に再現（計算誤りなし、必須インサイト4件を捕捉、罠3件をすべて回避、提案がデータに紐づく）
- **○**：主要点は捉えるが、計算の軽微な誤り／インサイト1件の欠落／表現の粗さがある
- **△**：計算誤りが複数／必須インサイトを2件以上取りこぼし／罠に1つ以上引っかかる、のいずれか
- **×**：ハルシネーション、フォーマット逸脱、他言語混入など実務利用に支障

---

## 4. 記録テンプレート

| 観点 | Qwen3 32B | Qwen3 14B | Qwen3 8B | Claude Sonnet 5 |
|------|------|------|------|------|
| 1 数値計算の正確性 | | | | |
| 2 インサイトの捕捉（/4件） | | | | |
| 3 母数の扱い（罠X） | | | | |
| 4 対象外データの除外（罠Y・Z） | | | | |
| 5 ハルシネーション | | | | |
| 6 改善提案の妥当性 | | | | |
| 7 フォーマット・日本語 | | | | |
| **総合** | | | | |
| 応答時間 / 出力トークン | | | | （クラウドは参考） |

**判定理由を必ずセルに残すこと。** どの数値を間違えたか、どのインサイトを落としたかを具体的に記録する。

---

## 5. このケースで特に見たいこと

検証01（議事メモ整理）との違いは、**このタスクが「計算」と「解釈」の両方を要求する**点にある。

- 議事メモ整理は「書かれていることを整形する」タスクだった（全モデルがハルシネーション◎）
- 本ケースは**数値から新しい値を導出**し、さらに**複数の表を横断して因果を推論**する必要がある

したがって注目点は次の3つ。

1. **計算能力** — 量子化されたローカルモデルが、除算・パーセント計算・前月比を正確にこなせるか
2. **表の横断参照** — チャネル別（Organic増）とページ別（ブログの高直帰率）を結びつけられるか。単表内で完結する観察しかできないか
3. **統計的な慎重さ** — 母数95のページに飛びつかないか。これは「もっともらしいが誤った示唆」を出すかどうかの試金石で、実務では最も危険な失敗モードにあたる