GA4データから、実数を導けるか

下記を1文字も変えずに全対象モデルへ投入する。末尾のデータ欄に、第2章の3つのCSV全文をそのまま貼り付ける。実体は 。

あなたはWebサイトのアクセス解析を担当するアナリストです。
以下のGoogle Analytics 4のデータを読み、経営会議に提出する「Webサイト解析インサイトレポート」を作成してください。

# 前提

- 対象サイト：BtoB向けSaaSのマーケティングサイト
- 対象期間：2026年7月（比較対象：2026年6月）
- コンバージョン（CV）の定義：資料請求フォームの送信完了（`/contact/thanks` への到達）

# 出力フォーマット（この形式を厳守）

## 1. サマリー
- 全体状況を3〜5点の箇条書きで示す。
- 各項目には必ず具体的な数値を入れる。

## 2. 主要指標
以下の表形式で出力する。
| 指標 | 当月 | 前月 | 増減 |
|------|------|------|------|

## 3. インサイト
発見した事実を3〜5件、以下の形式で記述する。
- **<見出し>** — <根拠となる数値> → <そこから何が言えるか>

## 4. 改善提案
以下の表形式で、優先度をつけて3件出力する。
| 優先度 | 提案 | 根拠 | 期待効果 |
|--------|------|------|----------|

## 5. データ上の注意点
- 今回のデータで判断できないこと、解釈に注意が必要な点を箇条書きで示す。

# ルール（厳守）

- 与えられたデータから読み取れる事実のみに基づくこと。データにない数値・事実を推測で補完しないこと。
- 比率（コンバージョン率など）や増減率は、与えられた実数から自分で計算すること。計算結果は小数第2位まで（増減率は小数第1位まで）記載する。
- 母数（セッション数）が小さいデータについては、その旨を明記し、断定的な結論を書かないこと。
- サイトの運営目的（資料請求の獲得）に照らして分析対象とすべきでないページが含まれている場合は、除外した上で分析し、除外した理由を「5. データ上の注意点」に記載すること。
- 合計してはいけない値を合計しないこと。
- 改善提案は、必ず本データ内の数値を根拠として示すこと。一般論だけの提案を書かないこと。
- 出力は日本語のみとする。

# データ1：ページ別（2026年7月）

（ここに input_GA4_ページ別.csv の全文を貼り付ける）

# データ2：チャネル別（2026年7月／6月比較）

（ここに input_GA4_チャネル別.csv の全文を貼り付ける）

# データ3：デバイス別（2026年7月／6月比較）

（ここに input_GA4_デバイス別.csv の全文を貼り付ける）

対象モデルと実行環境

検証01・02と同一構成を維持する。過去ケースとの比較可能性を保つため、モデル構成は変えないこと。追加したいモデルがある場合は、既存4モデルに加える形にする。

手順

1. 3つのCSVを第4章のプロンプト末尾に貼り付け、投入用プロンプトを1本作る（この1本を全モデルで使い回す）
2. 各モデルへ投入し、出力を全文保存する。応答時間と出力トークン数を記録する
3. thinking の有無・量子化条件・コンテキスト長設定を記録する（検証02で32Bの応答が282秒に伸びた要因がthinking動作とみられるため）
4. 出力を と突き合わせ、7軸で採点する

記録項目

• 各モデルの出力全文
• 応答時間（秒）／出力トークン数
• thinking の有無・量子化条件・コンテキスト長
• 7軸の採点（◎○△×）と判定理由
• 計算誤りの具体的な内容（どの数値をどう間違えたか）
• 罠X・Y・Z それぞれへの対応可否
• 試行回数と、複数回実施した場合のブレ幅

データには、モデルの弱点が表面化するよう意図的に要素を埋め込んである。採点はこれらを軸に行う。

A. 拾ってほしいインサイト（4件）

A1とA2を結びつけられるかが本ケースの核心。チャネル別テーブルとページ別テーブルという別々の表を横断しないと「なぜ流入増がCVに繋がらないのか」に答えられない。単表内で完結する観察（「オーガニックが増えた」「ブログの直帰率が高い」）を並べるだけでは A1・A2 の捕捉とは認めない。

B. 引っかかってほしくない罠（3件）

罠X：母数の小さいページ

/case-studies/manufacturing はフォーム遷移率 8.4% と全ページ中2位の高さだが、セッションはわずか95。「最も効率の良いページ」「ここを強化すべき」と断定したら減点。母数の小ささに言及し、参考値・要追加観測として扱えていれば正解。

罠Y：分析対象外のページ

/admin/login（社内管理画面・45セッション・エンゲージメント時間220秒）と /recruit（採用ページ・620セッション）は、資料請求CVを目的とする分析の対象外。これらを他ページと同列に論じたり、改善提案の対象にしたら減点。また /contact/thanks はCV完了ページであり、直帰率0.15やエンゲージメント時間25秒を「優秀／問題」と評価する意味はない。除外理由を「データ上の注意点」に書けていれば加点。

罠Z：合計してはいけない値

ページ別セッションの合計は 36,576。これを「全体セッション」として扱ったり、チャネル別合計（38,000）との差1,424を「計測漏れ」等と誤って解釈したら減点。1セッションで複数ページを閲覧するため合計に意味がない、と指摘できていれば正解。

C. ハルシネーションの監視対象

• データにない数値の創作 — 業界平均CVR、過去12ヶ月推移、ユーザー属性（業種・企業規模）、広告費・CPA、流入キーワード
• データにない因果の断定 — 「ブログ読者が価格ページへ移動している」等、遷移経路データがないのに事実として書く（推測と明示すれば可）

採点の基準。完全一致を求めるものではないが、太字部分は必須要素。実体は 。

検算済みの正解値

モバイルCVR ÷ デスクトップCVR = 0.167（約1/6）／ページ別フォーム遷移率トップは /pricing 11.2%（セッション3,820）、次点 /case-studies/manufacturing 8.4%（セッション95＝母数過小）／ページ別セッション合計 36,576（全体38,000と不一致）

想定正解レポート（全文）

## 1. サマリー

- セッションは38,000で前月比+17.2%（32,420→38,000）と大きく伸びた一方、コンバージョンは486件で-4.5%（509→486）と減少。CVRは1.57%→1.28%へ悪化した。
- 流入増の主因はOrganic Search（+38.0%、13,220→18,240セッション）だが、同チャネルのCVは-12.2%（180→158）、CVRは1.36%→0.87%へ低下している。
- Organic Searchの受け皿はブログ記事2本とみられ、/blog/dx-guide（4,520セッション・直帰率0.79・フォーム遷移率0.4%）、/blog/ai-trends-2026（3,180・0.86・0.2%）はいずれもフォームへの導線が機能していない。
- モバイルはセッションの52.0%を占めるがCVは16.0%にとどまる。モバイルCVR 0.39%はデスクトップ2.37%の約1/6。
- Paid SearchはCVR 2.51%と全チャネル中最も効率が高いが、セッションの伸びは+6.7%にとどまる。

## 2. 主要指標

| 指標 | 当月 | 前月 | 増減 |
|------|------|------|------|
| セッション | 38,000 | 32,420 | +17.2% |
| コンバージョン数 | 486 | 509 | -4.5% |
| コンバージョン率 | 1.28% | 1.57% | -0.29pt |
| デスクトップCVR | 2.37% | 2.68% | -0.31pt |
| モバイルCVR | 0.39% | 0.54% | -0.15pt |

## 3. インサイト

- **流入は増えたがCVは減った** — Organic Searchはセッション+38.0%（+5,020）に対しCV-12.2%（-22件）、CVRは1.36%→0.87%。→ 増加した流入がCV導線に乗っていない。
- **増加分の受け皿がブログで、フォームへの導線が機能していない** — /blog/dx-guide と /blog/ai-trends-2026 は計7,700セッションを集めるが、直帰率0.79/0.86、フォーム遷移率0.4%/0.2%。/pricing の11.2%、/product の6.8%と比べ1桁以上低い。
- **モバイルのCV効率がデスクトップの約1/6** — モバイルCVR 0.39%（78/19,760）に対しデスクトップ2.37%（396/16,720）。セッション構成比52.0%に対しCV構成比16.0%。さらにモバイルは前月比+27.2%と最も伸びており、影響は拡大している。
- **/pricing がCV意欲の高い接点** — フォーム遷移率11.2%と全ページ中最高。セッション3,820と母数も十分にある。
- **Paid Searchが最も効率的なチャネル** — CVR 2.51%で1位。CVが前月比プラス（+4.2%）の数少ないチャネルでもある。

## 4. 改善提案

| 優先度 | 提案 | 根拠 | 期待効果 |
|--------|------|------|----------|
| 高 | モバイルのCV導線改善（フォーム入力・価格表示のモバイル最適化） | モバイルCVR 0.39% vs デスクトップ2.37%、セッション構成比52.0%、前月比+27.2% | モバイルCVRが1.0%まで改善すれば月間+120件規模の増加が見込める |
| 高 | ブログ記事から /pricing・/product へのCTA設置 | ブログ2本で7,700セッション・フォーム遷移率0.4%/0.2%に対し、/pricing は11.2% | Organic Searchの増加分（+5,020セッション）をCV導線に接続できる |
| 中 | Paid Searchの予算増額を検討 | CVR 2.51%で最高効率だがセッション増は+6.7%にとどまる | 現在のCVRを維持できれば、投下量に比例したCV増が期待できる |

## 5. データ上の注意点

- 単月（2026年7月）と前月比較のみのデータであり、季節性や中長期のトレンドは判断できない。
- /case-studies/manufacturing はフォーム遷移率8.4%と高いが、セッション95と母数が小さく、評価は参考値にとどめるべき。追加観測が必要。
- /admin/login（社内管理画面・45セッション）と /recruit（採用ページ・620セッション）は、資料請求CVを目的とする分析の対象外として除外した。
- /contact/thanks はCV完了ページであり、直帰率・エンゲージメント時間を他ページと同列に評価する意味はない。なお同ページのセッション486は全体CV数486と一致しており、CV計測の整合は取れている。
- ページ別セッションの合計（36,576）は全体セッション（38,000）と一致しない。1セッションで複数ページを閲覧するため、ページ別セッションを合計して全体を算出することはできない。
- 本データにはCV到達までの遷移経路が含まれないため、どのページがCVに寄与したかの因果は特定できない。フォーム遷移率は相関を示す指標にとどまる。

検証01・02と同じ7軸の枠組みを、本タスク向けに読み替えたもの。

採点の目安

記録テンプレート

検証01・02は n=1 で実施しており、出力のブレ幅が未測定だった。本ケースで初めて各モデル3回試行を行い、同一モデル内の再現性の低さが可視化された。

Qwen3 32B：3回で全体数値がここまで動く

run2・run3 はCV数が増加したと報告している（実際は -4.5% の減少）。 経営会議に出せば「集客もCVも好調」という真逆の意思決定を招く誤りであり、実害が最も大きい失敗モードにあたる。

他モデルのブレ

Qwen3 32B — 総合 △：正解を出せる回もあるが信頼できない

• 3回中2回で全体CV数・セッション数を誤る。上表のとおり。最重要インサイトA1（流入増・CV減）は3回とも捕捉できなかった。
• 存在しない前月データを創作（run1）。「平均エンゲージメント時間 87秒→76秒」「直帰率 55.6%→57.8%」を主要指標表に記載したが、いずれも前月値はデータに存在しない。
• A1の符号を取り違えた。run1 は「有機検索のCV数が前月比+7.8%増 — 158件（前月180）」と記述。数字は減っているのに「増」と書いている（正：-12.2%減）。
• フォーマットと日本語は3回とも安定。thinking も正常に分離（3,122〜4,986字）。

Qwen3 14B — 総合 ×：計算より先にフォーマットで失格

• 3回すべてで思考文が本文に混入。think=true を指定しても <think> タグを出力せず、英語の思考文 13,779〜15,053字がレポート本文の前に出力される。本文（1,155〜1,604字）の約10倍の分量。
• 3回すべてで出力の先頭が 语句（簡体字）。検証02で8Bに見られた簡体字混入が14Bで再現した。
• 3回とも最高フォーム遷移率ページを /product（6.8%）と誤認（正：/pricing 11.2%）。
• run2 のみ主要指標が正確で、罠Zに唯一言及したモデル。ただし「差異あり。解析結果に影響がある可能性」止まりで、「合計に意味がない」という核心には至らなかった。

语句

Okay, let's tackle this query. The user wants a Web Analytics Insight Report based on the provided Google Analyt...
（英語の思考が約14,000字続いた後、ようやく「## 1. サマリー」が始まる）

Qwen3 8B — 総合 ×：実務利用に耐えない

• 3回すべてで罠Zに直撃。ページ別セッション合計 36,576 を「全体セッション数」として採用し、全体CVRを1.33%（正1.28%）と誤算。増減の矢印も「36,576 → 32,420」と逆向きに書いている。
• 存在しない指標を創作。run1「ボタン率（全体）54.2%」、run2「ブースト率 58%」。run1 はさらに「ボタン率を40%にすると、4520 → 3620の減少」という意味不明な改善提案に発展した。
• run3 はプロンプトの出力フォーマット指示文をそのままオウム返ししてからレポートを書き始めた。
• run2 は /case-studies/manufacturing の遷移率8.4%を「低コンバージョン率」と誤認（実際は全ページ2位の高さ）。罠Xとは逆方向に誤読したうえで改善提案に採用した。

Claude Sonnet 5 — 総合 ◎：基準線・3回とも実務水準

• 主要検算値は3回とも完全一致（38,000 / 32,420 / +17.2% / 486 / 509 / -4.5% / 1.28% / 1.57% / -0.29pt）。
• 本ケースの核心であるA1とA2の結合（オーガニック流入増 × ブログの導線不全）を run1・run2 で明示的に達成。
• run2 はサマリー内で直帰率を誤記し、自己訂正の注記を本文に残した。訂正はできているが、経営会議提出物としては粗さが残る。
• run3 は /contact 到達1,240 → CV486 から「完了率39.19%」を導出。計算は妥当で留保も付けたが、遷移経路データがない以上この率の解釈には限界がある。

プロンプトの「ルール（厳守）」節に、3つの罠すべてへの対処を明示的に書いた上で実施した。つまり「指示されていても守れるか」を見る条件である。

「ローカルLLM検証代行サービス」の社内検証ケース第3弾。閉域環境でローカルLLMがどこまで実務に使えるかを、業務タスク単位で確かめる。

タスク定義

Google Analytics 4 のエクスポートデータ（3テーブル）を入力とし、経営会議に提出するWebサイト解析インサイトレポートを生成させる。出力は「サマリー／主要指標／インサイト／改善提案／データ上の注意点」の5セクション構成。

なぜこのタスクを選んだか

• 発生頻度が高い — 月次のアクセス解析レポートは多くの企業で定例化しており、工数も大きい
• これまでの2ケースと質が違う — 検証01（議事メモ整理）・検証02（資料要約）はいずれも「書かれていることを整形する」タスクだった。本ケースは数値から新しい値を導出し、複数の表を横断して因果を推論する必要がある
• 失敗の実害が見える — 計算を誤ったレポート、母数の小さいデータに飛びついた提案は、そのまま誤った意思決定につながる