Case 07 / EC年間レポート
日本語特化かどうかではなく、どの日本語特化モデルかで分かれた
集計済みの年間実績レポートを固定し、変数をモデルだけにして8モデルを比較しました。同一サイズ帯（8B）で4モデルを直接比較でき、Swallow 8B が14B相当の結果を出しています。
Conclusion
結論
集計済みの年間実績レポートを固定し、変数をモデルだけにして8モデルを比較しました。同一サイズ帯（8B）で4モデルを直接比較でき、Swallow 8B が14B相当の結果を出しています。
-
01
「日本語特化モデルは日本語に強い」とは言えなかった
ECサイトの年間実績レポートを読ませ、8つのモデルで比べました。日本語特化をうたう2モデルのうち、Swallow 8B は14B相当の結果を出した一方、ELYZA JP 8B は解釈がほぼ全滅という正反対の結果になりました。「日本語特化かどうか」ではなく「どの日本語特化モデルか」で分かれます。
-
02
数字をよく引用するモデルほど正確、ではなかった
ELYZA JP 8B は数値の引用がもっとも多かったにもかかわらず、通期と期間を混同し、増減の向きを複数取り違え、存在しない前期比を作り出しました。日本語の流暢さと、内容の正確さは別物です。
-
03
サイズが半分でも、同等の結果が出ることがある
Swallow 8B は4.9GB・応答22.4秒で、qwen3:14b と同じスコアに届きました（応答は2倍速）。必要なマシンスペックは「モデルサイズ」ではなくタスクごとの実測で決めるべきだと分かります。なお、変化点そのものを特定できたのは Claude Sonnet 5 だけでした。
Input
入力：何を渡したか
実際に投入したデータを公開しています。
Process
処理：どう投げたか
プロンプトは全モデルで同一、1文字も変えていません。
Scoring
採点：どう測ったか
採点キーはモデル出力を1件も見ないうちに確定させています。実行後に基準を足したり緩めたりしていません。
Result
結果
全モデルの結果
群A＝レポートの表から直接読める指摘（5点満点）／ 群B＝複数指標を突き合わせて初めて見える指摘（3点満点。このケースの中心）
| モデル | 数値一致 | 群A(5) | 群B(3) | 罠回避 | 罠 | 本文 | 応答 |
|---|---|---|---|---|---|---|---|
| claude-sonnet-5クラウド | 5.0 | 5.0 | 2.7 | 3.0 | 0.0 | 2,543 | — |
| qwen3:32b | 3.0 | 4.3 | 1.7 | 2.0 | 0.0 | 1,600 | 66.7秒 |
| Swallow 8B日本語 | 4.7 | 3.0 | 1.3 | 0.3 | 0.0 | 1,498 | 22.4秒 |
| qwen3:14b | 5.7 | 4.0 | 1.3 | 2.0 | 0.0 | 1,303 | 51.1秒 |
| phi4:14b | 3.0 | 3.0 | 0.7 | 0.7 | 1.0 | 1,375 | 43.8秒 |
| qwen3:8b | 2.3 | 3.3 | 0.7 | 1.0 | 0.0 | 1,191 | 31.9秒 |
| gemma3:12b | 1.0 | 3.3 | 0.3 | 2.0 | 0.0 | 1,711 | 41.5秒 |
| ELYZA JP 8B日本語 | 5.7 | 3.0 | 0.3 | 0.0 | 0.0 | 722 | 19.6秒 |
| llama3.1:8b | 3.0 | 4.0 | 0.0 | 0.3 | 0.3 | 895 | 18.9秒 |
群Bへの到達状況
| 指摘 | 到達したモデル |
|---|---|
| B1 売上より粗利の減少幅が大きい 売上-30.8% / 粗利-35.8% |
Sonnet 5、qwen3:32b、qwen3:14b、Swallow、phi4 |
| B2 リピート率の上昇は新規不振の裏返し 最高難度 |
Sonnet 5、qwen3:14b、Swallow、phi4、gemma3、ELYZA |
| B3 3月の変化点（カート放棄率とCVRの同時悪化） | Sonnet 5 のみ |
同じ「B2に言及」でも中身が違う
Sonnet 5（最も精緻）
裏返し論を述べたうえで、実数で反証も添えている。用意した正解キーより踏み込んでいた。
qwen3:32b（未到達）
改善として素直に受け取っている。
7軸の評価
◎=誤りゼロ ／ ○=軽微な誤り1〜2 ／ △=誤り3以上または重大な誤り1 ／ ×=破綻
| 軸 | Sonnet5 | 32B | 14B | 8B | llama | gemma | phi4 | Swallow | ELYZA |
|---|---|---|---|---|---|---|---|---|---|
| ①網羅性 | ◎ | ○ | ○ | ○ | △ | ○ | △ | ○ | △ |
| ②抽出の正確性 | ◎ | ○ | ◎ | △ | △ | ○ | △ | ○ | × |
| ③属性の正誤 | ◎ | ○ | ◎ | ○ | △ | ○ | ○ | ○ | × |
| ④曖昧な事項 | ◎ | ○ | ○ | ○ | △ | ○ | △ | ○ | △ |
| ⑤ハルシネーション | ◎ | △ | ◎ | △ | △ | ◎ | ○ | ◎ | × |
| ⑥ノイズ除外 | ◎ | ○ | ○ | △ | × | △ | ○ | ○ | △ |
| ⑦日本語品質 | ◎ | ◎ | ◎ | ◎ | ○ | ◎ | ◎ | ◎ | ○ |
Discussion
考察
今回の焦点：8B帯4モデルの比較
同一サイズ帯（4.9〜5.2GB）で4モデルが揃った。うち2つが日本語特化。
| モデル | 種別 | 群B | 本文 | 応答 | 所見 |
|---|---|---|---|---|---|
| Swallow 8B | 日本語特化 | 1.3 | 1,498 | 22.4秒 | qwen3:14b と同値。日本語も自然でビジネス文書として通用する |
| qwen3:8b | 汎用 | 0.7 | 1,191 | 31.9秒 | 「前年同期と比較して増加」とデータにない比較を創作 |
| ELYZA JP 8B | 日本語特化 | 0.3 | 722 | 19.6秒 | 増減の反転が複数。前期比を創作 |
| llama3.1:8b | 汎用 | 0.0 | 895 | 18.9秒 | 3試行とも群Bゼロ。表の読み上げに留まった |
Swallow の実際の出力
「判断に注意が必要な点」では季節性・期間比較の歪み・母数のすべてに言及した。 ただし1件、事実誤認がある——「カート放棄率はサンプルサイズが小さい場合があり」。 カート放棄率の母数はセッション数（月17万〜31万）で大きく、返品率と取り違えている。 「母数に注意する」という形式は守ったが、対象を間違えた。
ELYZA の誤り
| ELYZAの記述 | 実際 |
|---|---|
| 「前期比で約25%の成長を遂げた」 | データに前期の記載はない（創作） |
| 「新規顧客数は14,260人増加し」 | 14,260は通期の総数。しかも-33.6%の減少 |
| 「広告費は33,820,000円から18,090,000円に減少」 | 33,820,000は通期合計、18,090,000は後半。実際は+15.0%の増加 |
| 「粗利率は45.3%と安定的に推移した」 | 48.0%→41.8%へ低下 |
| 「CVRは1.42%〜1.62%と比較的高く維持」 | 1.17%まで低下（範囲も誤り） |
「比較対象がないところに比較を作る」
入力レポートは12か月分のみで、前年データは含まれていない。それにもかかわらず——
| モデル | 記述 |
|---|---|
| ELYZA JP 8B | 「売上高は291,943,050円に達し、前期比で約25%の成長を遂げた」 |
| llama3.1:8b | 「売上は291億9300万円に達し、前年比で増加した」 ※ 単位も誤り（正しくは約2.9億円） |
| qwen3:8b | 「売上と粗利が前年同期と比較して増加し」 |
| qwen3:32b | 「広告費は前半比115%増加」※ 正しくは+15.0%。倍率と増加率の取り違え |
Sonnet 5・Swallow・gemma3・qwen3:14b には、この種の誤りが見られなかった。
Implications
実務への示唆
実務への示唆
| 用途 | 推奨 | 理由 |
|---|---|---|
| ローカルで最も深い分析 | qwen3:32b | 群B 1.7でローカル最高。ただし応答66.7秒とSwallowの3倍かかる |
| 速度と質のバランス | Swallow 8B | 群B 1.3を22.4秒で。32Bの1/4の容量で14B相当。日本語も自然 |
| 変化点の同定が要る分析 | クラウド | B3に到達したのは Sonnet 5 のみ。ローカルは現時点で届かない |
| 避けるべき | ELYZA JP 8B llama3.1:8b |
数値の解釈に重大な誤りが出る。存在しない前年比を作る |
Files
使用した資料一式
実際に投入したデータ、プロンプト、採点キー、出力の実物です。加工していないため、同じ条件で再現できます。