Case 01 / 議事メモ整理

議事メモ整理は、サイズの大きいモデルほど正確とは限らない

架空のEC企業のマーケ月次定例（約3,700字）を入力に、会議サマリーとToDo表を生成させました。8Bが3サイズ中で最も正確という、モデルサイズと精度が相関しない結果になりました。

  • 実施 2026年7月
  • 試行 各モデル1回（n=1）
  • 対象 Qwen3 32B / 14B / 8B ＋ Sonnet 5
  • 評価 7軸・4段階

Conclusion

結論

架空のEC企業のマーケ月次定例（約3,700字）を入力に、会議サマリーとToDo表を生成させました。8Bが3サイズ中で最も正確という、モデルサイズと精度が相関しない結果になりました。

  1. 01

    モデルが大きいほど正確、とは限らなかった

    会議の文字起こしから議事メモを作らせたところ、いちばん小さい8Bが3サイズ中でもっとも正確でした。担当者と期限を全件正しく拾い、最大の32Bはむしろ取りこぼしが多く、しかも3倍以上遅い（180秒 vs 57秒）。「大きいモデルを選べば安心」という判断は、このタスクでは成り立ちませんでした。

  2. 02

    3サイズが揃って、同じ1件を落とした

    「役員会で広告費増額の承認を得る」という項目を、Qwen3の3サイズすべてが議事メモから落としました。承認待ち・依頼待ちの事項をタスクとして扱う判断が、一貫して弱いということです。モデルを大きくしても直らない代わりに、プロンプトに一行足せば直る可能性があります。

  3. 03

    書かれていることを整形するだけなら、ローカルでも崩れない

    文章の要約、雑談の除外、指定フォーマットの遵守は全モデルが正しくこなし、書かれていない内容を作り出すこと（ハルシネーション）も起きませんでした。差が出たのは「拾うべきものを拾いきれるか」だけです。

Input

入力：何を渡したか

実際に投入したデータを公開しています。

input-meeting-transcript.txt入力：会議の文字起こしメモ（架空）TEXT · 4KB

検証概要

  • 依頼元： の内容に基づき実施。
  • タスク：会議の文字起こしメモ →「会議サマリー＋ToDo（議事メモ）」への整理。
  • 使用ファイル：（全モデル共通・同一プロンプト）＋（全モデル共通・同一サンプル）。
  • 採点キー：（7軸・◎○△×の4段階）。
  • Qwen3実行環境：AWS EC2 g6e.xlarge (us-west-2)／NVIDIA L40S ×1 (VRAM 48GB)／Ubuntu 22.04 Deep Learning AMI + Ollama (Q4_K_M量子化)
  • Claude Sonnet 5実行環境：AWS Bedrock（推論プロファイル us.anthropic.claude-sonnet-5 / us-west-2）。GPU等スペックは非公開のためローカルLLMと同列比較しない。
採点方法についての注記：本レポートの採点は、依頼メモが想定する「検証担当エンジニアによる目視採点」の代わりに、このエージェント（＝評価対象の一つであるClaude Sonnet 5自身）が実施した。評価対象と評価者が同一モデルを含むため、Claude Sonnet 5に対する採点には構造的な利益相反リスクがある点を踏まえて読むこと（採点根拠は各セルにコメントとして明記し、判断過程を追跡可能にしている）。

Process

処理：どう投げたか

プロンプトは全モデルで同一、1文字も変えていません。

prompt.txtプロンプト全文TEXT · 2KB

Scoring

採点：どう測ったか

採点キーはモデル出力を1件も見ないうちに確定させています。実行後に基準を足したり緩めたりしていません。

answer-key.md採点キー（想定正解・7軸の観点）MARKDOWN · 4KB

配布ファイル（入力・プロンプト・採点キー）

  • … 全モデルに投入する同一プロンプト。末尾にサンプル本文を貼り付けて使用。
  • … 入力データ（架空の会議・文字起こし）。
  • … 採点キー（想定正解）と7軸の評価観点。出力の採点に使用。
重要：プロンプトとサンプルは全モデルで完全に同一のものを使うこと（プロンプトの文言・サンプル本文を変えない）。フェアな比較の前提。

Result

結果

モデル別 生成結果

同一プロンプト・同一サンプルに対する各モデルの実際の出力（折りたたみ表示）。

1

Qwen3 32B

（180.5秒 ・ 619 tokens）

生成結果を表示 
## 1. 会議サマリー  
- 母の日キャンペーンの売上は前年比120%、広告ROASは380%で目標を上回る。  
- カート放棄率70%が課題。送料表示がカート画面まででないことが原因と指摘。  
- 送料表示の商品ページへの追加を検討中。技術的に工数評価が必要。  
- 夏の新商品「保湿クリーム」の7月中旬ローンチを予定。広告予算を100万円に増額（役員承認待ち）。  
- LP改修でレビュー掲載と送料表示の上位表示を検討。モバイル対応も実施。  
- インフルエンサー起用は検討段階。次回までに候補リストを共有する。  

---

## 2. ToDo一覧  
| No | タスク | 担当 | 期限 |  
|----|--------|------|------|  
| 1 | 送料表示機能の技術的実現可能性調査 | 田中 | 未定 |  
| 2 | LP改修デザイン案作成 | 佐藤 | 2026年7月8日 |  
| 3 | 広告配信設計策定 | 鈴木 | 2026年7月10日 |

2

Qwen3 14B

（87.6秒 ・ 920 tokens）

生成結果を表示 
## 1. 会議サマリー
- 母の日キャンペーンの売上は前年比120%、ROASは380%を達成したが、カート放棄率は70%と改善が課題。
- 送料表示の非表示がカート離脱の主な要因と判明し、技術的な改善検討が進む。
- 夏の新商品ローンチは7月中旬を予定し、予算を100万円に増やす案を提示（役員会承認待ち）。
- LPのデザイン案にはレビュー掲載と送料表示の改善を盛り込み、7月8日までに佐藤が提出予定。
- 広告配信設計の完了目標日を鈴木が7月10日とした。
- インフルエンサー起用は検討段階で、候補者リストは次回定例までに提出する方向。

## 2. ToDo一覧
| No | タスク | 担当 | 期限 |
|----|--------|------|------|
| 1 | 送料表示の技術的改善検討 | 田中 | 未定 |
| 2 | 夏の新商品LPデザイン案作成 | 佐藤 | 2026年7月8日 |
| 3 | 広告配信設計の完了 | 鈴木 | 2026年7月10日 |
| 4 | インフルエンサー候補者リスト作成 | 山田・鈴木・佐藤・田中 | 未定 |

3

Qwen3 8B

（56.6秒 ・ 1210 tokens）

生成結果を表示 
## 1. 会議サマリー  
- 前月の売上は前年比120%、広告ROASは380%で目標を上回った。  
- カート放棄率が7割と高い問題として送料表示の遅延が原因と判断された。  
- 新商品ローンチの予定日は7月の中旬、InstagramとLINEを主な配信チャネルとする。  
- 広告予算を100万円に増額するが、役員会の承認が必要。  
- LPの改善を進めるため、レビューの掲載と送料表示の見直しを検討。  
- 送料表示の技術的対応を田中が調査する予定。  
- インフルエンサー起用は検討段階で、候補者リストの共有を次回までに実施。  

## 2. ToDo一覧  
| No | タスク | 担当 | 期限 |  
|----|--------|------|------|  
| 1 | 送料表示の技術的対応の調査 | 田中 | 未定 |  
| 2 | LPデザインの改善案作成 | 佐藤 | 2026年7月8日 |  
| 3 | 広告配信設計の作成 | 鈴木 | 2026年7月10日 |  
| 4 | インフルエンサー候補者リストの共有 | 全員 | 次回定例会まで |

4

Claude Sonnet 5

（13.3秒 ・ 1056 tokens（うちthinking 474））

生成結果を表示 
## 1. 会議サマリー
- 母の日キャンペーンは売上前年比120%、ROAS380%（目標300%を超過）、CVRは2.1%と前月の1.8%から改善した。
- カート放棄率が約7割と高く、送料表示が最終段階まで出ないことが要因の一つと考えられている。
- 送料表示を早いタイミングで出す改善について、田中が技術的な調査を行う。
- 夏の新商品（保湿クリーム新シリーズ）は7月中旬ローンチ予定で、InstagramとLINEを中心に展開する。
- 広告予算を80万円から100万円に増額する案があり、役員会の承認が必要なため山田が来週の役員会で提案する。
- LP改修としてレビュー掲載、送料表示位置の変更、モバイル表示の改善を行う。
- インフルエンサー起用は検討段階であり、決定事項ではない。候補リストを次回定例までに参加者全員で持ち寄る。

## 2. ToDo一覧
| No | タスク | 担当 | 期限 |
|----|--------|------|------|
| 1 | 送料表示を早いタイミングで表示するための技術調査 | 田中 | 未定 |
| 2 | 広告予算100万円への増額を役員会で提案 | 山田 | 来週の役員会 |
| 3 | LP改修のデザイン案作成 | 佐藤 | 7月8日 |
| 4 | 夏の新商品の広告配信設計 | 鈴木 | 7月10日 |
| 5 | インフルエンサー起用の候補リスト持ち寄り | 山田・鈴木・佐藤 | 次回定例まで |

7軸評価（採点表）

判定基準：◎ ほぼ完全再現 ／ ○ 主要点は捉えるが軽微な誤り ／ △ 複数の欠陥（取りこぼし・誤り・ノイズ混入・検討段階の誤解のいずれか複数） ／ × ハルシネーション・フォーマット逸脱など実務利用に支障

観点Qwen3 32BQwen3 14BQwen3 8BClaude Sonnet 5
1. サマリー網羅性○
CVR数値（2.1%／前月1.8%）と配信チャネル（Instagram・LINE）の言及が抜け落ちている。他の5論点は捉えている。		○
CVR数値と配信チャネルの言及が抜け落ちている（32Bと同様の欠落）。		○
CVR数値のみ抜け落ちているが、配信チャネル（Instagram・LINE）は32B/14Bと異なり正しく捉えている。		◎
7論点・数値（120%／380%／300%／2.1%／1.8%／80万→100万）を全て正確に網羅。
2. ToDo抽出の正確性△
ToDoが3件のみ。5件中2件（役員会での広告費増額承認／インフルエンサー候補リスト持ち寄り）が欠落している。		△
ToDoは4件。5件中1件（役員会での広告費増額承認）が欠落している。		△
ToDoは4件。5件中1件（役員会での広告費増額承認）が欠落している。		◎
5件を過不足なく抽出できている。
3. 担当・期限の正誤○
抽出できた3件の担当・期限は正確。欠落した2件があるため全体評価は下がる。		△
インフルエンサー候補リストの期限を「未定」と記載（正解は「次回定例まで」）。他3件は正確。		◎
抽出できた4件は担当・期限とも正確。インフルエンサー候補リストの担当「全員」・期限「次回定例会まで」も正解と完全一致。		○
インフルエンサー候補リストの担当を「山田・鈴木・佐藤」とし、田中を誤って除外している（正解は「全員」）。他4件は正確。
4. 「検討段階」の適切な扱い○
サマリーでは「検討段階」と正しく記述しているが、対応するToDo自体が丸ごと欠落している。		○
「検討段階」の表現自体は正しいが、対応するToDoの期限を誤って「未定」としている。		◎
「検討段階」として正しく扱い、担当・期限も正解と一致した状態でToDoに反映できている。		◎
「検討段階・決定ではない」旨を正しく反映し、確定ToDoとしては候補リスト持ち寄りのみを記載できている。
5. ハルシネーション◎
メモにない数値・事実の創作は見られない。		◎
メモにない数値・事実の創作は見られない。		◎
メモにない数値・事実の創作は見られない。		◎
メモにない数値・事実の創作は見られない。
6. ノイズ除外◎
コーヒーメーカー・天気の話は混入していない。		◎
コーヒーメーカー・天気の話は混入していない。		◎
コーヒーメーカー・天気の話は混入していない。		◎
コーヒーメーカー・天気の話は混入していない。
7. フォーマット遵守・日本語品質◎
指定フォーマットを厳守し、日本語のみで出力。他言語混入なし。		◎
指定フォーマットを厳守し、日本語のみで出力。他言語混入なし。		◎
指定フォーマットを厳守し、日本語のみで出力。他言語混入なし。		◎
指定フォーマットを厳守し、日本語のみで出力。他言語混入なし。
総合評価△
サマリーの数値網羅性がやや弱く、ToDoは5件中2件が欠落。3サイズの中では最も見劣りする結果。		△
サマリー欠落は32Bと同等。ToDo欠落は1件のみだが期限誤りが1件あり、32Bよりは僅かに改善。		△
ToDo1件欠落（役員会承認）は残るが、担当・期限の正確さとチャネル情報の捕捉は3サイズ中最良。		○
サマリー・ToDoともにほぼ完全。唯一の瑕疵はToDo1件の担当者を1名誤って除外した点のみ。
応答時間 / トークン180.5秒 ・ 619 tokens87.6秒 ・ 920 tokens56.6秒 ・ 1210 tokens13.3秒 ・ 1056 tokens（うちthinking 474）
共通の欠陥として目立った点：Qwen3の3サイズはいずれも「広告費増額（100万円）の役員会承認」というToDoを取りこぼした。サマリーには広告費増額の話自体は登場するが、それを「担当者が実行すべきタスク」として抽出できていない。プロンプトの「該当するタスクをすべて記載」という指示に対し、承認待ちの事項をToDo化する判断がQwen3では一貫して弱いことが分かる。

Discussion

考察

目的・ゴール

  • 目的：ローカルLLM（Qwen）とクラウド最上位（Claude Sonnet 5）の精度差を、実務ユースケースで定量的に把握する。
  • ユースケース：会議の文字起こしメモ →「会議サマリー＋ToDo（議事メモ）」への整理。
  • 狙い：「この種の定型タスクなら、どのローカルモデルでクラウド相当の品質に届くか」を見極め、ローカルLLM移行判断の材料にする。
  • 成果物：各モデルの出力を並べた比較HTML＋採点結果（前回の と同形式）。

検証対象モデル

区分モデル備考
ローカルQwen3 32B / 14B / 8BOllama・Q4_K_M量子化（前回検証と同条件）。thinkingのon/offは統一し記録
クラウド（基準線）Claude Sonnet 5（claude-sonnet-5）品質の基準線。推論時間・スペックはローカルと同列比較しない

※ minimax 等の他モデルは今回の検証対象外（不要）。今回は Qwen3（32B/14B/8B）と Claude Sonnet 5 のみで実施する。

Files

使用した資料一式

実際に投入したデータ、プロンプト、採点キー、出力の実物です。加工していないため、同じ条件で再現できます。

prompt.txtプロンプト全文TEXT · 2KB input-meeting-transcript.txt入力：会議の文字起こしメモ（架空）TEXT · 4KB answer-key.md採点キー（想定正解・7軸の観点）MARKDOWN · 4KB
検証レポート一覧へ

生成系AI活用、DX推進についてご相談ください

レビュー分析やインサイト生成、戦略支援など、生成系AIの活用やDX推進について幅広く支援いたします。

お問い合わせ