Case 02 / 資料要約

いちばん大きいモデルが、いちばん遅かった

日本語の戦略資料（PDF）を5つのモデルに要約させました。 32Bは282秒、14Bは21.5秒。13倍の差がつき、8Bよりも32Bのほうが遅いという逆転も起きています。

  • 実施 2026年7月
  • 試行 各1回（n=1）
  • 対象 Qwen3 3サイズ・minimax-m3 ＋ Sonnet 5
  • 公開 速度・出力量・言語品質のみ

Conclusion

結論

日本語の戦略資料（PDF）を要約させ、5つのモデルで比べました。 入力が社内資料のため、この検証だけは要約の中身を公開できません。 公開できるのは、応答時間・出力量・日本語の品質に関する所見です。

  1. 01

    いちばん大きいモデルが、いちばん遅かった

    同じ資料を要約させたとき、32Bは282秒、14Bは21.5秒でした。13倍の差です。 8B（58.4秒）よりも32Bのほうが遅いという逆転も起きています。 Qwen3が回答前に「考える」動作（thinking）を挟むためとみられ、 モデルが大きいほど時間がかかる、という単純な話でもありません。 実運用では thinking のオン／オフや量子化の設定が、応答速度を大きく左右します。

  2. 02

    8Bの見出しに、中国語の漢字が混ざった

    Qwen3 8B は見出しに簡体字を出しました。「戦略」と書くべきところが「战略」になっています。 内容は合っていても、そのまま社外に出せる日本語ではありません。 32B・14B・minimax-m3・Claude Sonnet 5 では起きませんでした。 多言語モデルを小さいサイズで使う場合、日本語として正しく書けるかを別途確認する必要があります。

  3. 03

    要約なら、14Bが速度と品質の釣り合う点だった

    14Bは21.5秒で、日本語の品質にも問題がなく、出力の構造も過不足がありませんでした。 メモリ24GBクラスのMacで動く現実性も含めて、要約用途の第一候補になります。 一方 minimax-m3 は約246GBあり、手元のマシンで動かすことは事実上できません。

Input

入力：何を渡したか

他のケースと違い、このケースの入力と出力は公開していません。

渡したのは自社の事業戦略に関する資料（日本語のPDF）です。実在の計画・数値を含むため、資料そのものも、モデルが生成した要約も公開できません。要約は資料の中身を書き写したものになるためです。

そのうえで、入力の中身に依存しない指標——応答時間・出力トークン数・日本語としての正しさ・必要メモリ——は、そのまま公開しています。

これは検証を代行するときにも起きる制約です。 クライアントの資料を入力にすると、精度そのものを対外的に示せなくなります。 何を測るかを決める段階で、結果のどこまでを外に出せるかも一緒に決めておく必要があります。

Process

処理：どう投げたか

全モデルに同じ資料・同じ指示を渡しています。

項目設定
実施2026年7月
タスク日本語の戦略資料（PDF）の要約
対象モデルqwen3:32b / 14b / 8b（Q4_K_M）、minimax-m3（UD-Q4_K_M）
基準線claude-sonnet-5（AWS Bedrock）
実行環境AWS EC2 g6e.xlarge（L40S ×1）／ minimax-m3 のみ g6e.12xlarge（L40S ×4・CPU-MoE）
試行各1回（n=1）
このケースは n=1 です。 同一入力でも試行ごとに結果がぶれることが、後のケース03で判明しました。 ここに出ている応答時間は1回きりの実測値であり、ばらつきの幅は測れていません。 2026年8月以降の検証は n≧3 を標準にしています。

Scoring

採点：どう測ったか

7つの軸で評価しました。このうち公開できるのは後半の4軸です。

評価軸見るもの公開
網羅性資料の主要論点をどれだけ拾えたか非公開
忠実性資料にない内容を作っていないか非公開
構造化・可読性見出し・箇条書きの整い方公開
日本語品質日本語として正しく書けているか公開
簡潔性出力量が適切か公開
応答速度返ってくるまでの時間公開
ローカル実行容易性手元のマシンで動くか公開
網羅性と忠実性は、資料の中身に触れずに説明できません。 「どの論点を拾えたか」を書くこと自体が、資料に何が書いてあるかを明かすことになります。 この2軸の結果は社内にとどめています。

Result

結果

速度と実行環境

モデル応答時間出力トークン実行環境（今回）手元のMacで動かすなら
qwen3:32b282.3秒1,159g6e.xlarge（L40S ×1）統合メモリ48GB以上
qwen3:14b21.5秒1,009g6e.xlarge（L40S ×1）24GB以上で快適
qwen3:8b58.4秒1,428g6e.xlarge（L40S ×1）16GB以上で快適
minimax-m3115.9秒827g6e.12xlarge（L40S ×4・CPU-MoE）事実上不可（約246GB）
claude-sonnet-5クラウド——クラウドAPI—

出力の構造と量

モデル出力トークン構造の特徴
qwen3:32b1,159見出しと区切り線で整理。網羅的だがやや長い
qwen3:14b1,009太字見出し＋要点の箇条書き。過不足なくバランスが最良
qwen3:8b1,4285セクション＋まとめで最も冗長。情報は多いが重複気味
minimax-m3827比率を表で表現するなど工夫。最も簡潔
claude-sonnet-5クラウド—見出し＋箇条書きで簡潔かつ網羅。基準線

Discussion

考察

速度の逆転はなぜ起きたか

32B（282秒）が8B（58秒）や14B（21.5秒）より大幅に遅くなりました。Qwen3 が回答前に思考過程を生成する動作（thinking）や、量子化・文脈長の設定が影響しているとみられます。パラメータ数だけを見て所要時間を見積もると、10倍以上外れることがあります。

簡体字の混入は、内容の誤りとは別種の欠陥

8Bが出した「战略」は、意味としては正しく「戦略」を指しています。要約の中身が間違っているわけではありません。それでも、日本語の文書としてはそのまま使えません。

精度を「内容が合っているか」だけで測ると、この種の欠陥は見落とします。軽量モデルを採用するときは、日本語として正しく書けるかを別の観点として確認する必要があります。

Implications

実務への示唆

論点この検証からわかったこと
要約タスクの既定モデルqwen3:14b。速度・必要メモリ・日本語品質のバランスが最良。16〜24GBクラスのMacで動く現実性も高い
網羅性を優先するならqwen3:32b。ただし応答が遅く、GPU・メモリ要件も上がる。バッチ処理や非同期の用途向き
8Bを使う場合日本語品質のリスクがあるため、そのまま最終成果物にしない。人手の校正か、後段のプログラムでの整形を前提にする
超大型モデルminimax級は約246GBでローカル提供の対象外。中小企業向けの選定では外してよい
クラウドとの使い分けこの検証は要約タスク。方針検討のような難度の高い業務は、引き続きクラウド最上位を使う前提で考える
検証レポート一覧へ

生成系AI活用、DX推進についてご相談ください

レビュー分析やインサイト生成、戦略支援など、生成系AIの活用やDX推進について幅広く支援いたします。

お問い合わせ