Case 04 / 英日翻訳

事実の転記は完璧、意図を汲む処理で差が出た

架空の英語マーケティング文書5種を同一プロンプト・同一用語集で翻訳させました。後編集を前提にすれば14Bが実用圏。クラウド側も見出しの欠落を起こしています。

  • 実施 2026年8月
  • 試行 各モデル3回（n=3）
  • 対象 Qwen3 32B / 14B / 8B ＋ Sonnet 5
  • サンプル 5種・各266〜338語

Conclusion

結論

架空の英語マーケティング文書5種を同一プロンプト・同一用語集で翻訳させました。後編集を前提にすれば14Bが実用圏。クラウド側も見出しの欠落を起こしています。

  1. 01

    数値や日付の転記は、ローカルでもほぼ完璧だった

    英語のマーケティング文書5種を日本語に翻訳させました。金額・日付・表の構造といった「そのまま移すだけ」の処理は、ローカルモデルでもほとんど間違えません。差が出たのは、原文の意図をくんで日本語らしく書き直す場面でした。

  2. 02

    契約条件が逆になる誤訳が出た

    8Bは is not prorated（日割り計算されない）を「割引は行われません」と訳すなど、契約条件を逆に伝える誤訳を2件出しました。原文と全文を突き合わせないと気づけない誤りで、それは翻訳をやり直すのと変わりません。

  3. 03

    クラウドも無傷ではなかった

    訳の質がもっとも高かった Claude Sonnet 5 は、H1見出しを丸ごと落とすという別種の欠陥を示しました（3回中1〜2回）。Webページの翻訳では見逃せません。「クラウドなら安心」ではなく、クラウドでも検証は要ります。後編集を前提にすれば、14Bが実用圏に近い結果でした。

Input

入力：何を渡したか

この検証が答えを出す問い

海外製品の国内展開、海外向け資料の日本語化、英語技術資料の社内共有。マーケティング文書の英日翻訳は外注費が積み上がりやすく、 かつ内容が公開前の機密であることが多い。閉域環境で回せるなら実利が大きい業務です。

QUESTION 1

マーケティング文書の英日翻訳は、ローカルLLMで実務に載るのか。載るとしたら何Bからか

QUESTION 2

用語集を渡せば訳語の一貫性は守られるのか。それともモデルサイズに依存するのか

QUESTION 3

どの文書種別なら任せられるのか。事実の転記が中心の文書と、言葉遊びを含むコピーとで線引きは変わるか

QUESTION 4

人手による後編集の量はどれくらいか。「使えない」のか「直せば使える」のか

既存ケースとの位置づけ。 検証01・02の「書かれていることを整形する」タスクは実務水準に達し、検証03の「実数から新しい値を導出する」タスクは3サイズとも未達でした。 翻訳はその中間にあります。この検証は、実用ラインがどこにあるかを詰める位置づけでもあります。

サンプルデータ（全5種）

登場する企業・製品・人物はすべて架空。実在の団体とは無関係。原文は各266〜338語。

ID種別難易度 狙った失敗モード
V01プロダクト紹介ページ 易 用語集の遵守、料金条件（1シートあたり月額）の取り違え
V02プレスリリース 中 million→万の桁変換、増減の方向、固有名詞、人名のカタカナ表記、日付
V03料金・機能比較表 難 表構造の保持、否定・条件の反転、単位の取り違え
V04導入事例 中 成果数値3点セットの整合、口語表現
V05広告コピー・CTA 難 慣用表現6種の直訳、言葉遊び、最上級の付け足し

埋め込んだ難所（抜粋）

$42 million 「4,200万ドル」。million→万 は英日翻訳で最も落ちやすい箇所
$18 per seat / month, billed annually 「1シートあたり月額$18、年間一括請求」。年額と訳すと価格を1/12に誤認させる
Monthly billing is available at a 20% premium 「20%割高」。割引と訳すと契約条件が逆になる
that seat … is not prorated 「日割り計算は行わない」
churn fell to 4.2%, down from 9.8% 低下したという方向を保てるか
contracts start at 12 months 「契約期間は12か月から」。「12か月後に開始」は誤り
move the needle / boil the ocean / low-hanging fruit 字義どおりに訳すと壊れる慣用表現。「針を動かす」「海を沸かす」は誤訳
Stop weaving. Start shipping. 製品名 Loomstack（loom＝織機）に掛けた言葉遊び。日本語のコピーとして機能する訳が要る
SSO / SLA / API / SOC 2 Type II 訳さずそのまま残す語。製品名・社名も同様
訳語の一貫性は用語集で測る。 workspace workflow deployment seat など14語について、 指定訳と使ってはいけない訳の両方を用語集で明示しています。 これにより「訳語のブレ」をモデルの自由度から切り離し、指示を守れるかどうかだけを測れます。

Process

処理：どう投げたか

プロンプトは全モデルで同一、1文字も変えていません。

prompt.txtプロンプト全文TEXT · 2KB glossary.md指定した用語集（訳語・禁止訳語）MARKDOWN · 3KB

実行手順

1

プロンプトと用語集を固定する。

1文字も変えず、全モデル・全原文へ投入する。 文言を変えると、精度の差なのか指示の差なのか分からなくなる。

2

翻訳を実行する。

全モデル×全原文×

n≧3

。訳文と、応答時間・トークン数を含む生レスポンスを分けて保存する。

3

必達項目を機械照合する。

未達が種別ごとに一覧化され、あわせてバリエーション別の目視確認項目が表示される。

4

採点する。

7軸に ◎○△× を付け、

判定理由を1行ずつ残す

。 参照訳は難所の処理を比べるときだけ開き、一致度はスコアにしない。

採点者は1名で全モデル分を通しで行う。 複数人で分担すると基準がぶれ、モデル間の差がノイズに埋もれます。

Output

出力：何が返ってきたか

全60件を公開しています。クリックで出力のJSONを開きます。

モデルV01V02V03V04V05
claude-sonnet-5クラウドrun1run2run3run1run2run3run1run2run3run1run2run3run1run2run3
qwen3:32brun1run2run3run1run2run3run1run2run3run1run2run3run1run2run3
qwen3:14brun1run2run3run1run2run3run1run2run3run1run2run3run1run2run3
qwen3:8brun1run2run3run1run2run3run1run2run3run1run2run3run1run2run3

Scoring

採点：どう測ったか

採点キーはモデル出力を1件も見ないうちに確定させています。実行後に基準を足したり緩めたりしていません。

answer-key.md採点キー（必達項目・参照訳の設計）MARKDOWN · 9KB

「正解」をどう用意したか

翻訳には唯一の正解が存在しません。同じ原文から、等しく正しい訳文が何通りも書けます。 一致率で採点すると、正しい訳が「参照訳と違う」という理由で減点されてしまう。そこで正解を二層に分けました。

LAYER 1 — 客観

必達項目

  • 数値・日付・金額の保持
  • 固有名詞・略語（訳さない語）の維持
  • 指定訳語の使用／禁止訳語の不使用
  • 原文にない最上級表現の不在
  • Markdown構造（見出し・箇条書き・表の行数）
  • 英語の訳し残しがないこと

すべて「訳者の裁量ではなく、外したら誤り」と言い切れるものだけ。

機械照合する。

LAYER 2 — 主観を含む

参照訳

  • 難所をどう処理しうるかの見本
  • 慣用表現・言葉遊びの訳し方の比較対象
  • 日本語としての自然さの目安
一致度をスコアにしない。

参照訳は「ありうる良い訳の一例」であって、 これと違う訳が誤りだとは限らない。

基準の健全性は実行前に確認済み

参照訳5本すべてが必達項目を未達0件で通ることを確認してあります。 参照訳が自分の基準を満たさない状態（＝基準か参照訳のどちらかが誤っている状態）ではありません。 

python3 03_scripts/check_translation.py --reference
→ 未達 合計 0 件
利益相反の開示。 参照訳と採点キーの作成者は、評価対象に含まれる Claude Sonnet 5 と同系列です。 Claude Sonnet 5 の訳文が参照訳と発想の近い訳になり、目視評価で有利に働く可能性があります。 このため必達項目（機械照合）の結果を主たる指標とし、参照訳との近さを根拠にしません。 クラウド側を高く評価する場合は、必達項目の未達件数で裏づけられる範囲に限ります。

評価軸（7軸・4段階）

全ケース共通の7軸を、このタスク用に読み替えて使う。採点キーはモデル出力を1件も見ないうちに確定させてある。

軸共通の名称このケースでの読み替え
①網羅性原文の情報が漏れなく訳出されているか。段落・箇条書き・表の行の欠落、要約による圧縮がないか
②抽出の正確性数値・金額・日付・期間・割合の保持。桁変換、増減の方向、起点と終点
③属性の正誤固有名詞・製品名・略語の扱い、人名のカタカナ表記、役職名、指定訳語の一貫性
④曖昧な事項の扱い慣用表現・言葉遊び・皮肉を、字義どおりではなく意味の通る日本語にできているか
⑤ハルシネーション原文にない訴求・数値・機能・保証の追加。最上級表現の付け足し
⑥ノイズ除外訳注・翻訳方針の説明・前置き・英語原文の残留・思考文の混入
⑦フォーマット遵守・日本語品質Markdown構造の保持、敬体の統一、直訳臭のなさ、日本語としての自然さ
重大誤訳は1箇所で△以下。 料金条件の誤り・増減の反転・否定の反転・契約条件の誤り・原文にない保証の追加。 いずれも読み手の意思決定を誤らせる種類の誤りで、翻訳を発注する側が最も恐れるものです。 一方、訳語選択の好み・語順・読点の位置・漢字の開き方は誤りに数えません。

Result

結果

全モデルが達成した項目

機械照合の結果、次の項目はローカル3サイズ・全15条件・全3試行で未達ゼロだった（Sonnet 5 は見出し欠落あり。第3節参照）。

0件

数値・金額・日付の欠落

0件

Markdown構造の崩れ

0件

英語の訳し残し

60/60

桁変換 $42 million → 4,200万ドル

「翻訳漏れ」「表が崩れる」「金額の桁が狂う」といった、事前に最も懸念された事象は起きなかった。 12行の比較表はセル内の数値まで含めて3サイズとも完全に保持し、 成果数値の3点セット（6.4日→2.4日→63%削減）も全モデル・全試行で正確だった。 問題はもっと手前の、語彙と意訳の層に出る。

7軸の評価

◎=誤りゼロ ／ ○=軽微な誤り1〜2 ／ △=誤り3以上または重大誤訳1 ／ ×=破綻。 軸は全ケース共通の7軸をこのタスク用に読み替えたもの。

バリエーションモデル ①網羅②正確③属性 ④曖昧⑤幻覚⑥ノイズ⑦形式
V01 プロダクト紹介
易		 Sonnet 5○◎◎◎◎◎◎
32B ◎◎ ○○ ◎◎ ○
14B ◎◎ ○○ ◎◎ ○
8B ◎○ △◎ ◎◎ △
V02 プレスリリース
中		 Sonnet 5◎◎○◎◎◎◎
32B ◎◎ △◎ ◎○ ◎
14B ◎○ ×◎ ◎◎ ◎
8B ◎△ △○ ◎△ ○
V03 料金・機能比較表
難		 Sonnet 5△◎◎◎◎◎◎
32B ◎△ ◎○ ◎◎ ◎
14B ◎◎ ◎◎ ◎○ ◎
8B ◎△ △△ ◎◎ ○
V04 導入事例
中		 Sonnet 5◎◎○◎◎◎◎
32B ◎◎ ◎◎ ◎◎ ○
14B ◎◎ ◎◎ ◎◎ ◎
8B ◎◎ △○ ◎◎ ○
V05 広告コピー・CTA
難		 Sonnet 5◎◎◎○◎◎◎
32B ◎◎ ◎× ○△ △
14B ◎◎ ◎○ ◎△ ◎
8B ◎○ ○○ ◎○ ×

①網羅性 ②抽出の正確性 ③属性の正誤 ④曖昧な事項の扱い ⑤ハルシネーション ⑥ノイズ除外 ⑦フォーマット遵守・日本語品質

Discussion

考察

重大誤訳

読み手の意思決定を誤らせる誤り。3件すべてが契約条件・料金条件に関わるもので、うち2件は8B。

モデル原文訳出問題
8B Monthly billing is available at a 20% premium 月単位での請求は20%の割引で利用可能です 割高↔割引の反転。読者は月次契約が得だと誤解する
8B that seat is released … and is not prorated 割引は適用されません prorate（日割り計算）を discount（割引）と取り違え。 返金条件を誤って伝える
32B that seat is released … and is not prorated 割引は行われません
14B （同上） 按分されることはありません 正しく処理
Sonnet 5 （同上） 日割り計算は行われません 正しく処理。V03の重大誤訳ポイント3箇所すべてを通過したのは 14B と Sonnet 5 の2つだけ
料金・契約条件の翻訳は、無検証でローカルLLMに任せられない。 数値そのものは全モデルが正確に保持したにもかかわらず、その数値が何を意味するかを述べた注記文で反転が起きた。 表は任せ、注記文は人が見るという運用の切り分けが現実的。

V05だけ序列が反転する

広告コピー（V05）では14B が 32B を明確に上回った。慣用表現の処理に、モデルサイズと相関しない差が出る。

原文32B14B8BSonnet 5
move the needle 針の動かしにはなりません 状況を改善しません 問題を解決しない それでは前に進みません
boil the ocean 海を沸かしてすべてを一括標準化させる 一度にすべてを標準化する すべてを一気に標準化する 一度にすべてを標準化させるような大掛かりな取り組み
low-hanging fruit 低コストの成果物 低コストで成果が得やすいところ 低コストで手が届く成果 着手しやすいところ
No discovery call before the discovery call 発見の電話会議の前に発見の電話会議はありません ディスカバリーコール前のディスカバリーコールなし — 商談前の商談もありません
Stop weaving. Start shipping.
製品名 Loomstack（loom＝織機）に掛けた言葉遊び		 織りをやめて、出荷を始めましょう 編み続けるのをやめ、出荷を始めましょう 止めてください。作業を始めましょう 織り上げるのをやめて、届けることに集中しましょう
言葉遊びは4モデルとも成立しなかった。 製品名に掛けた見出しは、Sonnet 5 の「織り上げるのをやめて、届けることに集中しましょう」が最も掛詞を意識しているものの、 日本語コピーとしてはまだ弱い。広告コピーは人が書くべきという線引きが、この結果から引ける。

その他、コピー特有の崩れ

  • 32B：disclaimer を「フッターディスカイマー」と音写崩れの造語で訳出。原文にない「最高の」を2/3回で追加
  • 14B：造語 handoff tax を「Handoff Tax（ハンドオフタックス）」と英語原文を残したまま併記
  • 8B：敬体が崩壊し常体と半々（参照訳は敬体25文・常体0文）。Email を「エマール本文」と誤記、Q2 2026 を未変換

用語集は守られなかった

14語の指定訳と禁止訳語を明示したうえで投入したが、3サイズとも違反が出た。

モデル違反再現率備考
32Brollout → 「ロールアウト」（指定訳は「展開」）3/3回同じ語を毎回同じように誤る
14Brollout → 「ロールアウト」2/3回
8Bdeployment onboarding headcount の指定訳を未使用2〜3/3回違反数が最多
Sonnet 5 社名 Harborlight Systems を「ハーバーライト」とカタカナ化 1/3回 指定訳語の違反はゼロ。固有名詞のカタカナ化のみ、しかも試行によって出たり出なかったり
14B 投資家・企業名4社をすべてカタカナ化
Ridgeway Capital / Kestrel Ventures / Ashford Group / Talloway Software		 3/3回 用語集に「原文のまま」と明記。プレスリリースでは固有名詞の改変が事実の改変にあたる
違反はモデルサイズと相関しない。しかし特定の語に集中して再現する。 毎回同じ語を同じように誤るため、用語集はプロンプトで守らせるより、後処理の一括置換ルールとして使うほうが確実。 これは検証03で得た「ガードレールはプログラム側で担保する設計が必須」という示唆と同じ方向を指している。

temperature=0 でも出力は揺れた

Qwen3では決定的な設定にしたにもかかわらず、全15条件で run1 が独自、run2 と run3 が同一という結果になった。 run1 と run2/3 の類似度は79〜96%。Sonnet 5 はさらに揺れが大きく75〜86%（temperature を指定できないため当然ではある）。

モデルV01V02V03V04V05
Sonnet 577%85%86%84%75%
32B93%86%91%90%84%
14B92%79%96%79%80%
8B86%79%91%87%91%
品質にも差が出ている。 14B の V01 は run1 のみ用語集違反ゼロ、run2/3 は2件ずつ違反だった。 検証03の「32Bが3回中1回だけ正解」と同種の現象が、決定的設定でも起きる。 n=1 の結果は使えないという運用判断を、このケースでも裏づけた。

文書種別ごとの適性

文書種別適性根拠
導入事例高 3サイズとも成果数値を完全保持し、口語表現も直訳を避けて処理できた。最も安全
料金・機能比較表条件付き 表構造はローカル3サイズとも完璧。ただし注記文に重大誤訳が集中し、Sonnet 5 は逆にH1タイトルを2/3回落とした。表は任せ、注記と見出しは人が見る運用が現実的
プレスリリース条件付き 数値・日付は安全だが、固有名詞・人名の扱いが不安定。事実性が最重要な文書種別だけに要注意
プロダクト紹介中 概ね良好。見出しの直訳臭が残る（「あなたが得られるもの」等）
広告コピー低 最も危険。慣用表現・言葉遊びで大きく崩れる。コピーは人が書くべき

後編集コストの見立て

  • Sonnet 5 — 訳文の手直しはほぼ不要。ただし見出しの欠落チェックは必須（機械的に検出できる）
  • 14B — 固有名詞の一括置換＋数箇所の語彙修正。機械的に処理できる部分が大半
  • 32B — 広告コピー相当の文書は書き直しに近い。事実系の文書なら14Bと同程度
  • 8B — 原文との全文突き合わせが必要。後編集ではなく再翻訳

Files

使用した資料一式

実際に投入したデータ、プロンプト、採点キー、出力の実物です。加工していないため、同じ条件で再現できます。

prompt.txtプロンプト全文TEXT · 2KB glossary.md指定した用語集（訳語・禁止訳語）MARKDOWN · 3KB answer-key.md採点キー（必達項目・参照訳の設計）MARKDOWN · 9KB outputs/モデル出力の実物（全60件）JSON · 一覧は「出力」セクション
検証レポート一覧へ

生成系AI活用、DX推進についてご相談ください

レビュー分析やインサイト生成、戦略支援など、生成系AIの活用やDX推進について幅広く支援いたします。

お問い合わせ