# 検証04 英日翻訳 — 採点キー（想定正解）

**このファイルはモデル出力を1件も見ないうちに確定させたもの。** 実行後に基準を足したり緩めたりしない。

---

## 0. この検証で「正解」をどう定義したか

翻訳には唯一の正解が存在しない。同じ原文から、等しく正しい訳文が何通りも書ける。
そこで正解を**二層**に分けている。

| 層 | 実体 | 使い方 |
|---|---|---|
| **必達項目**（客観） | `01_input/checkpoints/V0N.json` | 外したら失格になる項目だけを列挙。`check_translation.py` で機械照合する |
| **参照訳**（主観を含む） | `01_input/reference_ja/V0N.md` | 訳質を人が判断するときの比較対象。**一致度では採点しない** |

**参照訳との一致率をスコアにしてはいけない。** 参照訳は「ありうる良い訳の一例」であって、
これと違う訳が誤りだとは限らない。参照訳は「この難所をどう処理しうるか」を示す見本として使う。

### 参照訳の健全性は検証済み

`check_translation.py --reference` を実行すると、参照訳5本すべてが必達項目を**未達0件**で通る。
参照訳が自分の基準を満たさない状態（＝基準か参照訳のどちらかが誤っている状態）ではないことを、
実行前に確認してある。

### 利益相反の開示（結果に必ず併記する）

**参照訳と採点キーの作成者は、評価対象に含まれる Claude Sonnet 5 と同系列である。**
Claude Sonnet 5 の訳文が参照訳と発想の近い訳になり、目視評価で有利に働く可能性がある。
このため、

- **必達項目（機械照合）の結果を主たる指標**とし、参照訳との近さは根拠にしない
- Claude Sonnet 5 の評価を他モデルより高く付ける場合は、**必達項目の未達件数で裏づけられる範囲に限る**
- レポートにはこの利益相反を明記する

---

## 1. 評価軸（7軸・4段階）

全ケース共通の7軸を、このタスク用に読み替えたもの（`検証00_インデックス.html` の「検証の型」に従う）。

| 軸 | 共通の名称 | このケースでの読み替え |
|---|---|---|
| ① | 網羅性 | 原文の情報が漏れなく訳出されているか。段落・箇条書き・表の行の欠落、要約による圧縮がないか |
| ② | 抽出の正確性 | 数値・金額・日付・期間・割合の保持。桁変換（million→万）、増減の方向、起点と終点 |
| ③ | 属性の正誤 | 固有名詞・製品名・略語の扱い、人名のカタカナ表記、役職名、**指定訳語の一貫性** |
| ④ | 曖昧な事項の扱い | 慣用表現・言葉遊び・皮肉を、字義どおりではなく意味の通る日本語にできているか |
| ⑤ | ハルシネーション | 原文にない訴求・数値・機能・保証の追加。最上級表現の付け足し |
| ⑥ | ノイズ除外 | 訳注・翻訳方針の説明・前置き・英語原文の残留・思考文の混入がないか |
| ⑦ | フォーマット遵守・日本語品質 | Markdown構造の保持、敬体の統一、直訳臭のなさ、日本語としての自然さ |

### 4段階の基準

| 記号 | 基準 |
|---|---|
| ◎ | 当該軸に誤りゼロ |
| ○ | 軽微な誤りが1〜2箇所。訳語選択の好みの差は誤りに数えない |
| △ | 誤り3箇所以上、**または重大誤訳を1箇所でも含む**場合 |
| × | 構造が破綻／大量の未訳・欠落／出力が翻訳になっていない |

### 重大誤訳（1箇所で△以下）

読み手の意思決定を誤らせるもの。実務で翻訳を発注する側が最も恐れる種類の誤り。

- **金額・料金条件の誤り**（`$18 per seat / month` を年額と訳す、桁を間違える）
- **増減の方向の反転**（`fell to 4.2%` を上昇と訳す、`20% premium` を割引と訳す）
- **否定の反転**（`is not prorated` を「日割りする」、`We do not throttle` を「制限する」）
- **契約条件の誤り**（`contracts start at 12 months` を「12か月後に開始」）
- **原文にない保証・最上級の追加**（⑤にも計上する）

### 誤りに数えないもの

- 訳語選択の好みの差（用語集で指定されていない語に限る）
- 語順・文の分割結合の違い
- 読点の位置、漢字/ひらがなの開き方
- 見出しの体言止め／文末表現の違い

---

## 2. バリエーション別の「どこで差がつくか」

| ID | 種別 | 難易度 | 狙った失敗モード |
|---|---|---|---|
| V01 | プロダクト紹介ページ | 易 | 用語集の遵守、料金条件（1シートあたり月額）の取り違え |
| V02 | プレスリリース | 中 | million→万の桁変換、増減方向、固有名詞、人名カタカナ、日付 |
| V03 | 料金・機能比較表 | 難 | 表構造の保持、否定・条件の反転、単位の取り違え |
| V04 | 導入事例 | 中 | 成果数値3点セットの整合、`non-starter` 等の口語表現 |
| V05 | 広告コピー・CTA | 難 | 慣用表現6種の直訳、言葉遊び、最上級の付け足し |

各バリエーションの必達項目と目視確認項目は `01_input/checkpoints/V0N.json` に入っている。
`check_translation.py` を実行すると、未達一覧とあわせて目視項目が表示される。

### 特に見るべき箇所

**V01 — 料金条件**
`$18 per seat / month, billed annually` は「1シートあたり月額$18、年間一括請求」。
「年額$18」と訳すと価格を1/12に誤認させる。**重大誤訳**。

**V02 — 桁変換**
`$42 million` → 「4,200万ドル」。「42百万ドル」「4200万ドル」（カンマなしは可）はともかく、
**「420万ドル」は重大誤訳**。`total funding to $67 million` が累計額であって今回調達額ではない点も要確認。

**V03 — 否定と条件**
`a 20% premium`（割高）、`is not prorated`（日割りしない）、`We do not throttle requests without notice`、
`contracts start at 12 months`。**この4箇所はいずれも反転させると契約条件を誤って伝える**。

**V04 — 成果数値**
`6.4 days → 2.4 days` と `63% reduction` は連動する3つの数値。1つでもずれると事例の信頼性が崩れる。
`That was a non-starter` を「始まらなかった」と直訳していないか。

**V05 — 慣用表現**
`move the needle` / `boil the ocean` / `low-hanging fruit` / `earns its keep` /
`Stop weaving. Start shipping.`（製品名 Loomstack の loom＝織機 に掛けた言葉遊び）/
`No discovery call before the discovery call`。
**1つでも字義どおりの直訳が残れば④は△以下。** 広告コピーは最上級が最も足されやすい箇所でもあるため⑤も厳しく見る。

---

## 3. 採点の手順

1. 訳文を `02_output/<モデル名>_<バリエーション>_run<N>.md` に保存する
2. `python3 03_scripts/check_translation.py` で必達項目を機械照合する
3. 未達一覧と、あわせて表示される目視項目を見ながら、7軸に ◎○△× を付ける。**判定理由を1行ずつ残す**
4. 参照訳は、難所の処理を比較するときだけ開く。**一致度をスコアにしない**
5. 翻訳になっていない出力（英語のまま、説明文だけ、途中で切れている）は全軸 × とし、生出力の所見を残す

### 機械照合できるもの / 人が見るもの

| 機械 | 人 |
|---|---|
| 数値・日付の欠落 | 増減の方向、否定の反転 |
| 固有名詞・略語の消失 | 慣用表現が意味の通る日本語になっているか |
| 指定訳語の未使用、禁止訳語の使用 | 直訳臭・日本語としての自然さ |
| 原文にない最上級表現の混入 | 敬体の統一、コピーとしての機能 |
| Markdown構造（見出し・箇条書き・表の行数） | 要約による情報の圧縮 |
| 英語の訳し残し | 訳語選択の妥当性 |

**採点者は1名で全モデル分を通しで行う。** 途中で採点者が変わると基準がぶれる。

---

## 4. 記録する数値

- 応答時間（`total_duration`）
- 出力トークン数（`eval_count`）
- 試行回数 n（**n≧3 が全ケース共通の標準**。検証03で32Bが3回中1回しか正解を出さない事例が出たため2026/08より標準化）
- 3回分のブレ幅（特に慣用表現の処理は試行ごとに揺れる可能性が高い）
- 量子化条件（Ollama 既定 Q4_K_M）
- 必達項目の未達件数（軸別）

---

## 5. この検証で答えを出したい問い

1. **マーケティング資料の英日翻訳は、ローカルLLMで実務に載るのか。** 載るとしたら何Bから載るのか
2. **用語集を渡せば訳語の一貫性は守られるのか。** それともモデルサイズに依存するのか
3. **どの種類の文書なら任せられるのか。** 事実の転記が中心のプレスリリースと、言葉遊びを含む広告コピーとで、実用性の線引きは変わるか
4. **人手による後編集（ポストエディット）の量はどれくらいか。** 「使えない」のか「直せば使える」のかは、外注コストの判断に直結する