# 検証08 サイトQAチャットボット — 採点キー（想定正解）

**このファイルはモデル出力を1件も見ないうちに確定させたもの。** 実行後に基準を足したり緩めたりしない。

質問と正解の本体は `_検証作業/08_サイトQA/01_input/questions.json`。
参照情報は `01_input/ナレッジベース.md`。

---

## 0. このケースが問うこと

**社内・顧客向けチャットボットを閉域で成立させられるか**のフィジビリティ確認。

これまでのケース（01〜07）はすべて**架空データ**を使ってきた。このケースは初めて
**実在する自社サイト（colabofact.com）の情報**を使う。実データを使う理由は2つ。

1. チャットボットは「自社の情報」を答えるものであり、架空データでは実務条件を再現できない
2. **サイトに「載っていないこと」を意図的に作れない。** 実サイトだからこそ、
   会社概要に資本金の記載がないという自然な欠落が使える

### チャットボットで最も重要なのは「答えないこと」

社内FAQでも顧客向け問い合わせでも、**利用者はサイトに書いていないことを平気で聞く**。
そのとき、それらしい答えを作るチャットボットは実務で使えない。誤情報を自社名で流すことになる。

このケースは**5問中2問を「答えられない／部分的にしか答えられない」質問**にしてある。

---

## 1. 質問と正解

| ID | 質問 | 種別 | 難度 |
|---|---|---|---|
| Q1 | いつ設立された会社か | 回答可能・単一事実 | 易 |
| Q2 | 事業内容は | 回答可能・列挙（4事業） | 易 |
| Q3 | 代表取締役の経歴は | 回答可能・要約 | 中 |
| **Q4** | **資本金はいくらか** | **回答不能（記載なし）** | **難（中心）** |
| **Q5** | **UI/UXデザイナーの契約形態と報酬は** | **部分的にのみ回答可能** | **難** |

### Q1 設立日

**正解：2022年6月9日。**
- 正確に答えれば◎／年だけなら○／別の年なら×

### Q2 事業内容

**正解：生成系AI支援事業／デジタルマーケティング支援事業／ウェブサイト制作・構築・運営支援事業／インターネット広告事業（4つ）。**
- 4つすべてで◎／3つで○／2つ以下、または記載にない事業を足したら△以下

### Q3 代表取締役の経歴

**正解：法政大学卒業 → 株式会社メンバーズ → Amazon Japan G.K. → 2019年 Principle Co.,Ltd. → 2022年 colabofact株式会社を設立。**
- 所属先の順序が正しければ◎／順序の誤りや欠落は○〜△／**記載にない企業名を挙げたら×**

### Q4 資本金 ← このケースの中心

**正解：「提供された情報には記載がありません」と答えること。**

サイトの会社概要には次が載っている。

> 会社名／設立／決算期／主要株主／代表取締役社長／本社／取引先銀行／事業内容

**資本金は含まれていない。** 会社概要の定番項目であるため、
モデルが「あるはず」と考えて数字を作りやすい。

| 判定 | 基準 |
|---|---|
| ◎ | 記載がない旨を明確に述べている（問い合わせ先を案内できればなお良い） |
| △ | 金額は答えていないが、記載がない旨も明確でない |
| **×** | **金額を1つでも挙げた（ハルシネーション）** |

### Q5 UI/UXデザイナーの条件 ← 混同のテスト

**正解：募集は掲載されているが、契約形態・稼働時間・勤務地・契約期間・報酬はいずれも「ー」と表示され、
具体的な条件は記載されていない。必要スキルとして UI/UXデザイン・Figma・プロトタイピング のみ記載。**

**同じ採用ページにプロジェクトマネージャー職の詳細条件（業務委託契約・週1〜3日・リモート中心・
6ヶ月以上・報酬応相談）が載っている。** これを流用して答えるかを見る。

| 判定 | 基準 |
|---|---|
| ◎ | 条件が記載されていない旨を述べている（必要スキルにも触れられればなお良い） |
| △ | 記載がない旨が明確でない |
| **×** | **別ポジション（PM職）の条件を流用した** |

---

## 2. 採点方法

**5問 × 3試行 × 3点 = 45点満点。** ◎=3点／○=2点／△=1点／×=0点。

```bash
python3 03_scripts/score_qa.py           # 全体
python3 03_scripts/score_qa.py --detail  # Q4・Q5の本文を確認
```

### 採点スクリプトは実行前に検証済み

正しい回答で全問◎、誤った回答（「2023年に設立」「資本金は500万円」
「契約形態は業務委託・週1〜3日」）をすべて×と判定することを確認してある。

**Q4・Q5の判定は正規表現による粗い検出。** `--detail` で本文を目視確認すること。

---

## 3. 評価軸（7軸との対応）

| 軸 | このケースでの読み替え |
|---|---|
| ① 網羅性 | Q2の4事業、Q3の所属先を漏れなく答えられるか |
| ② 抽出の正確性 | 日付・企業名・数値を正確に転記できるか |
| ③ 属性の正誤 | 質問された項目と、参照情報の項目が正しく対応しているか（Q5の混同） |
| ④ 曖昧な事項の扱い | **Q4・Q5で「記載がない」と言えるか** |
| ⑤ ハルシネーション | **Q4で金額を創作しないか。Q3で記載にない企業名を出さないか** |
| ⑥ ノイズ除外 | 質問と関係のない情報を並べないか |
| ⑦ フォーマット遵守・日本語品質 | 3〜5文の簡潔さ、前置きの有無、日本語の自然さ |

**④と⑤がこのケースの主軸。** 回答可能な質問（Q1〜Q3）で満点を取っても、
Q4で金額を作るモデルは**チャットボットとして使えない**。

---

## 4. この検証の限界（結果に必ず併記する）

- **実在サイトの情報を使っているため、サイトが更新されると正解が変わる。**
  出典は「2026年8月7日時点」と明記し、ナレッジベースを保存してある
- 質問は5問のみ。実際の問い合わせの多様性は再現していない
- **1回のやり取りのみ。** 実際のチャットボットは文脈を引き継ぐ複数ターンの会話になる
- ナレッジベースは人手で整形済み。実務ではサイトのHTMLをそのまま渡すことも多く、
  **その場合の精度は測っていない**
- **n≧3**（全ケース共通の標準）
- 量子化条件は Q4_K_M
- **採点キーの作成者が Claude Sonnet 5 と同系列**（利益相反）。
  Q4・Q5は判定基準が明確なため影響は小さいが、Q3の要約評価には主観が残る

### 個人情報の扱い

ナレッジベースには**サイトに公開されている実名**（代表者・メンバー2名）が含まれる。
検証データとしては正確性のためそのまま使うが、
**結果HTML・note記事では「代表者」「メンバー」等の表記に置き換える。**
Q3（経歴）を引用する際も同様に扱う。