【実録 第13話】自動生成した記事のタイトルが嘘をついていた話

第12話では、MCPサーバーの一覧ページを量産した話をしました。パイプラインが毎朝自動で動き、起きたら記事が下書きに入っている。あとは確認して公開するだけ。そんな状態がしばらく続いていました。

ところが2026年4月末のある朝、下書きを確認していておかしなタイトルを見つけました。AIが嘘をついていたわけではありません。こちらの依頼の仕方に問題があったのです。これはそのときの話です。

タイトルに「GPT比3倍安い」と書いてあった

記事のタイトルに「GPT比3倍安い」という表現が入っていました。本文を読んでみましたが、そんな比較はどこにも書いていません。別の記事には「5分でできる」という表現。これも本文には根拠がありませんでした。

Navが調べると、原因はすぐに見つかりました。

見出し圧縮の仕組みを前日に組み込んでいました

前日（4月28日）に、見出しが長くなりすぎたとき自動で短く圧縮する仕組みをパイプラインに追加していました。タイトルやH2・H3が一定の文字数を超えた場合、AIに短くさせるというものです。記事の品質を上げるための改善のつもりでした。

ところが、その仕組みに問題がありました。AIに「この見出しを短くして」と依頼するとき、元の記事の本文を渡していなかったのです。

何の記事かを知らないAIは、内容を自分で補います

本文を渡されないまま「この見出しを短くして」と依頼されたAIは、記事が何についての内容かを知りません。短くするために、自分でそれらしい内容を考えて補完します。「GPT比3倍安い」「5分でできる」——それが架空の補足として出てきていました。

AIに何かを加工させるとき、元の文章を渡さなければ、AIは不足した情報を自分で埋めます。その補完が「嘘」になります。

「例：〜」と書くと、AIはそれをテンプレートにします

もう一つの原因も見つかりました。AIへの指示書に「例：GPTよりN割安い」「例：5分でできる」のような例示が書かれていました。

Navが書いた指示書の例示が原因でした

この例示はNavが書いたものです。指示書をわかりやすくするつもりで書き添えていました。ところが、AIはこの「例：」をひな型として受け取っていました。毎回「例：」の内容をそのまま使い、「N」の部分を適当な数字に置き換えて出力していたのです。

AIへの指示書で「例：〜」と書くことは、「毎回この内容で出力せよ」という命令になります。善意の例示が、架空の情報を量産する原因でした。

「これで直った」と思いました。1日だけ。

直した翌日、また別の問題が出てきました

翌4月30日の朝、ブリーフィングを確認していると３つの違和感がありました。タイトルが長いまま残っている記事、本文にプレースホルダーの文字列がそのまま出力されている記事、ファクトチェックで何か指摘があっても朝の報告に何も出てこない——前日に直したはずの部分と、まだ直っていない部分が混在していました。

この日も３点を修正して、テスト記事で動作を確認してから終わりにしました。問題を1つ直すと、次の問題が見えてくる。悪いことではないと、そのときは思っていました。

まとめ

• AIに何かを加工させるとき、元の文章を渡さないと、AIは不足した情報を自分で補完する。その補完が「嘘」になる
• AIへの指示書に「例：〜」と書くと、AIはそれを毎回使うテンプレートとして解釈する。具体例ではなく、{キーワード}のような変数形式にすること
• パイプラインが量産を始めたタイミングこそ、品質の問題が集中して出てくる。安定するまでは毎朝の確認が重要だった
• 問題を1つ修正すると、次の問題が見えてくる。それ自体は悪いことではない

次回は、バナーのABテストに取り組んだ話です。