顧客専用のAIエージェントを開発した

顧客専用のAIエージェントを開発した。稼働してから本番が始まった

自社メディアの自動化が安定してきた頃、外部から依頼が来ました。

別のメディアでも同じことをやってほしい、という話です。

顧客向けに開発すると、要件が全然違った

自社向けの仕組みは「新しい記事を書く」ものです。でも顧客が必要としていたのは「すでにある記事を書き直す」仕組みでした。

完了のたびにチャットツールへ通知する機能も必要になります。顧客向けに設定手順書と導入レポートも用意しなければならない。自社向けの開発にはなかった要件が次々と出てきました。

完了したらChatworkに通知が来るようにしたい。毎日何件処理したか報告してくれれば
Nav 処理件数・記事タイトル・品質チェック結果をまとめて送るようにします。問題があった場合は別途アラートも出せます
手順書も作っておいて。先方に説明できるやつ
Nav 設定手順書と導入レポートを用意します。初回セットアップで必要な操作を全部まとめます

通知・手順書・レポート。顧客向けに開発するということは、動くものを作るだけでは終わらない、ということでした。

セットアップが、想定よりずっと大変だった

仕組みを作ることよりも、先方の環境で動かすための設定作業のほうが大変でした。

顧客のGoogleアカウント、サーバー、WordPressをそれぞれ連携させる必要があります。各ツールの認証を通すたびに予期しないエラーが出て、そのたびに別の方法を試しました。

なかなかうまくいかないね
Nav 別の方法で試します。…これも失敗しました。次の方法に切り替えます
いくつ試した?
Nav 今で6通り目です。もう少し試せる方法があります

動かす前のハードルがこれほどあるとは思っていませんでした。自社では一度設定してしまえば終わりです。でも顧客向けに開発する場合、先方の環境でゼロからやり直しになる。セットアップをどれだけ再現性のある形にまとめるかも、開発の仕事のうちでした。

本番の前に、確認できる画面を作った

設定が整ったあと、すぐに本番の記事を書き換えることはしませんでした。

AIが記事をどう書き直すのか、先方に見せてから判断してもらう必要があります。そこで、実際に書き換える前の段階で「変更前後を並べて確認できる画面」を作りました。元の記事と書き直した記事を左右に並べて、どう変わるかを確認してもらうためです。

これを先方に見せれば、イメージを共有できるね
Nav 問題がなければ、このまま本番環境に反映する流れにできます

問題ないことを確認してから本番に移行しました。

動かし始めてから、問題が次々と出てきた

稼働を始めると、自社サイトでは気にならなかった問題が次々と出てきました。

AIが記事の末尾に、存在しない資料へのリンクを自動で挿入したことがありました。「チェックシートを無料で提供しています」という一文と、架空のダウンロードリンクです。自社の記事であれば公開前に自分が確認できます。でも顧客のサイトでは、気づかないまま下書きに入ることがある。

これ、存在しないソースへのリンクが入ってる
Nav 確認します。AIが自動で作った架空のリンクです。存在しないリソースへの誘導は絶対に入れないよう、指示を追加します
なんで一度に全部出てこないの
Nav 実際に動かして初めて見えてくる問題です。直していきます

どれも「動かしてみるまでわからなかった」問題でした。自社サイトなら自分が気づきます。顧客のサイトでは、出てきてから報告を受けて直す、というサイクルになります。

稼働後も、問題は出続けた

見出しのパターンが毎回同じになっていた

ある時点で、記事の見出しタグがほぼ毎回同じ表現になっていることに気づきました。AIが特定のパターンを優先して使い続けていたためです。

記事ごとに内容は違うのに、見出しの雰囲気がどれも似通ってしまう。顧客から指摘を受けて修正しました。記事の種類に応じて見出しのパターンを選び分けるよう、指示を作り直しました。

よくある質問の出力が壊れた

よくある質問のセクションに、「〇〇に関するよくある質問」という見出しの「〇〇」部分が、プレースホルダーのまま記事に出力されるという問題が出ました。AIが見本のフォーマットを「〇〇」ごとそのままコピーして書いていたためです。

別の記事では、まとめとよくある質問の順番が逆になって出力されるケースもありました。

「〇〇に関するよくある質問」ってそのまま出てるんだけど
Nav AIがフォーマットの見本をそのままコピーしていました。見出しを固定の文言に変更します。順番が逆になっているケースも修正します

「動かして初めてわかる」問題は、稼働から数週間経ってもまだ出てきました。

案件は一区切りになりましたが、開発したものは今も手元に残っています。修正は続いています。「開発して納品したら終わり」ではなく、動かし続けることで初めてわかることがある——自社の自動化でも、同じことが毎日起きています。

まとめ

  • 顧客向けに開発すると、自社向けとは全然違う要件が出てくる
  • セットアップは、顧客の環境でゼロからやり直しになる
  • 本番の前に変更前後を確認できる画面を用意した
  • 稼働後も、架空リンク・見出しパターン・FAQの出力ミスなど問題が次々と出てきた
  • 案件が終わっても改善は続いている。動かし続けることで初めてわかることがある

次回は、MCPサーバーの一覧ページを作り続けた話です。