【Dify】運用改善への取り組み：AI技術の活用

こんにちは、運用システム部の木村です。

最近、社内からの問い合わせで「これどうやるんだっけ？」という同じような質問に答える日々が続いていて、もっと効率よく対応して、メンバーの待ち時間を減らしたいなと思っていました。

ちょうどその頃、社内でも「生成AIなどの新しい技術を、積極的に業務へ取り入れて検証していこう」という動きが出てきました。そこで、実践を通じて社内に知見を蓄積していくことを目的に、まずは日常業務だった問い合わせ対応のAI化に着手しました。

なぜ「自前運用」なのか

RAGを手軽に組めるツールはいくつかありますが、最終的に「Dify」に落ち着きました。

理由はシンプルで、社外秘のドキュメントを読ませたかったからです。SaaS版もすぐ始められて便利なのですが、今回はデータを外部に出さないことを最優先にして、IDCフロンティアの自社環境にDify（セルフホスト）を立てる構成にしました。

コアになるツールとモデルはシンプルにまとめました。

この環境の上で、実際に作ったワークフローがこちらです。

画面を見てもらうとわかる通り、処理のステップごとの「ノード」を線でつないでいくだけ。プログラミングというより、パズルを組み立てる感覚に近いです。今回の問い合わせ対応ワークフローは、ざっくりこんな流れで動かしています。

今までは「マニュアルの山から該当箇所を探し出し、ゼロから文章を組み立てる」という作業にかなりの時間を使っていました。下書きをAIに任せることで、これまで以上にスピーディーな対応が実現できると思っています。

ちなみに、LLMノードには以下のようなシステムプロンプトを設定して、AIが勝手な推測を話さないように制御しています。あわせて、回答の根拠となったマニュアル名などの「情報元」も必ず記載させるように工夫しました。

エンジニアじゃなくても直感的に触れるUIなので、運用システム部以外の他部署にも横展開しやすいのがいいところです。すでに社内向けの利用ルールやマニュアルも整備済みなので、なんなら「うちの部署の問い合わせ対応にも使いたい」と手が挙がれば、明日からでもすぐに使い始められる状態になっています。

最初は「とりあえず社内規程やマニュアルのデータを全部突っ込めば、あとはAIがいい感じに答えてくれるだろう」と甘く見ていたんですが、いざ質問してみると全然見当違いの回答が返ってくることがありました。原因を探ってみると、関係ないマニュアルの記述まで拾ってきてしまって、AIが混乱していたんですよね。

この試行錯誤を通じて見えてきた、RAGの精度を安定させるためのポイントがこちらです。

「情報の丸投げ」はやめる PDFをそのまま読ませるのではなく、よくある質問をQ&A形式のテキストに整理し直してから読み込ませるだけで、回答の質が劇的に変わりました。
問い合わせの「入り口」で検索対象を絞る「何でもかんでも一つの場所から探す」のをやめて、問い合わせの種別ごとに参照するナレッジを切り替えるワークフローに改修しました。例えば「勤怠」の質問なら勤怠のマニュアルだけ、「経費」なら経費ルールだけを見に行く、といった具合です。

「とにかく情報をたくさん食わせれば賢くなる」わけじゃなくて、AIが迷わないように「情報を整理して、必要なものだけを差し出す」という人間側の交通整理が、構築において一番大事なポイントだと痛感しました。