Difyで社内ナレッジに答えるRAG構築手順

「社内マニュアルや規程がどこにあるか分からず、同じ質問が総務や情シスに何度も来る」。そんな状態をなくしたくて、Difyで社内向けのRAGチャットボットを作ろうと考えている方は多いはずです。

この記事では、Dify（ディファイ）を使って社内ナレッジに答えるチャットボットを、実際に完成まで持っていく手順を解説します。ナレッジの準備、チャンクや検索の設定値、公開前チェック、つまずきやすいポイントまで、現場目線でお伝えします。専門知識がなくても大丈夫です。

Contents / 目次

1. 結論。Difyの社内RAGは「資料の整理」でほぼ決まる
2. Difyで社内RAGチャットボットを作る手順
3. 作るとどう変わる。期待できる効果と成果イメージ
4. よくある失敗と、その回避法
5. 導入前に知っておきたい、現場の落とし穴と妥協点
6. よくある質問
7. まとめ。まずは1業務・少量の資料から始めよう

結論。Difyの社内RAGは「資料の整理」でほぼ決まる

先に結論からお伝えします。Difyで社内ナレッジに答えるチャットボットを作るとき、精度を左右するのは「AIの賢さ」ではなく元になる資料の整理と、検索まわりの設定です。ここを外すと、どんなに高性能なAIを選んでも「見当違いの回答」や「資料にあるのに答えない」状態になります。

まず前提を整理します。RAGとは、Retrieval-Augmented Generation（検索拡張生成）の略で、かんたんに言うと「AIが答える前に、社内資料の中から関係しそうな部分を検索して、それを読んだうえで回答する仕組み」のことです。AI自身の記憶で答えるのではなく、毎回あなたの会社の資料を参照して答えるので、社内のルールや商品情報にも正しく答えられます。

ここでよくある誤解があります。「資料をたくさん入れればAIが賢くなる」という思い込みです。RAGはAIを学習・訓練しているわけではありません。資料が多すぎたり整理されていなかったりすると、検索がノイズを拾い、かえって回答が悪化します。つまり、増やすより「整える」ことが先です。

取り組むべきことは、大きく次の4つです。この記事はこの4要素に沿って進めます。

要素	やること	これを外すと起きること
①資料の準備	古い資料を捨て、1ファイル1テーマに整理する	古い情報や矛盾した回答が返る
②ナレッジ登録	Difyに取り込み、チャンク（分割）を調整する	回答が途中で切れる・的外れになる
③検索・回答設定	検索方式やTopK、回答の指示文を決める	資料にあるのに「分かりません」と返る
④公開前テスト	実際の質問で検証し、出典を表示させる	間違いに気づけず社内に不信感が広がる

ポイント。Difyはこの4要素を1つの画面でまとめて扱える点が強みです。資料の取り込み、分割、検索、回答生成、テストまでを、コードをほとんど書かずに進められます（機能の詳細はDify公式ドキュメントで確認できます）。 だからこそ、設定の意味を理解して使うかどうかで、完成度に大きな差が出ます。

Difyで社内RAGチャットボットを作る手順

ここからが記事の本番です。実際に手を動かして完成させる流れを、ステップごとに分けて解説します。画面上のボタン名やメニュー名はバージョンで変わることがあるため、細かな名称はDify公式ドキュメントで確認しつつ、ここでは「何を・どう決めるか」という判断の部分を具体的に書きます。

ステップ1。答えさせたい質問を先に10個書き出す

いきなり資料を集める前に、まず「このチャットボットに答えさせたい質問」を10個ほど書き出してください。ここが全ての出発点です。

たとえば「有給の申請期限は」「経費精算の締め日はいつ」「出張旅費の上限額は」「在宅勤務のルールは」のように、実際に社内から来る質問をそのまま書きます。この10個が、後で精度を確認するときの「テスト問題」になります。

最初から「何でも答えるAI」を目指すと、資料も膨大になり精度も出ません。まずは「人事・総務のよくある質問だけ」のように範囲を絞るのが成功の近道です。

ステップ2。元資料をクリーンアップする

次に、答えの根拠になる資料を整えます。ここが精度を大きく左右する工程です。以下のチェックリストに沿って、資料を1つずつ点検してください。

• 古い版を消す：同じ規程の新旧が混在すると、AIが古い方を拾って誤答します。最新版だけ残します
• 1ファイル1テーマにする：人事・経費・IT申請などが1つのファイルに混在していたら、テーマごとに分割します
• 見出しを付ける：「第3条 有給休暇」のように、内容が分かる短い見出しを段落の頭に置きます
• 飾りを消す：ヘッダー・フッター・目次・ページ番号など、中身と関係ない繰り返し要素は削ります
• 目的語を補う：「これは翌月末まで」ではなく「経費精算の申請は翌月末まで」と、主語や対象を書き足します

資料づくりの考え方は、AWSも公式ガイドで整理しています。AWS 規範ガイダンスのRAGドキュメント作成ベストプラクティスでは、明確な見出しと短い段落、一貫した書式が検索精度を高めると解説されています。 日本語の社内資料でも考え方は同じです。

ステップ3。Difyのナレッジに取り込み、チャンクを調整する

整えた資料をDifyのナレッジ（Knowledge、知識ベース）に取り込みます。 PDF・テキスト・Markdownなどのファイルをアップロードすると、Difyが自動でテキストを分割し、検索用のデータ（ベクトル）に変換して保存します（対応する形式や分割・変換の仕様はバージョンで変わることがあるため、Dify公式ドキュメントで確認してください）。

ここで理解しておきたいのが「チャンク」です。チャンクとは、資料を検索しやすいように区切った小さなかたまりのことです。AIは資料全体ではなく、このチャンク単位で関係する部分を探します。つまり、区切り方が悪いと答えが途中で切れたり、文脈が失われたりします。

チャンクの設定で迷ったら、次を目安にしてください。

• 初期値：まずは既定の設定のまま取り込みます。細かな調整は、この後の工程で必要に応じて行います
• 回答が途中で切れる時：1チャンクが小さすぎる可能性があります。分割サイズを少し大きくします
• 関係ない話が混ざる時：1チャンクが大きすぎます。分割サイズを小さくして焦点を絞ります
• 条文・Q&A形式の資料：「第○条」や「Q.」など、意味の区切りで分かれるよう見出し記号を揃えておきます

取り込みが終わったら、ナレッジの管理画面で「どんなチャンクに分かれたか」を必ず目視してください。1つのチャンクに複数の話題が混ざっていたら、資料側を直して取り込み直します。 この地道な確認が精度を大きく左右します。

ステップ4。検索方式とTopKを決める

次に、質問が来たときに「どうやって資料を探すか」を設定します。ここで押さえる設定は3つです。

• 検索方式：検索には、意味の近さで探す方法（ベクトル検索）と、単語一致で探す方法（キーワード検索）があります。両方を組み合わせる方法が選べるなら、それがおすすめです。専門用語や製品名を含む社内資料では、単語一致も効くほうが安定します
• TopK（トップケー）：1回の質問で何個のチャンクを拾うかの数です。 まずは3〜5から始めます。少なすぎると根拠が足りず、多すぎるとノイズが増えます
• リランキング：拾った候補を「本当に関係が深い順」に並べ替える処理です。こうした設定が使えるなら、精度を上げたいときに有効にします

ステップ5。回答の指示文（プロンプト）を設定する

AIがどう答えるかを決める指示文を設定します。 ここは長く作り込む必要はありません。今のAIは、方向性を渡せば自分で文面を整えてくれます。まずは次のたたき台（seed）を出発点にして、自社に合わせて対話しながら詰めてください。

あなたは［会社名］の社内ヘルプデスクです。
以下のルールで回答してください。

- 提供された社内資料の内容だけを根拠に答える
- 資料に書かれていない質問には「資料内に記載がありません。担当部署に確認してください」と答える
- 推測で補わない。あいまいな場合は該当しそうな箇所を提示して確認を促す
- 回答の最後に、参照した資料名を示す

質問：［ユーザーの質問］

ポイント。「資料にないことは答えない」と明記するのが最重要です。この一文があるだけで、AIが知ったかぶりで作り話をする（ハルシネーション）リスクを大きく下げられます。ハルシネーションの仕組みは生成AIのハルシネーションはなぜ起きるかと業務での防ぎ方でも詳しく解説しています。

ステップ6。ステップ1の10問でテストしてから公開する

最後に、ステップ1で書き出した10個の質問を実際に投げて答え合わせをします。AIがどのチャンクを参照して答えたかを確認できれば、「なぜこの答えになったか」をたどれます（ログや参照結果の確認方法はDify公式ドキュメントで確認してください）。

間違えた質問があれば、原因を切り分けます。「資料自体が古い・不足」なら資料を直し、「関係ないチャンクを拾っている」なら検索設定を調整し、「作り話をしている」なら指示文を強めます。この確認と修正を1周してから社内公開すると、初日の信頼を失わずに済みます。

作るとどう変わる。期待できる効果と成果イメージ

社内RAGチャットボットを入れると、まず変わるのは「同じ質問への対応時間」です。総務や情シスに繰り返し来ていた定型質問を、担当者を介さず24時間答えられるようになります。

海外では大きな成果を出した事例も報告されています。決済サービスのKlarna（クラルナ）は、AIチャットボットの活用について自社で発表しています。詳細はKlarna公式のプレスリリースで確認できますが、こうした数字はサポート体制やデータ量が整った大企業の例です。 中小企業でそのまま同じ成果が出るわけではない点は、率直にお伝えしておきます。

とはいえ、規模が小さくても得られる変化ははっきりしています。よくある効果は次の3つです。

• 問い合わせ対応の分散：「マニュアル見て」で終わらせられず口頭対応していた質問が、AIに置き換わります。担当者は判断が必要な仕事に集中できます
• 新人の立ち上がりが早くなる：「誰に聞けばいいか分からない」段階の新人が、まずAIに聞いて自己解決できます
• 属人化の解消：ベテランの頭の中にあったルールが資料化され、AI経由で誰でも引き出せます

成果を出している会社に共通するのは、最初から完璧を目指さず「1業務・限られた資料」で小さく始め、使いながら育てている点です。社内資料をAIに活用する全体像は社内情報をAIで構築するRAG活用ガイドでも整理していますので、あわせて読むと導入の判断がしやすくなります。

よくある失敗と、その回避法

ここでは、社内RAGチャットボットづくりで実際にやりがちな失敗を、現場でよく見かける順に紹介します。どれも「起きる状況→どうなるか→どう防ぐか」の形で押さえてください。

失敗1。資料を全部まとめて入れて精度が落ちる

「とりあえず社内の全資料をアップすれば賢くなるはず」と考えて、雑多なファイルを一気に取り込むケースです。こうなると検索が関係ない資料まで拾い、回答がぼやけたり的外れになったりします。

回避法はシンプルです。最初は範囲を絞り、1テーマずつ入れます。まず人事系だけで作って精度を確認し、安定してから経費系を足す。この順番なら、どの資料が精度を下げているかも切り分けやすくなります。

失敗2。資料にあるのに「分かりません」と返る

知識ベースに確実に情報があるのに、チャットボットが答えられない現象です。原因の多くはチャンクの区切り方か、検索設定にあります。答えが1つのチャンクの端で切れていたり、TopKが少なすぎて拾えていなかったりします。

回避法は、Difyのログで「実際にどのチャンクを拾ったか」を確認することです（ログの確認方法はDify公式ドキュメントを参照してください）。狙ったチャンクが候補に入っていなければTopKを増やすか検索方式をハイブリッドに変え、チャンク自体がおかしければ資料の区切りを直して取り込み直します。

失敗3。古い情報や作り話をそのまま答える

更新前の規程を残したまま取り込んでいたり、指示文に「資料にないことは答えない」と書いていなかったりすると、AIが古い内容や、もっともらしい嘘を自信たっぷりに答えます。社内向けだと、これがそのまま誤った運用につながり危険です。

回避法は2つです。

• 取り込み前に古い版を必ず捨てる
• 指示文で「根拠がなければ答えない・担当部署へ誘導する」と明記する

この2つで誤答リスクは大きく下がります。

失敗4。会話が続くと話が噛み合わなくなる

「その申請の期限は」のように前の発言を受けた質問で、AIが「その」が何を指すか分からず、見当違いの資料を探してしまうケースです。1問1答では問題なくても、会話が続くと崩れます。

回避法として、まずは1つの質問を完結した文で書いてもらう運用を案内するのが現実的です。そのうえで、会話の流れを踏まえて検索する設定を段階的に取り入れていきます。最初から完璧な連続対話を目指さないことも、安定運用のコツです。

導入前に知っておきたい、現場の落とし穴と妥協点

ここは教科書には載りにくい、実際に運用してみて見えてくる本音の部分です。相談を受けるときに必ずお伝えしている点をまとめます。

まず、RAGチャットボットは「作って終わり」ではなく「育て続ける」ものです。資料は更新され、質問の傾向も変わります。誰も更新しないまま半年放置すると、古い答えを返す危険な存在に変わります。作る前に「誰が毎月メンテするか」を決めておかないと、せっかくの仕組みが不信の元になります。

次に、内製か外注かの線引きです。Difyは非エンジニアでも触れる設計ですが、実務で悩むのは、ツールの操作より前の次の2つの判断です。

• クラウド版かセルフホストか：Difyには提供元のクラウド版と、自社サーバーで動かすセルフホスト版があります（提供形態の詳細はDify公式ドキュメントで確認してください）。どちらを選ぶかで運用の手間やコストが変わります
• 社内の機密資料をどう扱うか：資料をどこに置き、外部にどう送るか。セキュリティに直結する判断です

ここはセキュリティやコストに直結するため、慎重に決める必要があります。

コストの見落としも多いポイントです。Difyそのものだけでなく、回答を生成するAI（OpenAIやClaude、Geminiなど）の利用料が、質問が増えるほどかかります。 社内で使い倒すほど費用も伸びるので、運用前に月額の目安を試算しておくのが安全です。AI内製ツールの費用の考え方はAI内製ツールの運用コストを見える化する試算手順で具体的に解説しています。

向き不向きも正直に言えば、あります。ルールや手順が文書化されている業務はRAGと相性が良い一方、暗黙知が多く資料化されていない業務は、まず資料づくりから始める必要があり、想像より時間がかかります。「AIを入れれば楽になる」の前に「資料を整える体力があるか」を見ておくと、失敗しません。

PoC（試験導入）では動いたのに、本番運用に載せると更新が回らず止まる、という例は本当に多いです。本番化の壁についてはPoCで終わる会社が見落とす本番化の壁もあわせてご覧ください。

よくある質問

まとめ。まずは1業務・少量の資料から始めよう

Difyで社内ナレッジに答えるRAGチャットボットは、資料を整え、チャンクと検索を調整し、公開前にテストする。この流れを丁寧にやれば、非エンジニアでも十分に実用レベルまで作れます。大事なのはAIの賢さより、元資料の整理と運用の設計です。

ここまで読んで「自社の資料整理やセキュリティの判断まで含めると、自分たちだけでやり切るのは不安だ」と感じた方は、気軽にご相談ください。コレットラボのAI業務システム化支援では、どの業務から始めるかの整理だけでもお手伝いできます。まずは現状をお聞かせいただくところからで大丈夫です。AI業務システム化の詳細はこちらをご覧ください。