ウェブクローラー を使ってウェブサイトのページを自動的に 対話AI の知識に追加していますか？ その場合、サイトマップが定期的に変更されるときに、正しく対応する方法を知っておくことが重要です。
この記事では、サイトマップが変更された際に必要な対応と、対話AI が古い情報を利用しないようにする方法を説明します。
ウェブクローラー はサイトマップの変更を認識しない
ウェブサイトのサイトマップを変更しても、ウェブクローラー は以前のバージョンを記憶したり比較したりしません。
このツールは、追加されたサイトマップを毎回「新しい URL セット」として処理します。
変更されたサイトマップを再度追加した場合どうなるか？
-
サイトマップに含まれているすべての URL が、対話AI に再度追加されます。
-
サイトマップ上の URL が既にクロール済みの場合、その URL は 再クロールされるまで上書きされません。
-
サイトマップから削除された URL は、自動的には 対話AI の知識から消えません。
変更されたサイトマップに対応する方法
-
ウェブクローラー から、不要になった既存の URL を手動で削除します。
-
新しい（変更済みの）サイトマップを追加します。
-
必要なページを再度クロールします。
注意: この作業中は、対話AI が一時的にウェブクローラー からの知識を保持しない期間があります。アクセスが少ない時間帯に行うことをおすすめします。
詳しく知りたいですか？
ウェブクローラー の設定と使用方法については、こちらの記事をご覧ください：
👉 「ウェブクローラー の使い方」