ウェブクローラーの使い方

対話AI の知識にウェブページを追加したいですか？この記事では、ウェブクローラーを使ってこれを簡単に行う方法を学びます。

注意！ウェブクローラーは Premium、Business、Enterprise パッケージでのみ利用可能です。

この記事では、ウェブクローラーとは何か、またその技術的な仕組みについても解説します。

指示、AI検索、またはドキュメントスクレイパーを通じて情報を追加する以外に、自社サイトの情報を対話AI に追加したい場合があります。ウェブクローラーはまさにそれを行います。まず、クロールしたいすべての URL を取得し、その後ページをクロールして内容を対話AI の知識に追加します。これにより、データを手作業で追加する必要がなくなり、対話AI の保守が容易になります。

この動画もご覧ください：

ウェブクローラーを開く

まず、対話AI を開き、ソースに移動してウェブクローラーを見つけます。

自分のウェブサイトを追加する

ウェブクローラー内では、ウェブサイトの URL を簡単に追加・管理できます。URL を追加する方法は 3 つあり、これらを組み合わせることもできます。

サイトマップ全体: 最も完全な URL リストが得られるため、このオプションを推奨します。良いサイトマップの作り方はこの記事をご覧ください。
末尾に「/」を付けずにサイトマップの URL を入力してください。つまり、
例： https://website.nl/sitemap.xml は可、https://website.nl/sitemap.xml/ は不可。

ルートドメインから URL を取得: サイト上のすべての URL を見つけることを試みます。
特定の URL を手動で追加: サイト全体ではなく特定ページのみの情報を追加したい場合に使用します

注意！ルートドメインまたはサイトマップのクロールが非常に短時間（数秒以内）で完了した場合、サイトのごく一部しかクロールされていない可能性があります。サイトが技術的にクロールしにくい、または完全にアクセスできない場合に発生することがあります。その場合は、サポートチームまでお気軽にお問い合わせください。

ウェブクローラーは、ボタンやドロップダウンメニューの背後にある情報を取得できません。これらの情報は、対話AI の指示に手動で追加してください。

Crawl ステータス
URL リストには、次のいずれかのステータスが表示されます。

ステータス	意味
クロール	URL が対話AI の知識に追加された
未クロール	URL は（まだ）クロールされていない
待機中*	URL はクロール待ちの状態
除外	URL はクロール対象から除外されている

クロールにかかる時間は？

ウェブサイトの構造やクロールの容易さに応じて、クロールには最大 24 時間かかる場合があります。この間、ウェブクローラーは直接アクセスできない URL に対して最大 50 回の再試行を行います。処理中、URL のステータスは「待機中」と表示されます。24 時間経過してもクロールに成功しない場合、その URL のクロールは失敗となります。

クロールステータスが 90% から 100% の間でしばらく停滞して見えることがあります。これは、残り少数の URL への到達を繰り返し試みていることを意味します。対象の URL が一時的に到達不能であったり、成功に追加の試行が必要な場合があります。

クロール中に画面を開いたままにしておく必要はありません。別のページへ移動したり、Watermelon からログアウトしても、処理は自動的に継続します。

処理を続行したくない場合、クロールを手動でキャンセルできます。その時点までに成功した URL の知識はすでに対話AI に追加されています。既存の情報を使ってすぐに作業を開始できます。

クロールが完了またはキャンセルされると、結果の概要（成功しなかった URL 数を含む）が記載されたメールを受け取ります。

URL をクロールできない可能性がある理由については、この記事で詳しく説明しています。

3. URL を再クロールする

ウェブサイトの内容が変更された場合は、（クロール開始：含めるに設定した URL 全体）」または「（選択した URL）」をクリックして、対話AI の知識を簡単に更新できます。すべての URL をクロールする場合は、クロールの上限に留意してください。

4. クロール済みの URL を削除する

ウェブクローラーから特定の URL を削除したい場合は、右側の三点リーダーからその URL の削除を選択します。複数選択のオプションを使用し、URL 上部のバーで削除をクリックして複数の URL を同時に削除することもできます。

注意！ URL を削除すると、対話AI がその URL から取得した知識もすべて消去されます。

5. ウェブサイトの知識で対話AI をテストする

クロールが完了したら、インタラクティブテスターを使用して、対話AI が新たに取得した知識を会話でどのように活用するかを確認できます。

ウェブサイト上の情報が、対話AI に手動で追加した指示と矛盾している場合、対話AI は知識源によって異なる回答を返すことがあります。

その他

リンクをコピー: URL の左側にあるボタンを使用して簡単にコピーできます。ブラウザで URL を確認し、対話AI の知識に 含める べきかどうか判断する際に便利です。スクリーンショット
長い URL 上にカーソルを合わせる: マウスオーバーすると、完全な URL が表示されます。