この記事では、なぜ URL がウェブクローラー でクロールできないのか、その理由を説明します。 URL をクロールできない原因は、技術的な制限から対象ウェブサイトの設定までさまざまです。以下では、よくある原因とその解決方法を紹介します。
「クロールできない」とはどういう意味か？
URL がクロールできないとは、ウェブクローラー がその URL のコンテンツにアクセスできないことを意味します。
その結果、該当ページの情報が 対話AI の知識に追加されません。
URL にアクセスできない理由は複数あり、多くの場合はウェブサイトの設定や技術的な問題に関連しています。
URL がクロールできない主な理由
1. Robots.txt による制限
一部のウェブサイトには robots.txt ファイルがあり、クローラーに対してサイトのどの部分にアクセスできるか、できないかを指示します。
解決方法:
対象サイトの robots.txt ファイルを確認し、URL がクロール対象外になっていないか確認してください。
URL の末尾に /robots.txt を追加して確認できます（例: www.website.com/robots.txt）。
2. 誤った URL 入力
URL が間違って入力されている場合（タイプミス、サブドメインの欠落、HTTP と HTTPS の混同など）、クロールできません。
解決方法:
入力した URL が正しいか確認してください。ブラウザで直接開いてアクセス可能かどうかをテストしてください。
3. IP またはアクセス制限
ウェブサイトによっては、特定の IP アドレスや地域からのアクセスを制限する場合があります。これはアンチスクレイピング対策としてよく行われます。
解決方法:
クロール中は一時的にブロックや制限を解除してください。
4. CAPTCHA やアンチスクレイピング対策
一部のウェブサイトは、CAPTCHA などの高度な技術を使用してボットをブロックしています。これにより、ウェブクローラー がアクセスできない場合があります。
解決方法:
サイトが CAPTCHA を使用している場合、自動的に URL をクロールすることは残念ながらできません。
この場合は、コンテンツを 対話AI に手動で追加するか、一時的にアンチスクレイピング対策を解除することを検討してください。
5. ウェブサイトのサーバーエラー
サーバーの問題により、ウェブサイトが一時的に利用できないことがあります。代表的なエラーは以下のとおりです：
-
404 - ページが見つかりません: ページが存在しない、または URL が間違っている。
-
500 - 内部サーバーエラー: サーバーがリクエストを処理できない。
-
504 - タイムアウト: サーバーの応答に時間がかかりすぎた。
解決方法:
-
ブラウザで URL を開き、ウェブサイトが利用可能か確認してください。
-
しばらく待ってから再試行してください。一時的なサーバー問題は自然に解消されることがあります。
6. ウェブサイトのサーバー制限
サーバーが短時間に大量のリクエストを受けると、過負荷でクローラーをブロックすることがあります。
解決方法:
Agents で同時クロール数を制限してください。すべての URL を一度にクロールするのではなく、分割して実行しましょう。
サポートが必要ですか？
URL のクロールに引き続き問題がある場合は、サポートチーム（support@watermelon.ai）までご連絡ください。喜んでサポートいたします。