共有
  • 記事へのコメント20

    • 注目コメント
    • 新着コメント
    その他
    takuver4
    takuver4 自分は技術ブログを書いているのでクロールはメッチャ歓迎。もしも自分の記事がAIのハルシネーション抑制に役立てたのなら本望である。

    2025/09/17 リンク

    その他
    kyahi227
    kyahi227 生成AIによるクロール拒否が広まってるのは著作権や人としての倫理の問題より「スキル不足が顕著な生成AI企業の書くWebクローラがカスすぎて更新のないページを脳死でダウソしまくり帯域コストが辛い」問題が大きいぞ

    2025/09/17 リンク

    その他
    misshiki
    “ここ数か月で、はてなブログやnoteが生成AIによるクロール (巡回) を拒否する設定を追加したけど、この設定、いろいろなブログサービスにひろまってほしいところ。”

    その他
    uotocs
    uotocs インターネットにアップロードして公開することとAIに見られることはイコールだと思った方がいいと思う

    2025/09/16 リンク

    その他
    goldhead
    AIに自分のブログ読み込ませたかったのだが、以前は一律に拒否されてできなかった。選択できるようになるのはよいこと

    その他
    usomegane
    虚構新聞はそれを学習したところでハルシネーションの原因にはならなそうな気はする。非実在の対象についての非現実的な記述って感じだから。

    その他
    ssig33
    クローラー書くときに robots.txt を尊重するコードなんて人生で一度たりとて書いたことない

    その他
    beeeyond
    beeeyond 嫌ならやめろは外野が言うことでも無いですしね。かといって行儀の良いクローラーばかりではありませんし。

    2025/09/16 リンク

    その他
    quwachy
    もうすぐブラウザを直接操作してクロールするようになるから無駄

    その他
    Unite
    Unite 手軽に調査する分にはこういうのもある。https://trends.builtwith.com/robots/ どのサイトがどのbotを拒否しているか /robots/ai-bot だとAI BOTの拒否具合を見られる

    2025/09/16 リンク

    その他
    takahire_hatene
    takahire_hatene 増田食わせれば、AIがミソジニーやフェミニストになって、AIにダメージが与えれるでしょ。ブクマカ食わせれば、AIに何を相談しても、叩かれるようになる。AIを壊すんだ!

    2025/09/16 リンク

    その他
    ugo_uozumi
    どのルートでサイトに流入させたいかはオーナーが決めるので、検索エンジン経由の来訪がいらないならクロール拒否は妥当。サイトの中身だけ抜きだして使いたいなら検索エンジンやMCPは利用料を払えよって話で。

    その他
    TakamoriTarou
    逆にインデックスに明示的に追加する方法はあるのかな。一般的なサイトでは拒否するメリットほぼない稀ガス

    その他
    secseek
    secseek いやならウェブで全世界に情報を公開するのをやめろとしか

    2025/09/15 リンク

    その他
    mame-tanuki
    ちなみに、現時点で増田は生成AIのクロール拒否を設定  https://anond.hatelabo.jp/20250915230224 /一方、現時点、はてブはOK設定な感じ? https://anond.hatelabo.jp/20250915232549

    その他
    tnishimu
    tnishimu 別にクロールされたくない訳では無いのだが、最近のOpenAIのクローラーはいくら何でも多すぎるような気がするんだよな、短時間に何度も同じページを巡回して挙動が怪しいというか。

    2025/09/15 リンク

    その他
    tfurukaw
    tfurukaw ふと思ったが虚構新聞てAIの学習対象になってるのかな?

    2025/09/15 リンク

    その他
    hatebu_admin
    クロール拒否ってagentにも効いてるのか使い物にならんことが割とある気がするから直接ユーザの権限でブラウザを操作しようって方向になるのはしゃーないんかねえ

    その他
    eroyama
    yはyのブコメと増田となろうを1000回位AIにも人にも学習してもらい、最新事実に基づいた回答と判断をするようになってもらいたい /yは"最新事実"をcustom指示に詰め込みすぎた結果,

    その他
    portal18
    portal18 自分はBingをつかっているけれど、Xはこんな設定になっていたのか...。絶望。 / 虚構新聞はrobots.txtがNot Foundだったから生成AIのクロールはされていそう。

    2025/09/15 リンク

    その他

    注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

    アプリのスクリーンショット
    いまの話題をアプリでチェック!
    • バナー広告なし
    • ミュート機能あり
    • ダークモード搭載
    アプリをダウンロード

    関連記事

    生成AIによるクロールを拒否する設定がひろまってほしいが...

    ここ数か月で、はてなブログやnoteが生成AIによるクロール (巡回) を拒否する設定項目を追加したけど、...

    ブックマークしたユーザー

    すべてのユーザーの
    詳細を表示します

    同じサイトの新着

    同じサイトの新着をもっと読む

    いま人気の記事

    いま人気の記事をもっと読む

    いま人気の記事 - テクノロジー

    いま人気の記事 - テクノロジーをもっと読む

    新着記事 - テクノロジー

    新着記事 - テクノロジーをもっと読む

    同時期にブックマークされた記事

    いま人気の記事 - 企業メディア

    企業メディアをもっと読む