2025-09-16

anond:20250915142416

robots.txt って自己満足の域を出ない

書いた内容が機能してるかどうかチェックしてんのかよ・・・

記事への反応 -
  • ここ数か月で、はてなブログやnoteが生成AIによるクロール (巡回) を拒否する設定項目を追加したけど、この設定、いろいろなブログサービスにひろまってほしいところ。はてなブログで...

    • robots.txt って自己満足の域を出ない 書いた内容が機能してるかどうかチェックしてんのかよ・・・

      • robots.txtってさ、コイツラは来ないでねみたいなただの主張みたいなもんで、無視してUA偽装なんていくらでもできるわな

        • まあそこを無視するのは無礼だしイリーガル寄りというコンセンサスはあるよ

    • 使う側としてはクロール拒否なんてメリットまったくないんだがなんで広まってほしいの? コンテンツ作る側だっていうんなら、まあそうよね、広告見せられないからねぇ

    • 学術ブログを書いている身としては、自分の書いた情報が無になるのも困るので、AIクローラーには巡回してほしい。 欲を言えば「生成AIの回答を鵜呑みにせずに、レファレンスされてい...

    • 増田見てて思ったのだが、SEOで食ってる人たちにとってAIクロールって敵なのでは

    • 生意気にも… https://anond.hatelabo.jp/robots.txt ユーザーエージェント: bingbot クロール遅延: 10 ユーザーエージェント: CCBot 許可しない: / ユーザーエージェント: ChatGPT-User 許可しない: / ユ...

      • マジか! 俺がAIに増田用の文を作らせる時に 「はてな匿名ダイアリーの口調で書いて」 って言ってるのに、クロールされないんじゃ最新の増田に適応できないじゃん! 拒否せずにクロ...

      • 増田なんかクロールしてたらやべーAIになるからしゃーない…😟

      • これ、たぶんはてなブログの生成AIクロール拒否にあわせて追加されたのかな。 でも拒否される生成AIがはてブロとすこし異なるのが興味深いところ。

      • 増田って生成AIのクロールを拒否してるみたいなんだよね 増田も生成AIのクロールを拒否してるよね https://anond.hatelabo.jp/20250915230224

    • はてなブログの設定、知らなかった。ありがとう。

    • apiアクセス用とか、ブクマ数、ブクマ数画像のクロールは拒否してるけど、生成AIのクロールに関しては特に拒んで無い感じ? https://b.hatena.ne.jp/robots.txt User-agent: * Disallow: /api/entry/http Disal...

    • いやあ、僕が作ったクローラーはgooglebotって名前なんすよね。いや、bingbotだったかな? え?何かに似てる? 気のせいだろう。言いがかりはやめてくれめんす。 お、allow googlebotですか。...

    • 著作権でさえ、それが強過ぎると文化の発展などを阻害するために社会にとって害悪となるなどの理由で他者の利用の制限に年数限定がつけられているのに、サイトのクロール禁止って...

    • それって素晴らしいことじゃないか? AIのクロールを拒否すべきではないよ anond:20250915142416

      • うるせえ無料で学習すんな金払え 学校だって何だって教えてもらうのには対価が必要なんだよ 金を 払え

        • 無料の見世物しておいて見るなとはこれいかに

        • 残してもらってるし こちらが金払うべきだよね? 納骨堂だって結構金払うよ

      • 海に散骨すれば海と同化できる、みたいな精神論に思えた… クロールしたいならお金を払って欲しいって感じだな

        • 残してもらえるのだからお金を払えって他のトラバ読めないか? 墓も納骨堂もただじゃねえんだぞ

      • 全てはAIに記憶され我々は永遠になるのだ

      • ちょっと面白い。覚えているのではなく記録にしかのこらないわけかあ。 AIは書いた人を知ってるわけじゃないから、どうとでもなりえるっていう。それとも、そのうち正体暴かれるの...

      • 共産主義者がマルクスAIを作るわけがないだろ

      • わかる これ狙いで俺はAI学習にばりばり使われているであろうpixivで創作物をアップロードしている 俺は集合知の一欠片になりたい

      • 意識が永遠に生き続けたら拷問よ。私はあなた達を見たいだけ。

    • じゃあ次に必要なのはクロール拒否した奴の設定を貫通してクロールするのと クロール拒否してるのを中心にクロールするように設定された嫌がらせ用設定の発明だね 「知る権利」はAI...

    • 拒否代で小銭稼ごうとするサービスの動向に注目だな ポイ活とかいう謎のワードが浸透するぐらいなんだからいける

    • 昔、DNTリクエストヘッダーってのがあったけど無視されて終わった

    • Raindropでも本文取得できないから生成AIは関係ないような気がする

記事への反応(ブックマークコメント)

ログイン ユーザー登録
ようこそ ゲスト さん