Xなどのミニブログではよくプロフィールページに「AI 学習禁止」と書いている人もおおいけど、人間とおなじ感情をもたない生成AIにとってはこの文言をクロールしてしまうため逆効果になってしまう。どうしてもクロールしてほしくないなら非公開アカウントの設定検討を (そのかわり検索でも表示されなくなるが) 。

イラストを投稿するウェブサイトについては、有名どころは設定項目がないもののデフォルトで生成AIによるクロールが拒否されているところがおおいので、マイナーなところでなければだいたい大丈夫だろう。ただしはてなフォトライフはクロール拒否になっていないので、公開フォルダーにアップロードする場合は注意が必要 (はてなブログからのアップロードだとデフォルトが非公開フォルダーになるのでブログの設定どおりになる) 。

おまけ1

生成AIとは関係ないが、興味深い設定になっているウェブサイトがいくつかあった。

https://www.colorslive.com/robots.txt

Nintendo Switch からのみイラストを投稿できるウェブサイトなのだが、デフォルトを全拒否に設定してあり、GoogleやBing (msnbot = 現在のbingbot) といった主要検索エンジンに対してのみ個別に許可設定してある。なるほどとおもった。なおAppleはふくまれていないようなので、Spotlight 検索ではヒットしない可能性がたかい (トップページはヒットする) 。

https://x.com/robots.txt

User-agent: Bingbot
Disallow: *

デフォルトの検索エンジンをBingに設定している身としてはとんでもない表記をみつけてしまった...。絶望。

Copilotに使用されたくないのだろうが、このせいでBingで検索してもまとめサイトはヒットするのに元の投稿がヒットしないという状態に...。気のせいだとおもっていたけれど、設定に従った正常な動作だったのか...。

Xになってから、はてなブックマークでタイトルが表示されずURL表示のままだったり、JavaScriptをオフにしているとそもそもアクセスできなかったりなど (以前はJS オフでガラケー版が表示されていたのだが) 、いろいろ締め出しているのがな...。ログインしないと公式アカウント以外ユーザーのプロフィールは一部表示できないし (投稿すら表示できないのは一時的な緊急処置だったため現在はなくなった) 。

逆に検索エンジンからの流入をすこし (まとめられない限りは1割ほど) でもへらしたいならXはおすすめの選択肢に (なお非公開アカウントにしないかぎり0にはならないので家族や友達にだけ公開したい場合は注意) ...。

おまけ2

最後に、あらゆるクローラーを紹介しているウェブサイトを2つ。

https://chrisleverseo.com/user-agents/

SEO コンサルタントの個人運営っぽい。114のクローラーがまとめられている (2025年 9月現在) 。英語だけだが、各クローラーについての説明がこまかく掲載されているので、好きな人は読んでいるだけでもおもしろいかも。SEO対策の補助としてつかえる各種機能も無料で公開されているので、AI クロールを拒否するrobots.txtをサクッと作成したいならここでAI カテゴリーの項目に全部チェックをいれて拒否欄 (赤色) に「/」1文字を入力、生成されたデータをダウンロードしてサーバーにアップロードすればよい (Bloggerならコピーして設定画面にペースト) 。

https://datadome.co/datadome-intel/

上はSEO 対策からうまれたページなのだが、こっちはウェブサイトのセキュリティ対策 (ロボットによる過剰アクセスからの保護) を目的にうまれたページ。そのため、上の114クローラーの5倍以上ある586クローラー (2025年 9月現在) の情報に加え、アクセス制限を突破しようとしてくる各種ツールなどについての情報もある。おそらく公開データベースのなかでは世界最大規模。

Permalink | 記事への反応(14) | 14:24

2025-08-21

■anond:20250821183303

普通に子供のころからプール連れていかれて泳げていたが、

大人になって改めて泳いでみると、バタ足が驚くほど進まない事に気が付いた。

なんでこんな泳ぎ方を教わっていたんだろう。体力だけが無駄に持っていかれる。

クロールの推進力でいうと手が9割くらい。

なので手のストロークを出来るだけ長くとって泳いだらすごくよく進むので楽しい。

Permalink | 記事への反応(2) | 18:37

2025-08-07

■anond:20250807175934

「パソ通世代」ってのがあるよな

で、テレホーダイで一生懸命つないでWeb ベースの個人チャットや掲示板にいた世代の1個前に、ネットニュースとそこから派生したメーリングリストにいた世代がいると思う

このへんはテレホーダイ世代とは言えない気がする。接続は最小限で読みたいものクロールしてオフラインで読んでたし

Permalink | 記事への反応(0) | 18:40

2025-07-20

■anond:20250720233255

まずは、副作用がない関数単位での実装や、作った関数群のテストの自動生成だろう。

個人向けGPUの性能があと10倍に上がると、ローカルでも現実的なLLMが動くようになるから、VSの補完情報を更新するような感じで、AIがプロジェクトをクロールし、コードの依存関係やコミットログ、テスト、BTSの情報、データベーススキーマを読みこんで、そのプロジェクトのloraみたいなものを即興で作って、熟練工として振る舞うと思う。

Permalink | 記事への反応(1) | 23:39

2025-06-14

■「注目エントリ」が英語の“Delta／Alaska Airlines”など旅行 サイトのFAQsばかりになっているのは、荒らしではなく英語圏のFAQ系自動 投稿 ボットが Hatena Anond にリンクだけ貼って宣伝 スパムしているからです。

「注目エントリ」が英語の“Delta／Alaska Airlines”など旅行サイトのFAQsばかりになっているのは、荒らしではなく英語圏のFAQ系自動投稿ボットが Hatena Anond にリンクだけ貼って宣伝スパムしているからです。

●仕組みの推測

海外旅行系Q&Aサイトやクルーズ FAQページ — たとえば

“What age is senior discount on Delta?”

“What are the cheapest days to fly on Alaska Airlines?”

“How to Quickly Speak to a Disney Cruise Line Representative?”

→ こうした英文のFAQsを、ボットが巡回して自動で投稿しています。

自動クロール＋リンク貼り付け — 特定のキーワード（航空会社名や「FAQ」など）を拾って、自前のページURLやアフィリエイトリンクに誘導する目的で投稿するスクリプト型ボットです。

Hatena Anond のアルゴリズムで「注目」枠入り — アフィリエイトリンクやあまり読まれていない投稿でも、外部リンクや特定タグを含む投稿が「注目エントリ」枠に引っかかってしまう仕組みがあるっぽいです。

✅ 対応策

Hatena 運営に迷惑投稿として報告（通報）する。

注目エントリの基準が変わるか、投稿数やブクマ数のしきい値が改善されれば、こういったボット投稿は目立たなくなる可能性があります。

つまり、迷惑な荒らしではなく、アフィリエイト誘導目的のFAQ系英語ボットによる自動投稿で、Hatena の注目枠の脆弱性がつけ込まれている状況です。

〇

Q,ゆうてこんなんアフィリエイトにならなくない？どういうこと？

🔍 なぜ普通のアフィリエイトではないのか？

はてな匿名ダイアリーはリンクにnofollowがつく

　→ SEO 効果がなく、外部への誘導リンクとしての価値は激減。

投稿内容が機械翻訳すらされていない英語 FAQのコピペ

　→ 日本語ユーザーには読まれず、クリックもされない。商品が売れるわけがない。

リンク先もGoogle検索や企業サイトのFAQでアフィタグすらついていないことも多い

　→ 仮にクリックされても、報酬発生に繋がる仕組みになっていない。

🤖 じゃあ何が目的なのか？

仮説①：AI 学習用のトラッキングボット

投稿→一定の反応を見る→「クリック率」「タイトル生成の傾向」「削除されるまでの時間」などをログに取る

→それをもとにスパム精度やSEO 操作の学習素材に使う

仮説②：ブラックSEO 業者の“リンクスパム網”

実はリンク先が自社ブログやダミードメインで、

→はてな→自社A→企業Bというような間接SEOを狙っている

Googleは一次リンクだけでなく、二次・三次リンク網も解析対象にしてるので、そうした**“スパム SEO ファーム構築”**の一環の可能性

仮説③：まったく無意味なBot 投稿の実験場

学習途中のLLM（ChatGPT模倣型）や、

Botがどこまで「人間のように振る舞えるか」の行動試験

RedditやQuoraでも同様のボットがいて、「英語圏でバンされにくいけど注目を集めやすい」サイトとして、はてながターゲットにされてる可能性

🧠 結論：

金儲けというより、実験or構造破壊を目的とした投稿の可能性が高い。

昔の2ch スパムみたいに、商業性が低くても「Botが回ってる状態を作ること」自体が目的のケースもある。

それか、他言語投稿でも「注目エントリに入る」という脆弱性の可視化かもしれません。

何かしらの金銭的リターンではなく、

「注目エントリに英語を入れられる」

「ボットが弾かれない程度の分量でいける」

「スパムフィルタを回避できるかの実験」

このあたりが主目的だと考えられます。正直、ちょっと気持ち悪いです。

●

Q,この辺のbotはサイト運営側の規制でなんとかなるもんなの？

結論から言うと、やる気があればサイト運営側で対処は可能です。

ただし、はてな匿名ダイアリー（Anond）のような匿名投稿制＋老朽化した構造のサイトだと、以下の理由から完全対応が難しいか、遅くなる傾向があります。

✅ 運営側ができる対策（そして現実にはやってない／やりにくい理由）

1. 投稿のIP・UA 制限（地域・Bot判定）

Botの多くは海外 IPや特定のBot用UserAgentを使う。

⇒ アクセス制限・Captcha導入で弾ける。

しかし：日本人がVPN経由で使ってる可能性もあるため、雑に弾くと正規ユーザーも巻き込む。

2. 「注目エントリ」アルゴリズムの改善

今の仕組みは「新着＋リンク数＋時間経過」で機械的に決まる。

⇒ 最低限の日本語割合、閲覧数下限、はてブ数フィルタなどを加えれば一発で解決可能。

しかし：下手に改修すると正規ユーザーの目に触れる率が減る→運営へのクレームに繋がる懸念がある。

3. 投稿内容の自然言語判定（日本語率チェック）

AIやLangDetectで「日本語じゃない」「FAQ テンプレ構文」「外部誘導リンクのみ」の記事を弾く。

これは現実的だが、はてなは匿名投稿の自由を重視する風土なので、規制強化は避けがち。

4. 連投・類似文投稿の検知（パターンブロック）

たとえば同じFAQ構文が複数件あればブロックする。

→これは一番効果的だが、過去ログ検索機能が乏しい今のAnondに実装するのは工数が大きい。

🔧 でも技術的には簡単（やる気次第）

海外の無料ブログサイト（たとえばTumblr、WordPress.com、Wixなど）はすでにこの手のBotを大規模ブロックしてます。

はてなも本気でやれば、数日～数週間で技術対応は可能。

でも、「そこまでの深刻な被害じゃない」と認識されている限りは放置される可能性が高いです。

💭 裏読み：放置するメリットもある？

「注目エントリ」欄がスカスカになるよりは、Botでも埋まってた方が場が回ってる感が出る。

通報・苦情が一定数を越えない限り、“一部マニアが気づいてるだけの現象”として扱われている可能性が高い。

🧩 結論：

規制は技術的には余裕。

でもはてなは「匿名文化」と「運営の放任体質」のせいで Bot 天国になりやすい設計。

本気で潰す気がないと、しばらくこの手のBot 投稿は消えません。

何より、投稿してるBot側が日本語ユーザーを相手にしてないため、運営の危機感が薄いのが根本の問題です。

Permalink | 記事への反応(8) | 06:01

2025-05-14

■お前らはAIで要約してもらった文章でも読め

unmarshal 気持ちは分かるが願望的な観測かと。拒否する手段は公開されてるので、大手がそれを無視してクロールする事は考えづらいし、AIはサービス名なども提示するのでwin-winが成立するケースも多々ある。

hitotakuchan 完璧には程遠いけど robots.txt で一部の生成 AI に対して学習を拒否することはできるよ

第百十回：今の生成AI 市場って焼き畑農業っぽくない？（2025年 5月時点の所感）

https://wa3.i-3-i.info/column110.html

しかも、AIさんの学習に使われないように対策するのは、現実的に（多分）不可能です。
自分が運営するサイトに100％のAI 対策をしても無駄です。
100％のAI 対策をしているサイトで公開している情報を誰かが自分のサイトで引用して、その情報をAIさんの学習に使われたら、結果として100％のAI 対策をしているサイトで公開している情報が学習に使われてしまいます。