※もちろんスクレイピングで取得したデータを違法に利用するのは論外
まぁど素人のお前らは知らないだろうが、Webページ1ページ見るのに数十から100以上のリクエストがサーバーに送られるんだよ。
最初に見たページ内のリンク全てをリクエストするわけ。
もちろんすべてがいつでも全部ダウンロードされるわけじゃない。「変更なしよ」という回答だけ戻す場合も多々ある。
一方、スクレイピングは最初の1ページはリクエスト1回だけ。
その中から必要なリンクのダウンロードを個別に行うわけ。
人がブラウザで見るよりサーバー負荷は軽いんだよ。
もちろん、ノーウェイトでアクセスするクローラが同時に数十もやってきたらサーバ側も困るが、まぁそんなことは起こらない。
Permalink | 記事への反応(0) | 16:09
ツイートシェア
27
