検索対象

並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 243件

新着順 人気順

スクレイピングの検索結果1 - 40 件 / 243件

スクレイピングに関するエントリは243件あります。 プログラミング、 webサービス、 web などが関連タグです。 人気エントリには 『ちいさな Web ブラウザを作ってみよう』などがあります。

スクレイピングの関連エントリー

  • ちいさな Web ブラウザを作ってみよう

      ちいさな Web ブラウザを作ってみよう

    • 個人開発で「Excel専用のWebAPI」を作りました

      どういうもの？ このように関数を使ってデータを取り込めます。 背景 元々は「インターネット上のWebAPIのデータをExcelに取り込みたい」と思ったのがきっかけです。 VBAマクロを使えば簡単ではありますが、マクロは使いたくないという方も多いのではないでしょうか。かくいう私も勤務先が属人化を防ぐためにマクロの使用を推奨していません。 そこで、関数を使用する方法を選択しました。 ExcelにはWEBSERVICE 関数という指定したURLの応答データを取り込む関数があります。 しかし、この関数は大変便利な関数ですが、ExcelはHTMLやJSONのパーサーを用意していません。結局取り込んだHTMLやJSONの処理にはVBAマクロが必要になります。 また、欲しいWebAPIが存在しない問題もありました。 そこで、Excelでデータを編集するのではなく、元々のWebAPIをExcel用に作れば

        個人開発で「Excel専用のWebAPI」を作りました

      • 「私はロボットではありません」はワンクリックでなぜ人間を判別できる？ 仕組みとその限界を聞いてきた

        2021.02.16 「私はロボットではありません」はワンクリックでなぜ人間を判別できる？ 仕組みとその限界を聞いてきた WebサイトにIDとパスワードを入力するとき、ときどき「私はロボットではありません」にチェックを求められることがあります。 僕はロボットではないので、当然チェックを入れて認証を進めるわけですが……。でもちょっと待ってください。なぜクリックひとつで、人間かロボットかを判断できるんでしょう。 これはきっと、人間ではないなんらかの不正アクセスを防ぐ仕組みのはず。でもチェックを入れるくらい、プログラムを作ってなんやかんやすれば、シュッとできるのでは？ 「私はロボットではありません」は、どんな仕組みで人間とロボットを判別しているのか。もっといい方法はないのか。これまでの歴史的経緯も含め、情報セキュリティ大学院大学の大久保隆夫教授に聞きました。 気づかないうちに「人間かロボットか」

          「私はロボットではありません」はワンクリックでなぜ人間を判別できる？ 仕組みとその限界を聞いてきた

        • 日付、住所、文字列、辞書、翻訳……なんでもござれの「ExcelAPI」がスゴい／「Excel 2013」以降で利用できる「WEBSERVICE」関数と組み合わせて使う無料のWeb API【やじうまの杜】

            日付、住所、文字列、辞書、翻訳……なんでもござれの「ExcelAPI」がスゴい／「Excel 2013」以降で利用できる「WEBSERVICE」関数と組み合わせて使う無料のWeb API【やじうまの杜】

            • スクレイピングの関連エントリー

          • browser-use やばいです - Qiita

            Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

            • ベテランエンジニアがクラウドワークスで5,000円の案件を受けてみた｜ebiebi_pg

              最近は営業力なくてもクラウドワークスのような便利なサイトで案件が受けれるようだ。 いざチャレンジ! １．まずは実績作りクラウドワークスデビューを果たしたいのだが、自分は実績が1件もないので料金は度外視して「何でもいいから1件実績を作る」という作戦に出てみた。 申し込みが少ない案件を探していると下記のような案件が見つかった 「自社のオリジナル販売サイトの商品ページを解析し、某大手ショッピングモールサイト3社に自動でアップロードするロボットプログラムの作成依頼」 （10,000円） ほう… 相場を分かっていないのか けっこうな難易度のシステムを1万円ぽっきりで依頼するとはなかなかの猛者だ。 だれも申し込みしていない案件かと思いきや、他にも数名の申し込みがあった。 大丈夫か？？こいつら？ ２．案件獲得交渉さっそく申し込んでみるのだが、1件実績を作るという目的を達成するためになるべく案件の獲得率を

                ベテランエンジニアがクラウドワークスで5,000円の案件を受けてみた｜ebiebi_pg

              • スクレイピング・自動化対策について

                はじめに 昔からサービスの運営者を困らせてきたものはいくつかあると思いますが、 特に代表的なのが “自動化による悪用” です。 スクレイピングによる無断データ収集や、予約システムを狙ったボット、さらには不正ログインを試みる自動化ツールなど、その形は時代とともに多様化してきました。 X (旧Twitter) には、今でも詐欺DMを送るボットが多いです。(自分は毎日来ます。) また、大阪万博の予約を勝ち取るために、サーバーに過度の負荷をかける形で自動化が悪用された事例もあります。 そして、最近はAIを利用した巧妙なものも増えています。 この記事を読んで、そのような事態に対処できるように知識が少しでも増えれば良いな、と思っています。 ぜひ少しでも役に立てば、いいね・他SNSへの共有など、よろしくお願いします！！ 実例 2025年現在、大阪万博なる物が開催されており、DX化の一環として予約をウェブ

                  スクレイピング・自動化対策について

                • ツイッター上でウクライナ政府をネオナチ政権だと拡散しているのは誰か（鳥海不二夫） - エキスパート - Yahoo!ニュース

                  2022年2月24日にロシア軍がウクライナに侵攻しました． 3月7日現在いまだ侵攻は続いており，一般市民にも多くの死傷者が出ているということで早期の収束を願うばかりです． ロシア側はウクライナへの侵攻の正当性として，ウクライナ政権はネオナチ政権であるという主張をしているようです． プーチン氏は安全保障会議で「我々はまさにネオナチと戦っている」と述べ、ウクライナ政府側をネオナチ扱いした。 https://mainichi.jp/articles/20220304/k00/00m/030/061000c 日本のマスメディアでこの主張を入れているところはあまりないようですが，ソーシャルメディア上ではこの主張に沿ってロシアの侵攻を正当化しているグループもあるようです． ロシアによるウクライナ侵攻について、日本では「単なる思い込みによる誤解」から「めちゃめちゃな陰謀論」まで、ツイッターのみならず、ウ

                    ツイッター上でウクライナ政府をネオナチ政権だと拡散しているのは誰か（鳥海不二夫） - エキスパート - Yahoo!ニュース

                  • 【個人開発】爆速な賃貸物件の検索サービスを作った - Qiita

                    2024年11月現在の最新の構成に関する記事をこちらに書きました。 よろしければそちらもご参照下さい。 （Qiita の本記事は、2022年4月時点の構成に関しての記事で、多少古い内容が含まれています。） 個人開発で 賃貸物件の検索サービス Comfy を作りました1。グラフや地図でサクサク絞り込める UI が特徴のサービスです。とにかく気持ち良い使い勝手を実現するために色々工夫しています。 既にリリースからは 4 ヶ月以上経っているのですが、改めてサービスの概要や、システム構成及び使用した技術・サービスをご紹介しようと思います。2。 サービスの概要 Comfy は日本全国の賃貸物件を検索できる Web サービス です。画面 UI は上の GIF 画像のような感じです。 こだわったポイントを色々書くよりも実際にさわって頂いた方が新感覚の UI や気持ちよさを体感頂けるかと思いますので、 実

                      【個人開発】爆速な賃貸物件の検索サービスを作った - Qiita

                    • 【🚨無職発生注意報🚨】ヒトはこうして仕事を奪われる~Browser Use Tutorial~ - Qiita

                      はじめに 2025年はAIエージェントの年です。注目されているAIエージェントの一つが『AIが自動で自分のPC画面を操作』するBrowser Useというツールです。 Browser Useの面白さ Browser Useを使うと、AIが自動で自身のPC画面を操作することであらかじめ決めた目的を達成をしてくれます。 簡単な指示を出すだけで、自動でAIが色々操作してくれるのはキャッチーで衝撃的ですよね。 例えば下記のように完全自動でAIが記事を検索して記事の情報を取得してくれます。 簡単な指示でAIが自分で考えて画面操作をしてくれるのは近未来感ありますよね。 しかし、現場でAIを使いこなすには「AIがすごい」のレベルではまだ足りません。 実際に触ってみて何ができるのか？逆に何が苦手なのか？という肌感覚を持つことが非常に重要です。 そこで本記事は、その肌感覚を養うために実際にBrowser U

                        【🚨無職発生注意報🚨】ヒトはこうして仕事を奪われる~Browser Use Tutorial~ - Qiita

                      • 自作した時間割アプリが大学の公式アプリに採用された話 - Qiita

                        Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 記事の概要 私（芝浦工業大学学部4年生）が大学3年時に1人で制作した、大学のポータルアプリ（ポータルサイトからスクレイピングして時間割などを表示する）が、大学に正式採用され、公式アプリ"ScombApp"としてリリースされるに至った経緯を時系列順に説明します。 ホーム画面 時間割画面 制作の動機 大学のポータルサイト使いにくいがち。 ポータルサイトのスマホアプリ版があれば便利そう。 他にやってる人いなさそうだし、最初に作ったらみんな使ってくれそう。 ポータルサイトの問題点 大学ポータルサイトで使いにくかった点を挙げていく。 とりあえずこ

                          自作した時間割アプリが大学の公式アプリに採用された話 - Qiita

                        • 40代プログラミング初心者がpython始めて半年！独学で勉強が続いている理由と読んだ本 - Qiita

                          下で最新版に記事を編集しましたブログを作ったよ ツイッターアカウントフォローお願いします https://twitter.com/usagipycom こんな記事も書いてます 友達がpythonでPCゲームのレベル上げツールを作っていた それを聞いて、pythonって便利なのね。と思いその後色々あってプログラミングを勉強することにした プログラマー35歳までみたいな世の中で40代おそすぎ！ってあるかもしれない PCがあって、無料の教材はネットに転がってるし、本もたくさんあるし、挑戦するのは無料だし2022年の1月ぐらいから勉強を始めた 入門書って成果物がないからつまらないなと思ってそれ以外になんかないかなって本屋さんをふらふらしてたら python自動化 みたいな書籍がいっぱいあることに気がついた なるほど、もしかしたら仕事楽になるんじゃないかそんな思いから次の本を買った シゴトがはかどる

                            40代プログラミング初心者がpython始めて半年！独学で勉強が続いている理由と読んだ本 - Qiita

                          • 【令和最新版】令和のWebスクレイピング(クロール)【ベストプラクティス】

                            こんにちは、株式会社FP16で結構コードを書いている二宮です。 最近Webスクレイピングのコードを色々な方法で書いているので、そこで得た知見をここに残しておこうと思います。 ほぼ毎日なにかのWebスクレイピングコードを書いています。 Webスクレイピング手段 Webスクレイピングには色々な方法があります。 私が最近主に使っているのはこの5つの手段です。 cheerioでHTMLを解析 Playwrightなどで要素指定でデータを取得する APIを見つけて叩く（バックエンドとの通信を再現してデータを取得） LLMでサイト構造を解析してデータを取得する Next.jsからのレスポンスに含まれているデータを解析して取得する これが令和のWebスクレイピングのベストプラクティスだと思っています。 これらの方法を、目標に合わせて使い分けています。 使い分け方 CheerioでHTML解析 JavaS

                              【令和最新版】令和のWebスクレイピング(クロール)【ベストプラクティス】

                            • ç„¡æ–™Webクローラー「EasySpider」　プログラミングスキル不要、マウスクリックだけで操作可能

                              このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 シンガポール国立大学と中国の浙江大学に所属する研究者らが発表した論文「EasySpider: A No-Code Visual System for Crawling the Web」は、Excelを使用するように視覚的にWebスクレイピングタスクを設計し、実行できるカスタマイズ可能なWebクローラーシステムを提案した研究報告である。公式ページはこちら。 このシステムは、マウス操作のGUI（Graphical User Interface）を使用して提供されており、コーディングの経験がなくても使えるため、ノンプログラマーでも簡単にタスクを設

                                無料Webクローラー「EasySpider」　プログラミングスキル不要、マウスクリックだけで操作可能

                              • Twitter障害はスクレイピングではなく“自己DDoS”が原因？

                                Twitterのオーナー、イーロン・マスク氏は7月1日、Twitterでの“サービスの低下”の原因を「数百の組織がTwitterのデータを極度なレベルでスクレイピングしている」ことだとツイートしたが、原因は別のところにあるようだと、フリーランスのWeb開発者、シェルドン・チャン氏がMastodonの投稿で指摘した。 この“サービスの低下”で、多数のユーザーが投稿を読めなくなっている。マスク氏は2日、「極端なレベルのデータスクレイピングとシステム操作に対処するため」にユーザーが読める投稿数に制限を加えたとツイートした。 だがチャン氏は、異常なトラフィックの原因として、TwitterのWebアプリのバグにより、無限ループ状態でTwitterにリクエストが送信されていることを発見したと動画を添えて説明した。この動画では毎分数百件のリクエストが送信されていることが確認できる。 左の動画は、レートが

                                  Twitter障害はスクレイピングではなく“自己DDoS”が原因？

                                • 【無料公開】560万円かけて開発したサービスのソースコード

                                  ※月単価80万円を基準に、7ヶ月分の工数として560万円相当と換算しています。 最初に こんにちは！ 普段はIT企業でWebエンジニアとして働いています。 現在はフリーランスとして活動し、Ruby（Ruby on Rails）、TypeScript（Next.js, React）、Pythonなどを使って、フロントエンドとバックエンドの両方に携わっています。 将来はソフトウェアエンジニアとしてアーキテクチャ・設計について自ら意思決定した上、プロジェクトを推進する事が出来るようになりたいです。 そのためさらにスキルを磨いていきたいと思っており、日々技術に対して情熱を持って仕事に取り組んでいます。 以前Qiitaで 退職して560万円相当の工数をかけてお金を稼ぐサービスを開発した という事でBizRankというビジネス書籍を紹介するサービスを開発しました。 今回はその後としてのお話になります。

                                    【無料公開】560万円かけて開発したサービスのソースコード

                                  • 無料プランのはずがたった1日の利用で750万円をGoogleから請求された企業が破産寸前に

                                    ウェブサイトやアプリケーションを簡単に構築できるクラウドサービスは便利なものですが、その課金システムは非常に複雑です。通信量や利用した計算リソースに応じて課金する従量課金制のサービスもあれば、条件を満たすことで無料で利用できるサービスもあります。そんなクラウドサービスの無料プランを利用したつもりが、7万2000ドル(約750万円)を請求され倒産寸前に追い込まれたと、ベンチャー企業の創設者が当時の状況をブログに吐露しています。 We Burnt $72K testing Firebase + Cloud Run and almost went Bankrupt [Part 1] | Milkie Way https://blog.tomilkieway.com/72k-1/ We Burnt $72K testing Firebase - Cloud Run and almost went

                                      無料プランのはずがたった1日の利用で750万円をGoogleから請求された企業が破産寸前に

                                    • GitHub に漏れ出た内部コードを探す ~ 上場企業 3900社編 ~ - ぶるーたるごぶりん

                                      全１回、このシリーズは今回で最後です！ TL;DR 上場企業 3900 社程に対して、すごく大雑把な「内部コード等の漏洩調査」を GitHub 上で行った 結果としては、重要度の高いものから低いものまで 10社ほどで漏洩が確認された 重要度の高いものとして、社外秘っぽそうなスプレッドシート、社員のハッシュ化パスワード(BCrypt)、 AWS Credential 等 「大雑把な」調査を行ったが、より精度の高い方法等について記事内にて触れていく 脅威インテルとか DLP みたいなエリアとかも、外部企業とかに頼るだけじゃなく「自分たちでも」頑張ってみるのがいいんだと思います GitHub Code Search ... すげえぜ！ Google Dorks ならぬ、 GitHub Dorks + GitHub Code Search でまだまだいろいろできるはず。 はじめに チャオ！ 今回は

                                        GitHub に漏れ出た内部コードを探す ~ 上場企業 3900社編 ~ - ぶるーたるごぶりん

                                      • Open RSS

                                        Feeds served 320,401 We offer feeds for thousands of popular websites across the internet, and we won't stop until every corner of the internet has one. The more feeds we have, the closer we all get to ditching the intrusive, ad-invested algorithmic feeds that harm and manipulate us. So we can follow internet content on our own terms, in feeds that only we control. No algorithms Feed items are sor

                                          Open RSS

                                        • 個人開発した賃貸物件検索サービスのシステム構成と使用技術

                                          本記事で紹介している賃貸物件検索サービス Comfy は 2021/07/30 13:48 をもって閉鎖いたしました。使用していた物件データに関して、データの掲載元より利用許諾を得られなかったためです。本記事で紹介しているサービスが閲覧いただくことができなくなってしまい、大変申し訳ございません。本記事は、サービスに関する一部の内容を削除した上で、使用技術等に関する内容についてはいったんそのまま残しておきますが、近いうちに記事自体を削除するかもしれません。 ※ 2021/07/30 19:00 頃追記 こちらを見に来ていただいた方に、サービスが動いていた頃の動画を下記ツイートにアップロードしています。 サービスを直接お試しいただけない状態で申し訳ございませんが、少しでもサービスの雰囲気が伝われば幸いです。 下記、元の記事の内容です 個人開発で 賃貸物件検索サービス Comfy (上記サービス

                                            個人開発した賃貸物件検索サービスのシステム構成と使用技術

                                          • Python と Playwright でブラウザを自動操作させるコードを自動生成したよ - Qiita

                                            Playwright が昨年１年間で大幅パワーアップしていたので、使い方を確認したときの記録のまとめです。 ブラウザを自動操作できるということは、簡単なスクレイピングやブラウザ側のテスト自動化が簡単にできるようになります。 特に、Python での解説がまだまだ少なかったので、自分の学習を含めてまとめました。 今回は入門編ということで全体像をつかみつつ使用方法の流れを確認していただければありがたいです。 Selenium や Puppeteer を使っている方も、一度試す価値ありと思っています。 選定した理由 ブラウザのテストを Python で自動化したかったんです。 私なりの要件がありまして、非常にわがままな要件でしたが余裕ですべてクリアしました。 Python で書けること。社内で Python を使える方が多いので。pytest と連携してくれるとなおうれしい。 Docker コン

                                              Python と Playwright でブラウザを自動操作させるコードを自動生成したよ - Qiita

                                            • ChatGPT(GPT-4) で一撃でスクレイピングするコードを生成出来たので感想とコツ - Qiita

                                              今回やりたかったこと 目標：ChatGPT(GPT-4) で一撃でスクレイピングするコードを生成 するにはどうしたらいいのか、ChatGPT のハードルとかコツとかを知りたい。 ※最終的なプロンプトの入力と出力の全文は本ページ下部に貼り付けてます。 作ったもの概要 保険組合のウォーキングイベントの会社内の3チームの歩数進捗の slack への自動投稿 bot を作成しました。 処理は大きく2つに分かれています。 ウォーキングイベントサイトから歩数をスクレイピング＆スプシへアップロード スプシの GAS で投稿文字列作成＆ slack へ自動投稿 今回 ChatGPT でやったのは1の方です。 2は前回半年前開催分のコードをほぼそのまま流用しました。 運良く（？）今回のタイミングでウォーキングイベントのサービスサイトが変わり、 HTML がまるっと変わり1のスクレイピングコードは作り直しが必

                                                ChatGPT(GPT-4) で一撃でスクレイピングするコードを生成出来たので感想とコツ - Qiita

                                              • 各業界でのデータサイエンスの活用について調べてみた（随時追加） – かものはしの分析ブログ

                                                都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト 仕事で、いろんな会社でデータサイエンスってどう使われているのですか？と聞かれることがあり、自分としてはなんとなくしか掴めていないな、知ったかぶりしたくないなと思うところがあったので、やや手厚くリサーチをしてみようと思いました。 2022/3/6の段階では11つの市場しかないですが、最終的には30市場を目指します。 【2021/11/27追記】 公開したところ、それなりにこの記事に関心を持ってくださった方が多かったようなので、少しずつ事例を埋めていこうと思います。 業界

                                                  各業界でのデータサイエンスの活用について調べてみた（随時追加） – かものはしの分析ブログ

                                                • Windows10の無償デスクトップ自動化ツール「Power Automate Desktop」でWebブラウザーでの作業を自動化する

                                                  Power Automate Desktopは、自動化可能な作業の流れ（フロー）をデザインし、実行するためのソフトウェアです。第5回では、フローから簡単なExcel操作を行いました。第6回ではPower Automate Desktopフローからのブラウザー（Google Chrome）の操作を使用したフローをデザインします。 ［注意］今回はPower Automate Desktopの作業しているPCにExcelとGoogle Chromeがインストールされている前提としています。 対象読者 Excel／PowerPointなど、一般的なツールの操作を理解している人 RPAツールを用いて業務を自動化したい人 ブラウザー自動化アクション 日常作業で情報収集する場合、ブラウザーで情報を検索して、結果のページで情報を確認し、コピーして保存するという場面があります。例えば、 定期的にホームページ

                                                    Windows10の無償デスクトップ自動化ツール「Power Automate Desktop」でWebブラウザーでの作業を自動化する

                                                  • はてなアンテナは20周年を迎えました - はてラボ 開発者ブログ

                                                    2022/05/28（土）は、はてなアンテナのサービス開始20周年記念日でした。 2002/05/28 に、有限会社はてな（当時）は、創業サービスである人力検索はてなに続くサービスとしてはてなアンテナをリリースしました。 普段チェックしているホームページのアドレスを登録することで、サービスが自動的に巡回チェックしてくれるという機能は、ユーザが自分で巡回プログラムを配置しなければならなかった難しさを肩代わりするものとして人気を博し、多くの方々に利用いただきました。 サービス開始以来20年、個人ホームページの隆盛からブログや RSS およびフィードリーダーの勃興、ソーシャルネットワークへと個人や組織の発信・交流の場が変化する中、変わらぬ価値を提供するものとして、はてなアンテナはウェブを見つめ続けています。 最近大きな機能追加をしていないはてなアンテナですが、近年では 常時HTTPS化 インフラ

                                                      はてなアンテナは20周年を迎えました - はてラボ 開発者ブログ

                                                    • How to implement Japanese full-text search in Elasticsearch

                                                      全文検索は一般的に知られていますが、検索エクスペリエンスで非常に重要な役割を果たしています。ただし、日本語など、一部の言語では、全文検索を実装するのが難しい場合があります。このブログでは、日本語で全文検索を実装する際の課題を探り、Elasticsearchでこれらの課題を解決する方法をいくつか示します。 全文検索とは？ Wikipediaより、下記が定義となります。 全文検索とは、コンピュータにおいて、複数の文書（ファイル）から特定の文字列を検索すること。「ファイル名検索」や「単一ファイル内の文字列検索」と異なり、「複数文書にまたがって、文書に含まれる全文を対象とした検索」という意味で使用される。 全文検索は、現在多くのデジタル体験を強化するものです。全文検索は、データセット内に隠れている可能性のある単語やフレーズを見つけようとしてくれます。例えば、ネットショッピングして「phone」を検

                                                        How to implement Japanese full-text search in Elasticsearch

                                                      • 絶対に画像をダウンロード&スクレイピングさせないWebページを本気で作ってみた - blog.potproject.net

                                                        巷で話題になっているこの話題、画像をスクレイピングやダウンロードされたくないということで騒がれています。その話に関しては色々な意見があると思ってますがここでは置いておくとして・・・ 技術的にやるとしたら実際どれくらい対策できるの？ということが気になったので、自分の知識で出来る限り対策したものを作ってみることにしました。 最初に 賢い方はわかると思いますが、タイトルは釣りです。 絶対に画像をダウンロード&スクレイピングさせないページは存在しません。ソフトウェアにおいて絶対と言う言葉はまず存在しないのです。ブラウザで表示している以上、仕組みさえわかれば技術的には可能です。 そのため、 「元画像のダウンロードとスクレイピングを非常に困難にしたWebページを本気で作ってみた」 が実際のタイトルかなとなります。 とはいえ、この仕組みであれば大多数の人は機械的にスクレイピングすることを諦めるレベルの作

                                                          絶対に画像をダウンロード&スクレイピングさせないWebページを本気で作ってみた - blog.potproject.net

                                                        • Bardの衝撃。Bardはユーザから指示されたURLのページにアクセスできる。Webページの要約やスクレイピングも？ - Qiita

                                                          Google Bardが、日本からも利用できる様になりましたが、ChatGPTとの大きな違いがありました。 それは、ユーザが渡したURLにBardがアクセスができることです。 ChatGPTでは基本的にそういったことはできず、やれている様に見えても違った情報を返してしまっていました。 例えば、以下ページのURLを渡して要約してもらうと、返ってくるのは以下の様な返答になってしまいます。 アクセス先のページ ChatGPTからの返答 なんだか、違うページを読み込んでいそうです・・・完全に間違っています。 -- それに対し、Google Bardは正しくリンク先の記事を読み取って要約をしてくれました。 本当にリクエスト先のURLにアクセスをしているのか不安だったので、試しに先頭50文字出してといったらちゃんと出してくれました もしかしてスクレイピングができてしまうのか？と期待して、以下の様なリク

                                                            Bardの衝撃。Bardはユーザから指示されたURLのページにアクセスできる。Webページの要約やスクレイピングも？ - Qiita

                                                          • 非エンジニアの私が、プログラミングなしでWebスクレイピングした方法を伝えたい

                                                            非エンジニアの私が、プログラミングなしでWebスクレイピングした方法を伝えたい はじめに きっかけは、毎日の退屈な「コピペ作業」 週末になると毎週のように雪山に行く「Coopel」マーケティング担当です。シーズン中は週末が近くなると、仕事中も今雪降ってるのかなーと気になって仕方ありません。 私はこれまで、毎日気象庁のサイトを巡回して、積雪量をスプシに記録していました。1週間の積雪量が多かった地域のスキー場を目的地に選んで行くようにしていました。数十か所以上もある計測地点の、過去24時間の積雪量のコピペは骨の折れる作業で、「この時間がもっと他のことに使えたら…」Coopelのマーケティングの仕事にもっと時間が使えるのに、と何度思ったことか分かりません。 「自動化・効率化」という言葉が頭をよぎるたびに、「でも、プログラミングなんてできないし、エンジニアに頼む予算もない」と、すぐにかき消していま

                                                              非エンジニアの私が、プログラミングなしでWebスクレイピングした方法を伝えたい

                                                            • 生成AIの「URLを読む処理」について考えてみる。 - フジイユウジ::ドットネット

                                                              ここ最近、生成AIに要約などのURLを指定した参照処理ができない事が増えたので、それについての雑記です。 (雑記なので、専門的な調査や論考ではありません。もし、間違ってるところがあったら指摘は歓迎です。修正しますので優しく教えてください。) なお、本記事は心を込めて物理キーボードを叩いて書いた人間の手作りです(一部データ集計などAIに手伝ってもらってるはいるけど)ので、どうぞ安心して最後までお読みください。AIに書いてもらえなかったオチがあります。 下の画像は ChatGPT に NHKのニュースにアクセスしてもらおうとして「robots.txtで禁止されている」という理由で断られてるところ。生成AI系から記事へのアクセスができなくなっている。 どうも最近は robots.txtで生成AIからのアクセスをブロックしてるメディアが増えているみたい。 robots.txtはクローラー(ロボット

                                                                生成AIの「URLを読む処理」について考えてみる。 - フジイユウジ::ドットネット

                                                              • 7594591200220899443 on Twitter: "ひえーFacebook、Aタグの上でマウス押下した瞬間にhref書き換えてんのか！で次の瞬間マウスクリックするとその書き変わったURLを踏む https://t.co/7r8ZccLLnk"

                                                                ひえーFacebook、Aタグの上でマウス押下した瞬間にhref書き換えてんのか！で次の瞬間マウスクリックするとその書き変わったURLを踏む https://t.co/7r8ZccLLnk

                                                                  7594591200220899443 on Twitter: "ひえーFacebook、Aタグの上でマウス押下した瞬間にhref書き換えてんのか！で次の瞬間マウスクリックするとその書き変わったURLを踏む https://t.co/7r8ZccLLnk"

                                                                • 例のスクレイピングしてる不動産物件検索が復活・・・で、結局「不動産屋が悪で黒い」、という話に・・・Orz｜torum

                                                                  以前、「スクレイピングした物件データを利用した物件検索サービスは問題ないのか」で取り上げたサービスですが、再度リニューアルして復活した模様です。 あきらめずに再び立ち上がる根性があるのを見るのは大好きであります。 これが、また某所で少し話題になっていました。 「使いやすい」、と、多少の支持もあるようですね。大手不動産物件検索サイトの運営者も、自社のサービスに改善の余地があると自戒すべきことです。 ただ・・・ ・そもそもレインズを客に見せない不動産業界が黒い ・レインズ公開しちゃったら宅権協会の入会者が減って稼げなくなる ・レインズの閉鎖性はどうにかしたい。 ・レインズを囲ってる連中に喧嘩を売るのは危険 ・不動産事業者から刺されてもおかしくない だーかーらー ・・・ Orz そういう単純な話しでは無いのであります。詳しくは「レインズの情報を一般公開しない理由とは」と、「巷の「レインズの『オー

                                                                    例のスクレイピングしてる不動産物件検索が復活・・・で、結局「不動産屋が悪で黒い」、という話に・・・Orz｜torum

                                                                  • レインズの情報を一般公開しない理由｜torum

                                                                    本日、note運営から「あなたの記事が話題です！先週もっとも多く読まれた記事の一つになりました！」というメッセージを頂戴しました、ありがとうございます。先日の、「スクレイピングした物件データを利用した物件検索サービスは問題ないのか」であります。 その関連で色々な人の意見をつらつらと読んでいたところ、やはり、「レインズの情報を公開しろ」、というコメントが散見されました。いわゆるレインズのオープン化、と言われるやつですね。 レインズとそれにまつわるもろもろは、物凄く誤解が多く、適当な話しが出回り過ぎているので、本当にウンザリで、どれだけの人が分かって言っているのかは不明であります。 以前より、「レインズの情報は不動産ジャパンに掲載されている」みたいなデマは何度も何度も見かけます。「米国では一般でも普通にMLSを見れる」、みたいなデマも。 不動産や取引に係る情報は、機微な情報（売り主の特定に繋が

                                                                      レインズの情報を一般公開しない理由｜torum

                                                                    • 「スクレイピングうまくできた!」口コミ無断転用の会社、日報に詳細：朝日新聞

                                                                      保育士向けの職場紹介サイトで、園に関する口コミが他社サイトから大量に無断転用されていた。この紹介サイトを運営する東京都渋谷区の会社は、「スクレイピング」という手法を使って転用する経緯をネットのクラウ…

                                                                        「スクレイピングうまくできた!」口コミ無断転用の会社、日報に詳細：朝日新聞

                                                                      • ルーチンワークはPythonにやらせよう　Seleniumで勤怠処理を自動化する - Qiita

                                                                        Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

                                                                          ルーチンワークはPythonにやらせよう　Seleniumで勤怠処理を自動化する - Qiita

                                                                        • オンラインドキュメントと日本語全文検索

                                                                          自社では Sphinx というドキュメントツールを利用しているのですが、残念ながらこれに付属している検索機能の日本語検索はかなり厳しいです。また残念ながら Sphinx 開発側も検索周りを改善するという予定は直近ではないようです。 そして検索というのはとても難しい技術なため自分のような素人では導入して「普通に期待する動作」をさせるまでの距離はとても遠いです。 ただ、なんとかして日本語全文検索を実現したいという思いはここ10 年くらいずっと思っていました。これは自社の Sphinx テーマを作ってくれている社員ともよく話をしていたのですが、どうしてもリソースをつぎ込めずにいました。 まとめ日本語検索に対応している Meilisearch を採用したドキュメントスクレイパーの実行は GItHub Actions (Self-hosted Runner) を採用した自社 Sphinx テーマの検

                                                                            オンラインドキュメントと日本語全文検索

                                                                          • Browser Useを用いたブラウザ操作の自動化AIエージェント | DevelopersIO

                                                                            python 01agent.py INFO [browser_use] BrowserUse logging setup complete with level info INFO [root] Anonymized telemetry enabled. See https://github.com/gregpr07/browser-use for more information. INFO [agent] 🚀 Starting task: 今日の運勢について教えて INFO [agent] 📍 Step 1 INFO [agent] 🤷 Eval: Unknown - No prior goal was set. INFO [agent] 🧠 Memory: No actions have been taken yet. Current task is to find tod

                                                                              Browser Useを用いたブラウザ操作の自動化AIエージェント | DevelopersIO

                                                                            • idã‚’autoincrementして何が悪いの？

                                                                              idをautoincrementしない方が良い理由 こんにちは。株式会社プラハCEOの松原です。 最近プラハチャレンジの参加者とお話している際に 「PKのidはautoincrementするとして...」 とナチュラルにid=autoincrementするものという前提が見えたので、「本当にidをautoincrementしても良いものだろうか？」と気になったことを書いてみようと思います。もしフレームワークが自動的にautoincrementでテーブルを作るからなんとなく使っているという方がいたらご一読いただいた後、それでも連番を使いたい理由があれば教えて欲しいです・・！ 不必要に情報を晒すことになる スクレイピングされたり もしも僕が某大手に勤めているエンジニアで「競合サービスAにのってる物件情報、全部コピーして新しいサービス作ろうぜ」と指示されたらですよ？「人としてそれはやっちゃダメで

                                                                                idをautoincrementして何が悪いの？

                                                                              • Twitter、ログインしないと何も表示できない状態に　「一時的な緊急措置」とマスク氏

                                                                                6月30日深夜ごろ（日本時間）から、アカウントにログインせずにTwitterにアクセスしようとすると、コンテンツが表示されなくなっている。Webアプリだけでなく、モバイルアプリでも同様だ。以前は一般公開されたツイートが表示できていたが、現在はTwitterにログインあるいは新規にアカウントを登録するよう求める画面にリダイレクトされる。

                                                                                  Twitter、ログインしないと何も表示できない状態に　「一時的な緊急措置」とマスク氏

                                                                                • browser-useによるブラウザ操作自動化のサンプル集

                                                                                  はじめに browser-use を使う上で詳しいドキュメントがなかったので、自分で使ってみたことをまとめてみました。 browser-use の基礎的なところは以下にまとめてあります。 ブラウザを起動させず、ヘッドレスモードで実行したい BrowserConfigのheadlessをTrueにすることで、ブラウザを起動させず、ヘッドレスモードで実行することができます。 from browser_use.browser.browser import Browser, BrowserConfig browser = Browser( config=BrowserConfig( headless=True, ) ) async def main(): model = ChatOpenAI(model='gpt-4o') agent = Agent( task='東京の天気をGoogleで調べて

                                                                                    browser-useによるブラウザ操作自動化のサンプル集
                                                                                  1 2 3 4 5 6 7 次のページ

                                                                                  新着記事

                                                                                  はてなブックマーク

                                                                                  公式Twitter

                                                                                  はてなのサービス

                                                                                  • App Storeからダウンロード
                                                                                  • Google Playで手に入れよう
                                                                                  Copyright © 2005-2025 Hatena. All Rights Reserved.