【機械学習】機械学習を用いたin silico screening【AI創薬】~第2/5章 スクレイピングによる公共データベース（PDB)からの機械学習データを収集~ - LabCode

2024/01/31 30 users SCREENING pdb LabCode 標的 AI創薬

本記事はAI創薬の一つである機械学習を用いたin silico screeningについて書かれた記事です。第5章まであり、すべての内容が理解できると、目的の標的にあった薬物候補化合物を発見することができます。こちらの記事は第2章で、スクレイピングによる公共データベース（PDB)からの機械学習の学習データを収集となります。... 続きを読む

読売新聞、Web記事の“生成AIへの学習利用”を禁止に　利用規約を改定　スクレイピングなどもNG

2024/01/25 30 users 生成AI 改定 テキストマイニング 読売新聞 クローリング

読売新聞社は1月25日、Webメディア「読売新聞オンライン」の利用規約を改定すると発表した。掲載記事を生成AIなどに学習させる行為などを新たに禁じる。2月1日から適用する。 禁止事項として新たに3点を追加。「データマイニング、テキストマイニングなどのコンピュータによる言語解析行為」「クローリング、スクレイピ... 続きを読む

「☆→@に変更」などのメールアドレス難読化手法はChatGPTで簡単に突破できてしまう

2023/11/06 7 users chatgpt アットマーク abc123 テクニック 難読化

SNSのプロフィール欄などにメールアドレスをそのまま載せると、スクレイピングにより収集されて迷惑メールを送られるなどの被害に遭ってしまうため、「abc123☆mail.com(☆をアットマークに置き換えてください)」というような難読化がよく使われています。しかし、このテクニックはChatGPTで簡単に回避できてしまうと、AI... 続きを読む

Twitter制限・第2報——Twitterから公式声明が出るが、そもそも制限理由が不可解との指摘｜星 暁雄（ITジャーナリスト）

2023/07/05 5 users Twitter 暁雄 Twitter閲覧制限 星暁雄 指摘

[ 星暁雄の仕事はこちら ] ここ数日続く大規模なTwitter閲覧制限について、前回記事の後の動きをメモにまとめた。 Twitterから公式声明が出るも、疑問は解消されず7月5日、Twitterが公式声明を出した。 英文　Update on Twitter's Rate Limits 日本語  Twitter Rate Limitsに関するアップデート 「スクレイピング（Webサ... 続きを読む

「情報はタダじゃない」訴える意図？　Twitter閲覧制限　“スクレイピング”…サーバー負荷にマスク氏不満か

2023/07/04 6 users Twitter Twitter閲覧制限 サーバー負荷 意図

「情報はタダじゃない」訴える意図？　Twitter閲覧制限　“スクレイピング”…サーバー負荷にマスク氏不満か 突然Twitterの閲覧に制限をかけたマスク氏。そこには、生成AIの開発で情報をかき集められることと、大量のデータ抽出でサーバーに大きな負荷がかかることへの不満があるとみられています。専門家によると、制限は... 続きを読む

Twitter障害はスクレイピングではなく“自己DDoS”が原因？

2023/07/01 491 users Twitter Twitter障害 Mastodon パク

Twitterでは現在、サービスの低下対策としてユーザーが読める投稿数に制限がかけられている。オーナーのマスク氏はこの問題の原因をスクレイピングだとしているが、Web開発者のチャン氏はTwitterのバグが原因のようだとMastodonで指摘した。 Twitterのオーナー、イーロン・マスク氏は7月1日、Twitterでの“サービスの低下... 続きを読む

Twitter、ログインしないと何も表示できない状態に　「一時的な緊急措置」とマスク氏

2023/06/30 250 users Twitter twitte 措置 緊急措置 オーナー

ログインせずにTwitterにアクセスしようとすると、タイムラインを表示できなくなった。ログインあるいはアカウント新規登録を促す画面にリダイレクトされる。オーナーのマスク氏は「スクレイピングに対抗するための一時的な措置だ」とツイートした。 6月30日深夜ごろ（日本時間）から、アカウントにログインせずにTwitte... 続きを読む

Bardの衝撃。Bardはユーザから指示されたURLのページにアクセスできる。Webページの要約やスクレイピングも？ - Qiita

2023/05/12 300 users Bard Qiita chatgpt 要約 ユーザ

Bardの衝撃。Bardはユーザから指示されたURLのページにアクセスできる。Webページの要約やスクレイピングも？ Google Bardが、日本からも利用できる様になりましたが、ChatGPTとの大きな違いがありました。 それは、ユーザが渡したURLにBardがアクセスができることです。 ChatGPTでは基本的にそういったことはできず、や... 続きを読む

便利なPythonツールがてんこ盛り、Anacondaでスクレイピングに挑戦

2022/11/15 8 users Anaconda アナコンダ テンコ盛り Python 本稿

Pythonの開発環境にはいくつかの種類があり、代表的なのが「Anaconda」（アナコンダ）だ。Anacondaの概要やインストール方法、基本的な使い方を紹介する。 Anacondaを使って、プログラムを作りましょう。Anacondaには様々なツールが同梱されており、開発するプログラムの内容に応じて、使いやすいツールを選べます。本稿... 続きを読む

neue cc - .NET 6とAngleSharpによるC#でのスクレイピング技法

2021/12/04 32 users 有様 neue cc 去年 NET 6 2個

.NET 6とAngleSharpによるC#でのスクレイピング技法 2021-12-04 C# Advent Calendar 2021の参加記事となっています。去年は2個エントリーしたあげく、1個すっぽかした（！）という有様だったので、今年は反省してちゃんと書きます。 スクレイピングに関しては10年前にC#でスクレイピング:HTMLパース(Linq to Html)のため... 続きを読む

Clubhouseからスクレイピングされたユーザーデータ130万件も無料公開 - ITmedia NEWS

2021/04/12 36 users Facebook Clubhouse LinkedIn スク

Facebookの5億3300万人、LinkedInの5億人に続き、Clubhouseの130万人のユーザーデータもスクレイピングにより集められ、同じハッカーフォーラムで公開されたと報じられた。Clubhouseは「われわれのAPIを使えば誰でもアクセスできるもの」とツイートした。 米Clubhouseの個人データ約130万件が、米Facebook、米Microsoft... 続きを読む

Python と Playwright でブラウザを自動操作させるコードを自動生成したよ - Qiita

2021/02/14 341 users Qiita playwright Python 大幅パワー

Playwright が昨年１年間で大幅パワーアップしていたので、使い方を確認したときの記録のまとめです。 ブラウザを自動操作できるということは、簡単なスクレイピングやブラウザ側のテスト自動化が簡単にできるようになります。 特に、Python での解説がまだまだ少なかったので、自分の学習を含めてまとめました。 今回は... 続きを読む

［文章生成］スクレイピングで青空文庫からデータを取得してみよう：作って試そう！　ディープラーニング工作室（1/2 ページ） - ＠IT

2021/01/28 10 users ディープラーニング工作室 青空文庫 文章生成 データ ページ

今回の目的 前回までは画像処理についていろいろと試してきました。今回からは数回に分けて、自然言語処理（Natural Language Processing）について学んでいく予定です。ここ数年、機械学習の世界においてはTransformerやGPT-x、BERTなどなど、さまざまな技術が生み出されて、自然言語処理の分野が活況を呈しています。... 続きを読む

SNS「Parler」に投稿された100万本・80TBの映像をメタデータ付きでハッカーが取得したことが判明 - GIGAZINE

2021/01/12 21 users GIGAZINE Parler メタデータ ハッカー 判明

投稿内容の管理やチェックを運営が行わないことを明言しているSNS「Parler」に投稿されたムービー合計109万8522本を、ハッカーがスクレイピングで取得したことを明らかにしています。取得された映像は、SNS公開用に処理されたものではなく、アップロード時点の未処理ファイルで、メタデータも残った状態だとのことです。... 続きを読む

ハローワークの求人情報をスクレイピング（Python + Selenium + BeautifulSoup） - ai_makerの日記

2020/11/11 296 users Selenium beautifulsoup go.jp

この記事は、以下のハローワークインターネットサービスから求人情報を自動で取得する試みを記録したものです: www.hellowork.mhlw.go.jp まずは、ソースコードと実行結果をお見せし、後ほどこの記事を書いた経緯などを話します。 ソースコード：HelloWork_Scraping_ST.py from selenium import webdriver from selenium... 続きを読む

Google『reCAPTCHA』を突破！『2Captcha』でブラウザ操作の完全自動化に挑む - Qiita

2020/11/07 255 users 難所 reCAPTCHA Qiita 目次 ロボット

目次 はじめに 2Captchaとは 2Captchaの使用準備 Python+Selenium+2Captchaで『reCAPTCHAv2』を突破 さいごに 参考 はじめに スクレイピングやブラウザ操作の自動化タスクにおける一番の難所は各種キャプチャの突破だと思います。そもそもキャプチャ機能はロボット操作されないために設置するものなので，それを突破しよ... 続きを読む

Node でお手軽スクレイピング 2020 年夏 - Qiita

2020/07/20 497 users Qiita ライブラリ API node web

皆さんは Web ページのスクレイピングって書いた事ありますか？私はあります。だってどんなに平和で平穏な生活を送っていても数年に一度はスクレイピングってしたくなりますよね。「うわーまじか！API ないのかよ…。」的な。 そうしたら HTTP クライアントと HTML パーサのライブラリを探してきてインストールした上でご... 続きを読む

画像をブックマークできるSNS「Pinterest」がGoogle画像検索の表示ランキングを故意に上げていると判明 - GIGAZINE

2020/07/03 22 users GIGAZINE Pinterest 必須 SEO 故意

by Gustavo da Cunha Pimenta ウェブサイトのアクセス数を増やすためには、検索エンジン最適化(SEO)が必須です。インターネット上の画像をブックマークするソーシャルメディア・Pinterestが高度なSEO技術を駆使し、検索データを取得する「スクレイピング」によってGoogle検索の表示ランキングを上げていると、SEOの自動... 続きを読む

100日後にエンジニアになるキミ - 77日目 - プログラミング - 機械学習について2 - Qiita

2020/06/05 13 users Qiita 言語処理 キミ プログラミング エンジニア

昨日までのはこちら 100日後にエンジニアになるキミ - 76日目 - プログラミング - 機械学習について 100日後にエンジニアになるキミ - 70日目 - プログラミング - スクレイピングについて 100日後にエンジニアになるキミ - 66日目 - プログラミング - 自然言語処理について 100日後にエンジニアになるキミ - 63日目 - プ... 続きを読む

【python失敗談】condaでpipを使用する - 青森活性化ブログ

2020/05/16 25 users pip conda 結論 事例 事実

結論：通常 Jupter nootbookでpipは動かせないそうです。（動かす方法はあるそうです） 本記事はその事実を誤解した私の体験談です。 同じようなトラブルが起こっている人は参考にしてみて下さい。 私の事例：Jupter nootbookでpipが使えない！ スクレイピングというWebサイトを取り込む技術があります。 「これを使って... 続きを読む

pythonを使った株価の自動収集 - Qiita

2020/02/18 465 users Qiita TensorFlow Keras Python

はじめに 最近、株価を予想するAIを作って欲しいということで、全くいい精度がでる期待もなかったが作ることにした。 過去にkerasやtensorflowを使ってAIを作ったことがあったが、株価を集めることはしたことがなかったのでやり方をまとめておく。 ビックデータを使いこなすにはスクレイピングやAPIの扱いになれなくては... 続きを読む

［Python入門］Beautiful Soup 4によるスクレイピングの基礎 (1/2)：Python入門 - ＠IT

2019/10/18 46 users Scraping Python入門 モジュール ライブラリ

連載目次 前回は、urllib.requestモジュールを利用して、Webからファイルを取得する方法の基本を見た。今回は、このモジュールを使って得たHTMLファイルからBeautiful Soup 4というライブラリを使って必要なデータを抜き出す方法を見てみよう。 スクレイピングとは スクレイピング（scraping）とは、Webサイトに表示され... 続きを読む

技術書典ではてなや増田をスクレイピングする薄い本を出します - はてな村定点観測所

2019/09/19 46 users 増田 スク 書名 API 本書

技術書典で168ページの薄い本を出します 9月22日に開催される技術書典7で、はてなブックマークや増田をPython3でスクレイピングするテクニックなどを解説した同人誌を出します。書名は『スクレイピング・ハッキング・ラボ』です。全168ページの薄い本です。 本書では、はてなブックマークからRSSやAPIでは取得できない人... 続きを読む

Webからのデータ収集の入門書としておすすめ「Pythonクローリング＆スクレイピング［増補改訂版］」 - Sansan Builders Box

2019/08/28 64 users Pythonクローリング&スクレイピング 増補改訂版 同僚

こんにちは。 DSOC R&D グループの高橋寛治です。 つい先日に同僚の加藤が執筆した書籍「Pythonクローリング＆スクレイピング［増補改訂版］―データ収集・解析のための実践開発ガイドー」の改訂版が発売されました。 gihyo.jp 私が業務でPythonを用いたクローリングおよびスクレイピングに取り組んでいることもあり、改... 続きを読む

スクレイピングの最強ツールはGoogle Spreadsheetで決まり！面倒な情報収集はGoogle Spreadsheetにやらせよう！ | DAINOTE

2019/07/18 1033 users DAINOTE Google Spreadsheet

毎日同じような作業でこのように思っている人はいないでしょうか。 あ～毎日ネットにアクセスして、同じデータ収集するの面倒くさいなぁ こういう退屈な作業、自動でやってくれないかな でもプログラミングできないしなぁ。勉強すんのも面倒くさいなぁ。 そんな人に朗報です。今回は、プログラムをかけない人でも、ネッ... 続きを読む