総務省 ICTスキル総合習得プログラム

2018/07/18 2277 users 総務省 ＩＣＴ 教材 ウェブサイト データ蓄積

このウェブサイトでは、ICT（情報通信技術）に関する教材の「総務省 ICTスキル総合習得プログラム」をオープンデータとして提供します。「総務省 ICTスキル総合習得プログラム」は、各5講座から成る4つのコース（[1]データ収集、[2]データ蓄積、[3]データ分析、[4]オープンデータ・ビッグデータ利活用事例）によって構成... 続きを読む

Smoozのサービス終了のお知らせ | Smooz Blog

2020/12/23 851 users Smooz セキュリティ Smooz Blog たび 当社

このたび、当社が運営するブラウザアプリである『Smooz（スムーズ）』において、ご利用者の情報の取扱い、データ収集、及びセキュリティについてご利用者をはじめとする皆様に、多大なご迷惑とご心配をおかけしておりますことを、深くお詫び申し上げます。 状況の確認と対策、原因調査を進めてまいりましたが、Smoozの提... 続きを読む

【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ～Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた～ -

2017/11/12 811 users スクレイピング Selenium Pytho pandas

やりたいこと はてなブックマークで、Python記事を検索しトレンドを分析 はてなブックマークにSeleniumでログイン ブックマーク数をスクレイピング 時系列比較を行う バズるタイトルを分析 実装方法 詳しくは下記記事を参考にしてください。Pandasを利用したデータ分析まで載せています。 【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ～Pytho... 続きを読む

ExcelでPowerQueryを使ってデータ収集分析 - Qiita

2017/06/17 610 users Qiita Powe VBA ACCESS 数式

はじめに Excelにデータを集めようとするとき、数式とVBAを駆使して行う方法が一般的です。 キーを使って複数のデータを結合するときには、Accessなども用いられます。 ですが、データが増えてくると下記のような課題が発生してきます。 収集に必要な手順が増え、数式やVBAが複雑化する データ収集に長い時間がかかる サイズが巨大化して格納しきれなくなる これらの課題を解消するツールとして Powe... 続きを読む

【格ゲー】『俺を獲れ』ウメハラがデータ収集のGeminiさんに厳しい対応をしていた理由が判明！「オレ自身が自分のプレイをデータ収集に近い感じでSF4から見てた」「だからこそ言いたい。

2023/07/10 432 users ウメハラ ストリートファイター ウメハラさん 格ゲー 判明

ストリートファイター6 格ゲーマートーク 【格ゲー】『俺を獲れ』ウメハラがデータ収集のGeminiさんに厳しい対応をしていた理由が判明！「オレ自身が自分のプレイをデータ収集に近い感じでSF4から見てた」「だからこそ言いたい。メチャレベル低いすよって」 今回は、先日おこなわれたウメハラさんの企画「俺を獲れ」での... 続きを読む

データ収集からディープラーニングまで全て行って競馬の予測をしてみた - Qiita

2019/11/18 351 users Qiita 馬券 ディープラーニング 予測 競馬

概要 某T大学で情報系を専攻している学生です。Qiitaの記事を色々見ていたら、こんな記事を発見。 ディープラーニングさえあれば、競馬で回収率100%を超えられる この記事の回収率100%達成に関しては、購入シミュレーションした馬券の数が少ないので、他の期間でも成立するのかはわかりません。ソースコードも有料なので... 続きを読む

無料の音声編集ソフト「Audacity」が「法執行に必要なデータを収集する」と発表、開発者は「データ収集なしのAudacityのフォーク」に着手 - GIGAZINE

2021/07/05 316 users Audacity GIGAZINE 当局 着手 フォーク

無料で使えるオープンソースの音声編集ソフト「Audacity」が、ユーザーの個人情報を収集・使用する新しい方法についてまとめた「プライバシーポリシー」を公開しました。このプライバシーポリシーによると、Audacityはユーザーのプライバシーを最大限に順守するものの、「法執行、訴訟、当局からの要請があったデータに... 続きを読む

「Pythonクローリング&スクレイピング」という本を書きました - orangain flavor

2016/11/23 296 users orangain flavor クローリング Python

2016 - 11 - 23 「Pythonクローリング&スクレイピング」という本を書きました book python scraping Python を使ってクローリング・ スクレイピング を行い、データを収集・活用する方法を解説した書籍です。 Python の基本から、 サードパーティ ライブラリを使った スクレイピング 、様々なサイトからのデータ収集・活用、 フレームワーク Scrapyの使... 続きを読む

データ収集の基本と「JapanTaxi」アプリにおける実践例

2020/08/19 282 users fetaro JapanTaxi 徹太郎 実践例 アプリ

データ収集の基本と「JapanTaxi」アプリにおける実践例 1. Mobility Technologies Co., Ltd. Data Engineering Study #2 データ収集の基本と 「JapanTaxi」アプリにおける実践例 株式会社 Mobility Technologies 渡部 徹太郎 2020/8/19 2. Mobility Technologies Co., Ltd. 自己紹介 2 ID ：fetaro 名前：渡部 徹太郎 学... 続きを読む

日本の労働分配率はこの30年で２割減、アメリカの３倍も激減＝日本企業の内部留保は過去最高で貧困は過去最悪 | editor

2015/10/24 241 users グラフ 主要国 データ Editor 仕事

ＯＥＣＤ東京センターでデータ収集の仕事をしていて気がついたデータを紹介しておきます。（このシリーズってどこまでも続きそうですが(^▽^;)上のグラフは、主要国の労働分配率のグラフです。ＯＥＣＤ東京センターでデータ収集の仕事をしていて気がついたデータを紹介しておきます。（このシリーズってどこまでも続きそうですが(^▽^;) 上のグラフは、主要国の労働分配率のグラフです。日本の労働分配率がいちばん高か... 続きを読む

マスク氏 ツイッター“閲覧回数に制限” データ収集などに対応 | NHK

2023/07/01 235 users ツイッター NHK マスク氏 制限 閲覧回数

アメリカの起業家、イーロン・マスク氏は1日、ソーシャルメディア大手ツイッターについて、アカウントの種類に応じて一時的に閲覧回数の制限を設けていると自身のツイートで明らかにしました。 インターネット上の不正な操作の急増に対応するためだとしてますが、制限の期間などを明らかにしておらず、混乱が広がってい... 続きを読む

悩める Web スクレイパーのための一冊 - 技術評論社『Python クローリング & スクレイピング』 - Witch on the Other Shore

2016/12/18 199 users スクレイパー スクレイピング 恵贈 本書 一読

2016 - 12 - 18 悩める Web スクレイパーのための一冊 - 技術評論社『Python クローリング & スクレイピング』 このたび、縁あって『加藤耕太 (2016). Python クローリング & スクレイピング データ収集・解析のための実践開発ガイド, 技術評論社』(以下、本書) を恵贈賜りました。 著者並びに出版社の皆様にお礼とご慰労をかねまして、僭越ながら本エントリにて一読... 続きを読む

当社ペンタブレット製品によるデータ収集についてのお知らせ | News and Events | Wacom

2020/02/07 197 users ドライバ Wacom プログラム アメリカ メディア

2020年2月5日にアメリカで掲載されたブログ記事および日本のメディアに掲載された翻訳記事をお読みになった方からお問い合わせをいただいております。 「Wacom Experience Program（ワコム・エクスペリエンス・プログラム）」において実施している、当社ペンタブレット製品のドライバによるデータ収集については、ご説明... 続きを読む

チャットGPT、イタリアでアクセス停止に　データ収集など「違法」：朝日新聞デジタル

2023/03/31 165 users チャットGPT chatgpt 朝日新聞デジタル イタリア

イタリアのデータ保護当局は3月31日、対話型AI（人工知能）「ChatGPT（チャットGPT）」への利用者のアクセスを停止したと発表した。現状での膨大な個人情報の収集や利用者の年齢確認の未整備が、同国の個人情報保護法に違反すると判断したという。運営する米国の新興企業「オープンAI」は、約30億円相当の罰金を科される... 続きを読む

『兵庫県警が利用者に黙ってGoogle Analyticsを使ってJavaScriptで個人情報をGoogleに取得させている。不正なプログラムを仕込んでいる』とネットユーザが指摘→GAのコードが全ページから削除さ

2019/03/08 159 users cookie ネットユーザ ポリシー プライバシー お客様

兵庫県警が利用者に黙ってGoogle Analyticsを使ってJavaScriptで個人情報をGoogleに取得させている。不正なプログラムを仕込んでいる。 『プライバシー ポリシーで、お客様がデータ収集のために Cookie を使用していることを必ず通知する』Google アナリティクス利用規約より police.pref.hyogo.lg.jp 続きを読む

自衛隊用語「状況開始」を最初に誤用した犯人を捜しています。 | アニメ・声優のQ&A【OKWave】

2013/03/31 153 users メカニック 機体 八咫烏 無線 テストパイロット

パトレイバー２を見返したので回答したいと思います。 泉ノアがテストパイロットをしている機体がデータ収集の為のテスト（訓練ではないと思います）が終わったときにメカニック？が、無線？で「状況終了」といっています。 また、劇中53:17あたりで自衛隊ヘリが「八咫烏（やたがらす）よりサクバ？、カムヤマト？の通過を確認、送れ」といっています。 「状況終了」と「送れ」を使っているのでそれなりの取材をしたのだと... 続きを読む

あらゆるミュージシャンが「みなし分配」による不利益を被ることがないよう、透明性の高い分配の実現を目指す〜日本音楽制作者連盟 理事長 野村達矢氏インタビュー | Musicman

2023/08/04 106 users 現行 分配方法 Musicman 音制連 日本音楽制作者連盟

あらゆるミュージシャンが「みなし分配」による不利益を被ることがないよう、透明性の高い分配の実現を目指す〜日本音楽制作者連盟 理事長 野村達矢氏インタビュー 日本音楽制作者連盟（以下 音制連）が、現行の商業用レコード二次使用料の分配方法に対して、改めて強い疑義を呈している。音制連は、データ収集の仕組み... 続きを読む

超高層ビル、Ｍ９で揺らす実験…高さ３分の１で : 科学 : YOMIURI ONLINE（読売新聞）

2013/04/18 89 users YOMIURI ONLINE 読売新聞 実験 超高層ビル 科学

超高層ビルは巨大地震にどこまで耐えられるのか――。 京都大学などは今年、実物の３分の１の大きさのビルを造り、国内にある世界最大の震動実験施設で崩壊するまで揺らす実験を行う。巨大地震に特有の揺れに対する超高層ビルの強度については不明な点が多く、これが初めてのデータ収集になる。実験には大手ゼネコンなど６社も参加し、実験結果を耐震設計などに役立てる。 建築基準法に基づく告示では、高さが６０メートルを超え... 続きを読む

ネットレイティングス、「mixi」の利用者急増などを指摘

2006/05/26 89 users ネットレイティングス 変貌 mixi 実態 指摘

ネットレイティングスは26日、同社のインターネット視聴率調査結果をもとに、「インターネットの変革・マーケットの変貌」と題した記者説明会を行なった。 　ネットレイティングスでは、2000年からインターネットの利用動向に関するデータ収集を開始しており、この6年間に渡るインターネット利用の実態を総括するとともに、Web 2.0によって、変革するインターネット業界の状況などについて説明した。 ● Web ... 続きを読む

再稼働の川内原発「噴火しても影響ない」　NHKニュース

2015/08/15 76 users 川内原発 桜島 送電 態勢 噴火警報

今月１１日に再稼働し、１４日発電と送電を開始した鹿児島県にある川内原子力発電所１号機は、桜島から５０キロ余りの距離にあります。 桜島の噴火警報レベルがレベル４に引き上げられたことについて、九州電力は「仮に噴火したとしても、影響はないと考えていて、特別な態勢などは取ってはいない。ただ、注意深くデータ収集などを行っていきたい」と話していて、計画どおり、発電の出力を上げるための作業を進めているということ... 続きを読む

Amazon Web Services ブログ: すべてのデータはAWSに通ず: Fluentdを介したストリーミングアップロード

2014/08/18 73 users fluentd データストレージ AWS 御馳走 Jeff

本日は、特別な御馳走があります! Treasure Dataの田村清人氏がFluentdを紹介する顧客向けに本当に面白い記事を記載しています。データを収集し、蓄積し、加工するAWSサービスの広い多様性において、Fluentdをどのように使うことができるのかを示しています。 -- Jeff; データストレージは安い、データ収集はそうではない！ データストレージは、信じられないほど安くなりました。安い... 続きを読む

Pythonクローラー本の決定版か！？　『Pythonクローリング&スクレイピング』 - プログラマでありたい

2016/12/25 67 users プログラマ Pythonクローリング&スクレイピング 作者

2016 - 12 - 25 Pythonクローラー本の決定版か！？　『Pythonクローリング&スクレイピング』 Pythonクローリング&スクレイピング を頂きました。ありがとうございます。まだざっとしか読んでいませんが、Pythonのクローラー本で一番バランスが良いのではないでしょうか？ Pythonクローリング＆スクレイピング ―データ収集・解析のための実践開発ガイド― 作者: 加藤耕太 ... 続きを読む

Webからのデータ収集の入門書としておすすめ「Pythonクローリング＆スクレイピング［増補改訂版］」 - Sansan Builders Box

2019/08/28 64 users Pythonクローリング&スクレイピング 増補改訂版 同僚

こんにちは。 DSOC R&D グループの高橋寛治です。 つい先日に同僚の加藤が執筆した書籍「Pythonクローリング＆スクレイピング［増補改訂版］―データ収集・解析のための実践開発ガイドー」の改訂版が発売されました。 gihyo.jp 私が業務でPythonを用いたクローリングおよびスクレイピングに取り組んでいることもあり、改... 続きを読む

iOSの「マップ」アプリが渋滞状況の表示に対応 - Touch Lab - タッチ ラボ

2011/12/11 53 users iOS 渋滞 縮小 精度 Touch Lab

Android向けではありますが、こちらのわかりやすい動画をどうぞ。iOSに標準の「マップ」アプリで交通状況をみるには、画面右下のボタンをタップし、「渋滞状況を表示」を選択します。 渋滞状況は首都圏だけでなく、日本全国の一般道・高速が対象。データ収集の仕組み(後述)により、ユーザーの多い都市部の方が精度が高くなるようです。渋滞の状況はマップアプリにレイヤーとして追加されるため、マップの拡大・縮小も... 続きを読む

Excel VBAでIEを思いのままに操作できるプログラミング術 Excel 2013/2010/2007/2003対応【委託】 - 達人出版会

2013/05/16 46 users 外観 執筆 委託 Excel VBA 部品

IEを思い通りに操作するノウハウが満載！ IEの外観や部品を制御する基本編から、食べログのデータ収集やYahoo!メールの自動送信など、実際のWebサイトを操作できる応用編までを解説。マイクロソフトMVPを受賞した著者陣らが執筆！ サポートサイト出版社による関連ページが公開されています。 Excel VBAでIEを思いのままに操作できるプログラミング術　Excel 2013/2010/2007/2... 続きを読む