Python並行・並列処理を整理する (入門) - Qiita

2024/08/04 13 users Qiita GIL モノリシック ワークロード 並列処理

概要 大量データに関するワークロードを、モノリシックに解決する場合、並行・並列処理の知識は活用できます 但し、一般にPythonにはGILが存在するため、正しい挙動を抑えておきたい所です 内容 Pythonにおける並行処理・並列処理 プロセス = OSが管理する実行単位 (CPUコア毎) スレッド = プロセス内の軽量な実行単位 (... 続きを読む

知っていますか？Pandasをノーコーディングで高速化（CPU環境でも）できるらしい - Qiita

2023/12/20 82 users Qiita pandas 高速化 無償 ベータ版

はじめに Pandasで大量データを扱って処理時間にイライラしたことはないでしょうか？ なんと、Pandasを従来のコードを変えずに高速化するライブラリィが出たみたいです。 NEC研究所が出したFireDucks 🔥🐦 というライブラリィで、ベータ版が無償公開されています。 しかも CPU環境でも高速化されるみたいです。詳細は下... 続きを読む

ハッカーは盗んだShimanoの大量データをオンラインで公開している

2023/11/26 139 users SHIMANO ランサ クランク ハッカー リコール

Shimanoはハッカーに攻撃され、機密データを公開すると脅迫されていた。 Shimanoは、機密データ流出を脅かす大規模なランサムウェア攻撃を受けているShimanoは踏んだり蹴ったりとなっている。まずは、クランクの破損などでリコールから訴訟問題となっている。 2023年上半期の売り上げも落ちていた。さらに、今度はランサ... 続きを読む

50TBの記憶容量を誇る磁気テープが開発される！ - ナゾロジー

2023/10/07 41 users ナゾロジー ビデオテープ 磁気テープ カセットテープ 記憶容量

昔は誰もが、音楽を聴く「カセットテープ」、テレビを録画する「ビデオテープ」を使っていましたが、現在では中古品を見つけることさえ苦労します。 一世を風靡したこれら磁気テープは、「もう古い」のでしょうか。 実はそうではありません。最新技術を用いた磁気テープは、情報で溢れる現代社会における大量データの保... 続きを読む

大量データの JSON serialize 処理を高速化し、レスポンスが倍速になった話 - freee Developers Hub

2022/04/27 167 users レスポンス freee Developers 倍速 処理

こんにちは、freee会計でワークフロー機能の開発をしている @mitubaEX です。 先日 freee会計のパフォーマンスチューニングに取り組みました。本記事では、調査の流れ、改善の事例を紹介します。 問題発覚までの流れ freee では自社の経理業務に freee会計を利用しており、その中でも経費精算の機能はほぼすべての従業員... 続きを読む

vim-ripgrepを作った話

2022/02/23 11 users grep Vimmer ルーチン アーキテクチャ 背景

結論 kyoh86/vim-ripgrep を作りました。 背景 使い勝手の問題 個人的に、ちょっといわゆる"プログラミング"（？）からは横にそれた作業をすることが多くなっています。 運用作業 アーキテクチャの見直し 大量データの確認 ... そういう作業をしていると、 Vimmer としては Grep → Quickfix で旅をするというルーチンが... 続きを読む

岩田健太郎 Kentaro Iwata on Twitter: "もうとっくに予測していたことだがFAXの代わりとなるHER-SYSは入力者のこと全く考えずひたすら研究者目線で大量データ要求するものに。A-netの再来か。　https

2020/07/18 8 users HER－SYS 再来 FAX https t.co

もうとっくに予測していたことだがFAXの代わりとなるHER-SYSは入力者のこと全く考えずひたすら研究者目線で大量データ要求するものに。A-netの再来か。　https://t.co/eW2N6t7vBu 続きを読む

BigQueryの監査ログは役に立つ | PLAID engineer blog

2019/06/13 34 users BigQuery 原田 集計 監査ログ トラブル時

BigQueryの監査ログは役に立つ PLAID Engineerの 原田(@harada_hi) です。 弊社製品KARTEでは行動データという大量データの集計においてBigQueryを多用しています。 今回はそのBigQueryのパフォーマンス確認やトラブル時の調査に利用しているBigQueryの監査ログの話を紹介します。 集計を実施する上で確認したい内容 Big... 続きを読む

GAFA脅威論の死角と蹉跌｜masanork｜note

2019/05/01 536 users 死角 Note GAFA インフラ 本質

この3年くらい役所でGAFA脅威論があからさまに論じられるようになったけど、どうにも本質から外れた議論が多く、どこかで落ち着いて考える必要を感じている。だいたいデータを持ってるからGAFAが強いのではなく、データよりも前に利用者と接する出面と大量データを処理するインフラを手に入れたGoogleとAmazonが、後から... 続きを読む

スキャン速度10GB/sへの挑戦～その④ 完結編～ - KaiGaiの俺メモ

2018/09/09 54 users KaiGai RDBMS エントリ 当面 おさらい

今回のエントリは、ここ１年ほど取り組んでいた PG-Strom による大量データのスキャン・集計処理性能改善の取り組みが、当面の目標であったシングルノード10GB/sを達成したという完結編です。（長かった） 要素技術：SSD-to-GPUダイレクトSQL 先ず、PG-Stromのストレージ関連機能について軽くおさらい。 RDBMSに限らず一... 続きを読む

「統計数理」から見たＡＩブームをすべて話そう

2018/05/24 123 users 統計数理 AIブーム 打開策 人工知能 学術界

統計数理研究所は大学共同利用機関として統計やデータ科学の人材を養成し、研究基盤を支えてきた。近年のビッグデータ（大量データ）と人工知能（ＡＩ）ブームで日本の人材不足が鮮明になっている。樋口知之所長に打開策を聞いた。 －ＡＩブームをどう見ますか。 「ＡＩ技術が日々進化する状況だ。年や月ではなく、日単位でアイデアが共有され、技術が更新されている。従来の研究や学術界を揺るがしかねない流れだが止まらないだ... 続きを読む

大量データの転送にEmbulkを使ってみたら本当に楽だった - VOYAGE GROUP techlog

2017/07/31 180 users techlog embulk Tweet 転送 エンジニア

2017 - 07 - 31 大量データの転送にEmbulkを使ってみたら本当に楽だった Tweet はじめまして。 Zucks Affiliate でエンジニアをしている宗岡です。 今回は、リアルタイム性は求めないけど、簡単に大量のデータをどこか別の場所に転送したい。 という要望に答えてくれるEmbulkを紹介したいと思います。 実際に導入に至ったきっかけや、運用上よくある課題なども触れていきた... 続きを読む

情報系の若手研究者にカネとポストができた！AIで追い風が吹く今こそ

2017/01/19 33 users 追い風 カネ 肝いり 霞が関 AIPセンター

情報系の若手研究者にカネとポストができた！AIで追い風が吹く今こそ 「霞が関を満足させる研究はおっさん世代がやる」 最近の産業界での人工知能（ＡＩ）やビッグデータ（大量データ）の活用などを背景に、情報系の若手研究者に追い風が吹いている。文部科学省の肝いりの若手向け研究支援事業が始まったほか、４日には日本最大級のＡＩ研究拠点の理化学研究所・革新知能統合研究センター（ＡＩＰセンター）が東京・日本橋に開... 続きを読む

React Virtualized - Reactで大量データのスクロール表示 MOONGIFT

2016/01/03 30 users MOONGIFT React サーバサイド DOM デモ

ReactでWebアプリケーションを作るとサーバサイドの感覚でスムーズに開発ができます。しかしそれでもUI、UX周りになると気にしなければならないことも多数あります。 その一つとして長大なリストがあります。大量のDOMを表示したりスクロールすると時間がかかってしまうものです。それを改善してくれるのがReact Virtualizedです。 React Virtualizedの使い方 デモの画面です... 続きを読む

大量データ送る「ＤＤｏＳ攻撃」か 全国初の逮捕　NHKニュース

2015/07/24 138 users DDoS攻撃 警視庁 負荷 サーバー 逮捕

東京にあるスマートフォンのアクセサリーの販売会社のサーバーに、大量のデータを送りつける「ＤＤｏＳ攻撃」というサイバー攻撃を行い、業務を妨害したとして、ベトナム人の留学生が警視庁に逮捕されました。 「ＤＤｏＳ攻撃」をしたとして逮捕されるのは、全国で初めてだということです。 これまでの調べで、当時、この会社のサーバーには通常のおよそ３０倍の負荷がかかり、１か月半にわたってホームページが閉鎖され、７００... 続きを読む

［速報］無限のデータ容量で大量データを保存「Azure Data Lake service」発表。HDFS APIでHadoop用分析ツールが利用可能 － Publickey

2015/04/29 49 users マイクロソフト 高いスループット センサー クラウド 用途

マイクロソフトは米サンフランシスコで開催中のイベント「Build 2015」において、クラウドによる大量データ保存のサービス「Azure Data Lake service」を発表しました。 Azure Data Lake serviceは、Internet of Thingsなどの用途においてセンサーなどの大量のデータを直接保存するなど、ほぼ無限のデータ容量を提供しつつ、高いスループットと低いレ... 続きを読む

実行計画が解れば怖くない。SQL実践入門 - プログラマになりたい

2015/04/16 322 users プログラマ SQL SQL実践入門 主題 良いSQL

技術評論社さんから、SQL実践入門を献本いただきました。ありがとうございます。 SQL実践入門の主題 この本の目的は、「パフォーマンスの良いSQLの書き方、特に大量データを処理するSQLの性能向上の方法を理解すること」とあります。そのパフォーマンス向上の為の解として、SQLが内部的にどう処理されているかを表す実行計画の読み解き方を、いろいろなケースを上げながらひたすら解説しています。そして、何故そ... 続きを読む

【中国人スパイ疑惑】パソコンに大量データ　ベールに包まれた諜報活動解明へ　警察当局 - 産経WEST

2015/03/21 15 users ベール 警察当局 産経ｗｅｓｔ 暗部 摘発

大阪府警に逮捕された中国人の男（６２）が、中国諜報部門の「機関員（インテリジェンス・オフィサー）」である疑いが浮上した。世界各国で活発な情報収集活動を展開しているとされる中国。巧妙かつ大規模な手法は相手国に尻尾をつかませないことで知られ、中国のスパイの摘発は他の国に比べて格段に少ない。警察当局は男の捜査を通じ、諜報活動の暗部に迫りたい考えだ。　中国は共産党、人民解放軍、官僚機構がそれぞれ複数の諜報... 続きを読む

GoAzure 2015:IoTなどの大量データをStream Analyticsでリアルタイムデータ分析してみよう

2015/01/21 23 users リアルタイムデータ IoT GoAzure 2015

Pornographic Defamatory Illegal/Unlawful Spam Other Violations Thanks for flagging this SlideShare! Oops! An error has occurred. 続きを読む

徹底解説！ ITアーキテクトとは何か？（3）：大量データをスムーズに処理　失敗しないバッチ処理のアーキテクチャ設計、5つのポイント (1/2) - ＠IT

2014/09/10 102 users ITアーキテクト バッチ アーキテクチャ設計 バッチ処理 役割

徹底解説！ ITアーキテクトとは何か？（3）：大量データをスムーズに処理　失敗しないバッチ処理のアーキテクチャ設計、5つのポイント (1/2) ITアーキテクトの役割を、具体的かつ分かりやすく解説する本連載。今回は締め処理やデータ変換などで利用される、バッチ処理におけるアーキテクチャ設計のポイントを紹介する。 バッチ処理とは 前回はWebアプリのアーキテクチャ設計の基礎を解説しました。今回はバッチ... 続きを読む

大量データへのVLOOKUP関数を高速にする2つの方法－LIVESENSE DIGITAL MARKETING

2014/07/02 68 users VLOOKUP関数 奥義 Excel リブセンス 対処法

こんにちは、リブセンスの山浦清透です。 10万件を超えるようなデータに対してExcelのVLOOKUP関数を使用すると、データが多すぎてフリーズしたことはないでしょうか？今回は大量のデータに対してVLOOKUP関数を使用したいときの対処法を2つ、ご紹介したいと思います。 方法1　高速VLOOKUPを使用する はじめにご紹介するのは、”高速VLOOKUP”です。 【奥義】大量データでの高速VLOOK... 続きを読む

GoogleのBigQueryが分析関数を強化, UIを一新, 料金を値下げ | TechCrunch Japan

2013/06/12 13 users BigQuery クエリ 一新 値下げ データベース

Google BigQueryは、いくつかの新たなアップデートにより、大量データの低料金かつ迅速な分析サービスを、より使いやすくしようとしている。BigQueryはテラバイトのオーダーのデータを処理するが、今日（米国時間6/11）発表されたアップデートで、大きなデータベースのアドホックな分析における柔軟性が増し、またより高度な分析ができるようになった。 新たな機能は6つある: 1)クェリの出力量の... 続きを読む

Blog @vierjp : 31.Google Cloud Storageに大量データをアップロードする際のテクニック(Google I/O 2013)

2013/05/24 21 users vierjp セッション テクニック メモ Blog

2013年5月24日金曜日 31.Google Cloud Storageに大量データをアップロードする際のテクニック(Google I/O 2013) Tweet Ryo Yamasaki(@vierjp)です。 Google I/Oでセッションを聞いた「Importing Large Data Sets into Google Cloud Storage」について、 動画を見て復習したのでメモ... 続きを読む

カラム型データベースはなぜ集計処理が高速で、トランザクションが苦手なのか。インメモリとカラム型データベースの可能性を調べる（その4） － Publickey

2013/05/20 170 users インメモリ リレーショナルデータベース Publickey

カラム型データベースはなぜ集計処理が高速で、トランザクションが苦手なのか。インメモリとカラム型データベースの可能性を調べる（その4） 現在主流となっているOracle、SQL Server、DB2などのリレーショナルデータベースは事実上すべて、行（ロー）指向で内部の処理を行っています。一方で、最近急速に注目されているのが、列指向で内部処理を行い、大量データの集計や分析処理に優れた「カラム型データベ... 続きを読む

HBaseを触ってみよう （1/5）：CodeZine

2013/01/16 103 users CodeZine MapReduce HBase RDB 標準

HBaseは、Googleの基盤ソフトウェアである「Bigtable」のオープンソースクローンであり、大量データに対応した分散ストレージシステムです。HBaseを用いることで、スケーラブルで信頼性のあるデータベースを構築することができます。また、MapReduceを標準でサポートしており、HBaseに保存したデータに対してバッチ処理を行うことも可能です。しかし、SQLで扱えないことや、RDBとのス... 続きを読む