タグ 大量データ
人気順 5 users 10 users 100 users 500 users 1000 users知っていますか？Pandasをノーコーディングで高速化（CPU環境でも）できるらしい - Qiita
2023/12/20
82 users
Qiita
pandas
高速化
無償
ベータ版
はじめに Pandasで大量データを扱って処理時間にイライラしたことはないでしょうか？ なんと、Pandasを従来のコードを変えずに高速化するライブラリィが出たみたいです。 NEC研究所が出したFireDucks 🔥🐦 というライブラリィで、ベータ版が無償公開されています。 しかも CPU環境でも高速化されるみたいです。詳細は下... 続きを読む
ハッカーは盗んだShimanoの大量データをオンラインで公開している
2023/11/26
139 users
SHIMANO
ランサ
クランク
ハッカー
リコール
Shimanoはハッカーに攻撃され、機密データを公開すると脅迫されていた。 Shimanoは、機密データ流出を脅かす大規模なランサムウェア攻撃を受けているShimanoは踏んだり蹴ったりとなっている。まずは、クランクの破損などでリコールから訴訟問題となっている。 2023年上半期の売り上げも落ちていた。さらに、今度はランサ... 続きを読む
大量データの JSON serialize 処理を高速化し、レスポンスが倍速になった話 - freee Developers Hub
2022/04/27
167 users
レスポンス
freee Developers
倍速
処理
こんにちは、freee会計でワークフロー機能の開発をしている @mitubaEX です。 先日 freee会計のパフォーマンスチューニングに取り組みました。本記事では、調査の流れ、改善の事例を紹介します。 問題発覚までの流れ freee では自社の経理業務に freee会計を利用しており、その中でも経費精算の機能はほぼすべての従業員... 続きを読む
GAFA脅威論の死角と蹉跌｜masanork｜note
2019/05/01
536 users
死角
Note
GAFA
インフラ
本質
この3年くらい役所でGAFA脅威論があからさまに論じられるようになったけど、どうにも本質から外れた議論が多く、どこかで落ち着いて考える必要を感じている。だいたいデータを持ってるからGAFAが強いのではなく、データよりも前に利用者と接する出面と大量データを処理するインフラを手に入れたGoogleとAmazonが、後から... 続きを読む
スキャン速度10GB/sへの挑戦～その④ 完結編～ - KaiGaiの俺メモ
2018/09/09
54 users
KaiGai
RDBMS
エントリ
当面
おさらい
今回のエントリは、ここ１年ほど取り組んでいた PG-Strom による大量データのスキャン・集計処理性能改善の取り組みが、当面の目標であったシングルノード10GB/sを達成したという完結編です。（長かった） 要素技術：SSD-to-GPUダイレクトSQL 先ず、PG-Stromのストレージ関連機能について軽くおさらい。 RDBMSに限らず一... 続きを読む
「統計数理」から見たＡＩブームをすべて話そう
2018/05/24
123 users
統計数理
AIブーム
打開策
人工知能
学術界
統計数理研究所は大学共同利用機関として統計やデータ科学の人材を養成し、研究基盤を支えてきた。近年のビッグデータ（大量データ）と人工知能（ＡＩ）ブームで日本の人材不足が鮮明になっている。樋口知之所長に打開策を聞いた。 －ＡＩブームをどう見ますか。 「ＡＩ技術が日々進化する状況だ。年や月ではなく、日単位でアイデアが共有され、技術が更新されている。従来の研究や学術界を揺るがしかねない流れだが止まらないだ... 続きを読む
大量データの転送にEmbulkを使ってみたら本当に楽だった - VOYAGE GROUP techlog
2017/07/31
180 users
techlog
embulk
Tweet
転送
エンジニア
2017 - 07 - 31 大量データの転送にEmbulkを使ってみたら本当に楽だった Tweet はじめまして。 Zucks Affiliate でエンジニアをしている宗岡です。 今回は、リアルタイム性は求めないけど、簡単に大量のデータをどこか別の場所に転送したい。 という要望に答えてくれるEmbulkを紹介したいと思います。 実際に導入に至ったきっかけや、運用上よくある課題なども触れていきた... 続きを読む
大量データ送る「ＤＤｏＳ攻撃」か 全国初の逮捕 NHKニュース
2015/07/24
138 users
DDoS攻撃
警視庁
負荷
サーバー
逮捕
東京にあるスマートフォンのアクセサリーの販売会社のサーバーに、大量のデータを送りつける「ＤＤｏＳ攻撃」というサイバー攻撃を行い、業務を妨害したとして、ベトナム人の留学生が警視庁に逮捕されました。 「ＤＤｏＳ攻撃」をしたとして逮捕されるのは、全国で初めてだということです。 これまでの調べで、当時、この会社のサーバーには通常のおよそ３０倍の負荷がかかり、１か月半にわたってホームページが閉鎖され、７００... 続きを読む
実行計画が解れば怖くない。SQL実践入門 - プログラマになりたい
2015/04/16
322 users
プログラマ
SQL
SQL実践入門
主題
良いSQL
技術評論社さんから、SQL実践入門を献本いただきました。ありがとうございます。 SQL実践入門の主題 この本の目的は、「パフォーマンスの良いSQLの書き方、特に大量データを処理するSQLの性能向上の方法を理解すること」とあります。そのパフォーマンス向上の為の解として、SQLが内部的にどう処理されているかを表す実行計画の読み解き方を、いろいろなケースを上げながらひたすら解説しています。そして、何故そ... 続きを読む
徹底解説！ ITアーキテクトとは何か？（3）：大量データをスムーズに処理 失敗しないバッチ処理のアーキテクチャ設計、5つのポイント (1/2) - ＠IT
2014/09/10
102 users
ITアーキテクト
バッチ
アーキテクチャ設計
バッチ処理
役割
徹底解説！ ITアーキテクトとは何か？（3）：大量データをスムーズに処理 失敗しないバッチ処理のアーキテクチャ設計、5つのポイント (1/2) ITアーキテクトの役割を、具体的かつ分かりやすく解説する本連載。今回は締め処理やデータ変換などで利用される、バッチ処理におけるアーキテクチャ設計のポイントを紹介する。 バッチ処理とは 前回はWebアプリのアーキテクチャ設計の基礎を解説しました。今回はバッチ... 続きを読む
大量データへのVLOOKUP関数を高速にする2つの方法－LIVESENSE DIGITAL MARKETING
2014/07/02
68 users
VLOOKUP関数
奥義
Excel
リブセンス
対処法
こんにちは、リブセンスの山浦清透です。 10万件を超えるようなデータに対してExcelのVLOOKUP関数を使用すると、データが多すぎてフリーズしたことはないでしょうか？今回は大量のデータに対してVLOOKUP関数を使用したいときの対処法を2つ、ご紹介したいと思います。 方法1 高速VLOOKUPを使用する はじめにご紹介するのは、”高速VLOOKUP”です。 【奥義】大量データでの高速VLOOK... 続きを読む
カラム型データベースはなぜ集計処理が高速で、トランザクションが苦手なのか。インメモリとカラム型データベースの可能性を調べる（その4） － Publickey
2013/05/20
170 users
インメモリ
リレーショナルデータベース
Publickey
カラム型データベースはなぜ集計処理が高速で、トランザクションが苦手なのか。インメモリとカラム型データベースの可能性を調べる（その4） 現在主流となっているOracle、SQL Server、DB2などのリレーショナルデータベースは事実上すべて、行（ロー）指向で内部の処理を行っています。一方で、最近急速に注目されているのが、列指向で内部処理を行い、大量データの集計や分析処理に優れた「カラム型データベ... 続きを読む
HBaseを触ってみよう （1/5）：CodeZine
2013/01/16
103 users
CodeZine
MapReduce
HBase
RDB
標準
HBaseは、Googleの基盤ソフトウェアである「Bigtable」のオープンソースクローンであり、大量データに対応した分散ストレージシステムです。HBaseを用いることで、スケーラブルで信頼性のあるデータベースを構築することができます。また、MapReduceを標準でサポートしており、HBaseに保存したデータに対してバッチ処理を行うことも可能です。しかし、SQLで扱えないことや、RDBとのス... 続きを読む
特集：MongoDBで理解する「ドキュメント・データベース」の世界（前編）：開発者が知っておくべき、ドキュメント・データベースの基礎 (1/3) - ＠IT
2012/11/09
361 users
MongoDB
スケーラブル
必読
特長
本質
特集：MongoDBで理解する「ドキュメント・データベース」の世界（前編）：開発者が知っておくべき、ドキュメント・データベースの基礎 (1/3) これまでドキュメント・データベースを触ったことがない技術者は必読。ドキュメント・データベースとして最もポピュラーな「MongoDB」を例に、その本質を解説する。 ドキュメント・データベースの最大の特長は、「パフォーマンス、大量データ、スケーラブルといった... 続きを読む
Wordpress:カスタムフィールドを上手に使いこなす方法 | Webデザインのレシピ
2011/06/30
155 users
デフォルト
WordPress
プラグイン
必見
かなり
WordPressで大量データを扱う時に活用したいのがカスタムフィールドです。デフォルトではまだまだ使いにくいですが、カスタマイズすることによってかなり便利になります。 そんなわけで今回は、カスタムフィールドを有効活用する方法を、プラグインを交えて紹介します。不動産サイト運営など大量データ格納を考えている人は必見 1. プラグイン：「Custom field Template」 カスタムフィールド... 続きを読む