はてブログ

はてなブックマーク新着エントリーの過去ログサイトです。



タグ 大量データ

新着順 人気順 5 users 10 users 50 users 100 users 500 users 1000 users
 
(1 - 16 / 16件)
 

知っていますか?Pandasをノーコーディングで高速化(CPU環境でも)できるらしい - Qiita

2023/12/20 このエントリーをはてなブックマークに追加 82 users Instapaper Pocket Tweet Facebook Share Evernote Clip Qiita pandas 高速化 無償 ベータ版

はじめに Pandasで大量データを扱って処理時間にイライラしたことはないでしょうか? なんと、Pandasを従来のコードを変えずに高速化するライブラリィが出たみたいです。 NEC研究所が出したFireDucks 🔥🐦 というライブラリィで、ベータ版が無償公開されています。 しかも CPU環境でも高速化されるみたいです。詳細は下... 続きを読む

ハッカーは盗んだShimanoの大量データをオンラインで公開している

2023/11/26 このエントリーをはてなブックマークに追加 139 users Instapaper Pocket Tweet Facebook Share Evernote Clip SHIMANO ランサ クランク ハッカー リコール

Shimanoはハッカーに攻撃され、機密データを公開すると脅迫されていた。 Shimanoは、機密データ流出を脅かす大規模なランサムウェア攻撃を受けているShimanoは踏んだり蹴ったりとなっている。まずは、クランクの破損などでリコールから訴訟問題となっている。 2023年上半期の売り上げも落ちていた。さらに、今度はランサ... 続きを読む

大量データの JSON serialize 処理を高速化し、レスポンスが倍速になった話 - freee Developers Hub

2022/04/27 このエントリーをはてなブックマークに追加 167 users Instapaper Pocket Tweet Facebook Share Evernote Clip レスポンス freee Developers 倍速 処理

こんにちは、freee会計でワークフロー機能の開発をしている @mitubaEX です。 先日 freee会計のパフォーマンスチューニングに取り組みました。本記事では、調査の流れ、改善の事例を紹介します。 問題発覚までの流れ freee では自社の経理業務に freee会計を利用しており、その中でも経費精算の機能はほぼすべての従業員... 続きを読む

GAFA脅威論の死角と蹉跌|masanork|note

2019/05/01 このエントリーをはてなブックマークに追加 536 users Instapaper Pocket Tweet Facebook Share Evernote Clip 死角 Note GAFA インフラ 本質

この3年くらい役所でGAFA脅威論があからさまに論じられるようになったけど、どうにも本質から外れた議論が多く、どこかで落ち着いて考える必要を感じている。だいたいデータを持ってるからGAFAが強いのではなく、データよりも前に利用者と接する出面と大量データを処理するインフラを手に入れたGoogleとAmazonが、後から... 続きを読む

スキャン速度10GB/sへの挑戦~その④ 完結編~ - KaiGaiの俺メモ

2018/09/09 このエントリーをはてなブックマークに追加 54 users Instapaper Pocket Tweet Facebook Share Evernote Clip KaiGai RDBMS エントリ 当面 おさらい

今回のエントリは、ここ1年ほど取り組んでいた PG-Strom による大量データのスキャン・集計処理性能改善の取り組みが、当面の目標であったシングルノード10GB/sを達成したという完結編です。(長かった) 要素技術:SSD-to-GPUダイレクトSQL 先ず、PG-Stromのストレージ関連機能について軽くおさらい。 RDBMSに限らず一... 続きを読む

「統計数理」から見たAIブームをすべて話そう

2018/05/24 このエントリーをはてなブックマークに追加 123 users Instapaper Pocket Tweet Facebook Share Evernote Clip 統計数理 AIブーム 打開策 人工知能 学術界

統計数理研究所は大学共同利用機関として統計やデータ科学の人材を養成し、研究基盤を支えてきた。近年のビッグデータ(大量データ)と人工知能(AI)ブームで日本の人材不足が鮮明になっている。樋口知之所長に打開策を聞いた。 -AIブームをどう見ますか。 「AI技術が日々進化する状況だ。年や月ではなく、日単位でアイデアが共有され、技術が更新されている。従来の研究や学術界を揺るがしかねない流れだが止まらないだ... 続きを読む

大量データの転送にEmbulkを使ってみたら本当に楽だった - VOYAGE GROUP techlog

2017/07/31 このエントリーをはてなブックマークに追加 180 users Instapaper Pocket Tweet Facebook Share Evernote Clip techlog embulk Tweet 転送 エンジニア

2017 - 07 - 31 大量データの転送にEmbulkを使ってみたら本当に楽だった Tweet はじめまして。 Zucks Affiliate でエンジニアをしている宗岡です。 今回は、リアルタイム性は求めないけど、簡単に大量のデータをどこか別の場所に転送したい。 という要望に答えてくれるEmbulkを紹介したいと思います。 実際に導入に至ったきっかけや、運用上よくある課題なども触れていきた... 続きを読む

大量データ送る「DDoS攻撃」か 全国初の逮捕 NHKニュース

2015/07/24 このエントリーをはてなブックマークに追加 138 users Instapaper Pocket Tweet Facebook Share Evernote Clip DDoS攻撃 警視庁 負荷 サーバー 逮捕

東京にあるスマートフォンのアクセサリーの販売会社のサーバーに、大量のデータを送りつける「DDoS攻撃」というサイバー攻撃を行い、業務を妨害したとして、ベトナム人の留学生が警視庁に逮捕されました。 「DDoS攻撃」をしたとして逮捕されるのは、全国で初めてだということです。 これまでの調べで、当時、この会社のサーバーには通常のおよそ30倍の負荷がかかり、1か月半にわたってホームページが閉鎖され、700... 続きを読む

実行計画が解れば怖くない。SQL実践入門 - プログラマになりたい

2015/04/16 このエントリーをはてなブックマークに追加 322 users Instapaper Pocket Tweet Facebook Share Evernote Clip プログラマ SQL SQL実践入門 主題 良いSQL

技術評論社さんから、SQL実践入門を献本いただきました。ありがとうございます。 SQL実践入門の主題 この本の目的は、「パフォーマンスの良いSQLの書き方、特に大量データを処理するSQLの性能向上の方法を理解すること」とあります。そのパフォーマンス向上の為の解として、SQLが内部的にどう処理されているかを表す実行計画の読み解き方を、いろいろなケースを上げながらひたすら解説しています。そして、何故そ... 続きを読む

徹底解説! ITアーキテクトとは何か?(3):大量データをスムーズに処理 失敗しないバッチ処理のアーキテクチャ設計、5つのポイント (1/2) - @IT

2014/09/10 このエントリーをはてなブックマークに追加 102 users Instapaper Pocket Tweet Facebook Share Evernote Clip ITアーキテクト バッチ アーキテクチャ設計 バッチ処理 役割

徹底解説! ITアーキテクトとは何か?(3):大量データをスムーズに処理 失敗しないバッチ処理のアーキテクチャ設計、5つのポイント (1/2) ITアーキテクトの役割を、具体的かつ分かりやすく解説する本連載。今回は締め処理やデータ変換などで利用される、バッチ処理におけるアーキテクチャ設計のポイントを紹介する。 バッチ処理とは 前回はWebアプリのアーキテクチャ設計の基礎を解説しました。今回はバッチ... 続きを読む

大量データへのVLOOKUP関数を高速にする2つの方法-LIVESENSE DIGITAL MARKETING

2014/07/02 このエントリーをはてなブックマークに追加 68 users Instapaper Pocket Tweet Facebook Share Evernote Clip VLOOKUP関数 奥義 Excel リブセンス 対処法

こんにちは、リブセンスの山浦清透です。 10万件を超えるようなデータに対してExcelのVLOOKUP関数を使用すると、データが多すぎてフリーズしたことはないでしょうか?今回は大量のデータに対してVLOOKUP関数を使用したいときの対処法を2つ、ご紹介したいと思います。 方法1 高速VLOOKUPを使用する はじめにご紹介するのは、”高速VLOOKUP”です。 【奥義】大量データでの高速VLOOK... 続きを読む

カラム型データベースはなぜ集計処理が高速で、トランザクションが苦手なのか。インメモリとカラム型データベースの可能性を調べる(その4) - Publickey

2013/05/20 このエントリーをはてなブックマークに追加 170 users Instapaper Pocket Tweet Facebook Share Evernote Clip インメモリ リレーショナルデータベース Publickey

カラム型データベースはなぜ集計処理が高速で、トランザクションが苦手なのか。インメモリとカラム型データベースの可能性を調べる(その4) 現在主流となっているOracle、SQL Server、DB2などのリレーショナルデータベースは事実上すべて、行(ロー)指向で内部の処理を行っています。一方で、最近急速に注目されているのが、列指向で内部処理を行い、大量データの集計や分析処理に優れた「カラム型データベ... 続きを読む

HBaseを触ってみよう (1/5):CodeZine

2013/01/16 このエントリーをはてなブックマークに追加 103 users Instapaper Pocket Tweet Facebook Share Evernote Clip CodeZine MapReduce HBase RDB 標準

HBaseは、Googleの基盤ソフトウェアである「Bigtable」のオープンソースクローンであり、大量データに対応した分散ストレージシステムです。HBaseを用いることで、スケーラブルで信頼性のあるデータベースを構築することができます。また、MapReduceを標準でサポートしており、HBaseに保存したデータに対してバッチ処理を行うことも可能です。しかし、SQLで扱えないことや、RDBとのス... 続きを読む

特集:MongoDBで理解する「ドキュメント・データベース」の世界(前編):開発者が知っておくべき、ドキュメント・データベースの基礎 (1/3) - @IT

2012/11/09 このエントリーをはてなブックマークに追加 361 users Instapaper Pocket Tweet Facebook Share Evernote Clip MongoDB スケーラブル 必読 特長 本質

特集:MongoDBで理解する「ドキュメント・データベース」の世界(前編):開発者が知っておくべき、ドキュメント・データベースの基礎 (1/3) これまでドキュメント・データベースを触ったことがない技術者は必読。ドキュメント・データベースとして最もポピュラーな「MongoDB」を例に、その本質を解説する。 ドキュメント・データベースの最大の特長は、「パフォーマンス、大量データ、スケーラブルといった... 続きを読む

Wordpress:カスタムフィールドを上手に使いこなす方法 | Webデザインのレシピ

2011/06/30 このエントリーをはてなブックマークに追加 155 users Instapaper Pocket Tweet Facebook Share Evernote Clip デフォルト WordPress プラグイン 必見 かなり

WordPressで大量データを扱う時に活用したいのがカスタムフィールドです。デフォルトではまだまだ使いにくいですが、カスタマイズすることによってかなり便利になります。 そんなわけで今回は、カスタムフィールドを有効活用する方法を、プラグインを交えて紹介します。不動産サイト運営など大量データ格納を考えている人は必見 1. プラグイン:「Custom field Template」 カスタムフィールド... 続きを読む

asahi.com:「ネット恐喝」上陸か 大量データで攻撃、修復料要求 - 社会

2007/06/08 このエントリーをはてなブックマークに追加 50 users Instapaper Pocket Tweet Facebook Share Evernote Clip asahi.com 上陸 攻撃 社会

続きを読む

 
(1 - 16 / 16件)