GAFA脅威論の死角と蹉跌｜masanork｜note

2019/05/01 536 users 死角 Note GAFA インフラ 本質

この3年くらい役所でGAFA脅威論があからさまに論じられるようになったけど、どうにも本質から外れた議論が多く、どこかで落ち着いて考える必要を感じている。だいたいデータを持ってるからGAFAが強いのではなく、データよりも前に利用者と接する出面と大量データを処理するインフラを手に入れたGoogleとAmazonが、後から... 続きを読む

特集：MongoDBで理解する「ドキュメント・データベース」の世界（前編）：開発者が知っておくべき、ドキュメント・データベースの基礎 (1/3) - ＠IT

2012/11/09 361 users MongoDB スケーラブル 必読 特長 本質

特集：MongoDBで理解する「ドキュメント・データベース」の世界（前編）：開発者が知っておくべき、ドキュメント・データベースの基礎 (1/3) これまでドキュメント・データベースを触ったことがない技術者は必読。ドキュメント・データベースとして最もポピュラーな「MongoDB」を例に、その本質を解説する。 ドキュメント・データベースの最大の特長は、「パフォーマンス、大量データ、スケーラブルといった... 続きを読む

実行計画が解れば怖くない。SQL実践入門 - プログラマになりたい

2015/04/16 322 users プログラマ SQL SQL実践入門 主題 良いSQL

技術評論社さんから、SQL実践入門を献本いただきました。ありがとうございます。 SQL実践入門の主題 この本の目的は、「パフォーマンスの良いSQLの書き方、特に大量データを処理するSQLの性能向上の方法を理解すること」とあります。そのパフォーマンス向上の為の解として、SQLが内部的にどう処理されているかを表す実行計画の読み解き方を、いろいろなケースを上げながらひたすら解説しています。そして、何故そ... 続きを読む

大量データの転送にEmbulkを使ってみたら本当に楽だった - VOYAGE GROUP techlog

2017/07/31 180 users techlog embulk Tweet 転送 エンジニア

2017 - 07 - 31 大量データの転送にEmbulkを使ってみたら本当に楽だった Tweet はじめまして。 Zucks Affiliate でエンジニアをしている宗岡です。 今回は、リアルタイム性は求めないけど、簡単に大量のデータをどこか別の場所に転送したい。 という要望に答えてくれるEmbulkを紹介したいと思います。 実際に導入に至ったきっかけや、運用上よくある課題なども触れていきた... 続きを読む

カラム型データベースはなぜ集計処理が高速で、トランザクションが苦手なのか。インメモリとカラム型データベースの可能性を調べる（その4） － Publickey

2013/05/20 170 users インメモリ リレーショナルデータベース Publickey

カラム型データベースはなぜ集計処理が高速で、トランザクションが苦手なのか。インメモリとカラム型データベースの可能性を調べる（その4） 現在主流となっているOracle、SQL Server、DB2などのリレーショナルデータベースは事実上すべて、行（ロー）指向で内部の処理を行っています。一方で、最近急速に注目されているのが、列指向で内部処理を行い、大量データの集計や分析処理に優れた「カラム型データベ... 続きを読む

大量データの JSON serialize 処理を高速化し、レスポンスが倍速になった話 - freee Developers Hub

2022/04/27 167 users レスポンス freee Developers 倍速 処理

こんにちは、freee会計でワークフロー機能の開発をしている @mitubaEX です。 先日 freee会計のパフォーマンスチューニングに取り組みました。本記事では、調査の流れ、改善の事例を紹介します。 問題発覚までの流れ freee では自社の経理業務に freee会計を利用しており、その中でも経費精算の機能はほぼすべての従業員... 続きを読む

Wordpress:カスタムフィールドを上手に使いこなす方法 | Webデザインのレシピ

2011/06/30 155 users デフォルト WordPress プラグイン 必見 かなり

WordPressで大量データを扱う時に活用したいのがカスタムフィールドです。デフォルトではまだまだ使いにくいですが、カスタマイズすることによってかなり便利になります。 そんなわけで今回は、カスタムフィールドを有効活用する方法を、プラグインを交えて紹介します。不動産サイト運営など大量データ格納を考えている人は必見 1. プラグイン：「Custom field Template」 カスタムフィールド... 続きを読む

ハッカーは盗んだShimanoの大量データをオンラインで公開している

2023/11/26 139 users SHIMANO ランサ クランク ハッカー リコール

Shimanoはハッカーに攻撃され、機密データを公開すると脅迫されていた。 Shimanoは、機密データ流出を脅かす大規模なランサムウェア攻撃を受けているShimanoは踏んだり蹴ったりとなっている。まずは、クランクの破損などでリコールから訴訟問題となっている。 2023年上半期の売り上げも落ちていた。さらに、今度はランサ... 続きを読む

大量データ送る「ＤＤｏＳ攻撃」か 全国初の逮捕　NHKニュース

2015/07/24 138 users DDoS攻撃 警視庁 負荷 サーバー 逮捕

東京にあるスマートフォンのアクセサリーの販売会社のサーバーに、大量のデータを送りつける「ＤＤｏＳ攻撃」というサイバー攻撃を行い、業務を妨害したとして、ベトナム人の留学生が警視庁に逮捕されました。 「ＤＤｏＳ攻撃」をしたとして逮捕されるのは、全国で初めてだということです。 これまでの調べで、当時、この会社のサーバーには通常のおよそ３０倍の負荷がかかり、１か月半にわたってホームページが閉鎖され、７００... 続きを読む

「統計数理」から見たＡＩブームをすべて話そう

2018/05/24 123 users 統計数理 AIブーム 打開策 人工知能 学術界

統計数理研究所は大学共同利用機関として統計やデータ科学の人材を養成し、研究基盤を支えてきた。近年のビッグデータ（大量データ）と人工知能（ＡＩ）ブームで日本の人材不足が鮮明になっている。樋口知之所長に打開策を聞いた。 －ＡＩブームをどう見ますか。 「ＡＩ技術が日々進化する状況だ。年や月ではなく、日単位でアイデアが共有され、技術が更新されている。従来の研究や学術界を揺るがしかねない流れだが止まらないだ... 続きを読む

HBaseを触ってみよう （1/5）：CodeZine

2013/01/16 103 users CodeZine MapReduce HBase RDB 標準

HBaseは、Googleの基盤ソフトウェアである「Bigtable」のオープンソースクローンであり、大量データに対応した分散ストレージシステムです。HBaseを用いることで、スケーラブルで信頼性のあるデータベースを構築することができます。また、MapReduceを標準でサポートしており、HBaseに保存したデータに対してバッチ処理を行うことも可能です。しかし、SQLで扱えないことや、RDBとのス... 続きを読む

徹底解説！ ITアーキテクトとは何か？（3）：大量データをスムーズに処理　失敗しないバッチ処理のアーキテクチャ設計、5つのポイント (1/2) - ＠IT

2014/09/10 102 users ITアーキテクト バッチ アーキテクチャ設計 バッチ処理 役割

徹底解説！ ITアーキテクトとは何か？（3）：大量データをスムーズに処理　失敗しないバッチ処理のアーキテクチャ設計、5つのポイント (1/2) ITアーキテクトの役割を、具体的かつ分かりやすく解説する本連載。今回は締め処理やデータ変換などで利用される、バッチ処理におけるアーキテクチャ設計のポイントを紹介する。 バッチ処理とは 前回はWebアプリのアーキテクチャ設計の基礎を解説しました。今回はバッチ... 続きを読む

知っていますか？Pandasをノーコーディングで高速化（CPU環境でも）できるらしい - Qiita

2023/12/20 82 users Qiita pandas 高速化 無償 ベータ版

はじめに Pandasで大量データを扱って処理時間にイライラしたことはないでしょうか？ なんと、Pandasを従来のコードを変えずに高速化するライブラリィが出たみたいです。 NEC研究所が出したFireDucks 🔥🐦 というライブラリィで、ベータ版が無償公開されています。 しかも CPU環境でも高速化されるみたいです。詳細は下... 続きを読む

大量データへのVLOOKUP関数を高速にする2つの方法－LIVESENSE DIGITAL MARKETING

2014/07/02 68 users VLOOKUP関数 奥義 Excel リブセンス 対処法

こんにちは、リブセンスの山浦清透です。 10万件を超えるようなデータに対してExcelのVLOOKUP関数を使用すると、データが多すぎてフリーズしたことはないでしょうか？今回は大量のデータに対してVLOOKUP関数を使用したいときの対処法を2つ、ご紹介したいと思います。 方法1　高速VLOOKUPを使用する はじめにご紹介するのは、”高速VLOOKUP”です。 【奥義】大量データでの高速VLOOK... 続きを読む

スキャン速度10GB/sへの挑戦～その④ 完結編～ - KaiGaiの俺メモ

2018/09/09 54 users KaiGai RDBMS エントリ 当面 おさらい

今回のエントリは、ここ１年ほど取り組んでいた PG-Strom による大量データのスキャン・集計処理性能改善の取り組みが、当面の目標であったシングルノード10GB/sを達成したという完結編です。（長かった） 要素技術：SSD-to-GPUダイレクトSQL 先ず、PG-Stromのストレージ関連機能について軽くおさらい。 RDBMSに限らず一... 続きを読む

asahi.com：「ネット恐喝」上陸か　大量データで攻撃、修復料要求 - 社会

2007/06/08 50 users asahi.com 上陸 攻撃 社会

続きを読む

［速報］無限のデータ容量で大量データを保存「Azure Data Lake service」発表。HDFS APIでHadoop用分析ツールが利用可能 － Publickey

2015/04/29 49 users マイクロソフト 高いスループット センサー クラウド 用途

マイクロソフトは米サンフランシスコで開催中のイベント「Build 2015」において、クラウドによる大量データ保存のサービス「Azure Data Lake service」を発表しました。 Azure Data Lake serviceは、Internet of Thingsなどの用途においてセンサーなどの大量のデータを直接保存するなど、ほぼ無限のデータ容量を提供しつつ、高いスループットと低いレ... 続きを読む

50TBの記憶容量を誇る磁気テープが開発される！ - ナゾロジー

2023/10/07 41 users ナゾロジー ビデオテープ 磁気テープ カセットテープ 記憶容量

昔は誰もが、音楽を聴く「カセットテープ」、テレビを録画する「ビデオテープ」を使っていましたが、現在では中古品を見つけることさえ苦労します。 一世を風靡したこれら磁気テープは、「もう古い」のでしょうか。 実はそうではありません。最新技術を用いた磁気テープは、情報で溢れる現代社会における大量データの保... 続きを読む

BigQueryの監査ログは役に立つ | PLAID engineer blog

2019/06/13 34 users BigQuery 原田 集計 監査ログ トラブル時

BigQueryの監査ログは役に立つ PLAID Engineerの 原田(@harada_hi) です。 弊社製品KARTEでは行動データという大量データの集計においてBigQueryを多用しています。 今回はそのBigQueryのパフォーマンス確認やトラブル時の調査に利用しているBigQueryの監査ログの話を紹介します。 集計を実施する上で確認したい内容 Big... 続きを読む

情報系の若手研究者にカネとポストができた！AIで追い風が吹く今こそ

2017/01/19 33 users 追い風 カネ 肝いり 霞が関 AIPセンター

情報系の若手研究者にカネとポストができた！AIで追い風が吹く今こそ 「霞が関を満足させる研究はおっさん世代がやる」 最近の産業界での人工知能（ＡＩ）やビッグデータ（大量データ）の活用などを背景に、情報系の若手研究者に追い風が吹いている。文部科学省の肝いりの若手向け研究支援事業が始まったほか、４日には日本最大級のＡＩ研究拠点の理化学研究所・革新知能統合研究センター（ＡＩＰセンター）が東京・日本橋に開... 続きを読む

React Virtualized - Reactで大量データのスクロール表示 MOONGIFT

2016/01/03 30 users MOONGIFT React サーバサイド DOM デモ

ReactでWebアプリケーションを作るとサーバサイドの感覚でスムーズに開発ができます。しかしそれでもUI、UX周りになると気にしなければならないことも多数あります。 その一つとして長大なリストがあります。大量のDOMを表示したりスクロールすると時間がかかってしまうものです。それを改善してくれるのがReact Virtualizedです。 React Virtualizedの使い方 デモの画面です... 続きを読む

HBaseのRowKeyの設計についてのメモ - wyukawa’s blog

2012/07/23 27 users HBase アーキテクチャ wyukawa’s blog

HBaseFacebook Messageで使われたり、LINEのストレージで使われたり、と事例も多く出てきているHBase（Bは大文字。これ重要）ですが、個人的に少し興味も湧いてきたのでちょっと調べてます。HBaseはLog-Structured Merge-tree (LSM-tree)というアーキテクチャを使っており大量データの書き込みに最適化されています。なので大量の書き込みがあり読み込み... 続きを読む

音声認識の得意なことと苦手なこと。 - 2011-11-11 - IHARA Note

2011/11/11 26 users IHARA Note 趣旨 少量 精度 音声認識

年に数回くらい「音声認識でこんなことはできますか」という趣旨のメールが来るので、やりやすいこととやりづらいことを書いておこうと思う。なお、これは現時点での技術状況であり、将来どうなっているかは分からない。1.大量データは得意。　やはり機械なので、大量のデータの処理には向いている。別に少量のデータでも精度が変わることはないが、少量のデータなら人間がやった方が精度がいいので音声認識の導入はあまり意味が... 続きを読む

メモ：大量データをプロットするときの濃淡プロット - iAnalysis 〜おとうさんの解析日記〜

2011/11/29 25 users メモ iAnalysis 〜おとうさん 解析日記

データが多くなってくると散布図が真っ黒になってしまうので、濃淡を付けることでどこに集中しているかが分かります。マイクロアレイ系でよく使われる Bioconductorというプロジェクトのパッケージを使うので、通常のパッケージをインストール方法が違います。 インストール source("http://www.bioconductor.org/biocLite.R") biocLite("prada"... 続きを読む

GoAzure 2015:IoTなどの大量データをStream Analyticsでリアルタイムデータ分析してみよう

2015/01/21 23 users リアルタイムデータ IoT GoAzure 2015

Pornographic Defamatory Illegal/Unlawful Spam Other Violations Thanks for flagging this SlideShare! Oops! An error has occurred. 続きを読む