spark

2018/09/08 171 users

子供の歴史教科書についてこれから投稿する。ちなみにカナダは高校まで義務教育で教科書も無料で支給される。ただし学校の所有で学年が終わったら返却する。 https://t.co/6yDMVdH1hW 続きを読む

Dockerでデプロイ、60ノードまでスケールアウト、Sparkで分析 　テラバイト・クラスの集計処理もあっさり返すdashDB LocalでDWHを構築する - はてなニュース

2017/05/29 254 users DWH インメモリ Docker データウェアハウス デプロイ

日本アイ・ビー・エム（以下、日本IBM）の「IBM dashDB Local」は、プライベートクラウド/ハイブリッドクラウドに最適な構成を持つデータウェアハウス（DWH）向けの製品である。Dockerコンテナとしてデプロイ、スケールアウト（規模拡大）でき、データ量や処理負荷の急増に柔軟に対応できる。インメモリの列指向データベースと並列処理により検索処理を高速に実行する。システムの成長に柔軟に対応で... 続きを読む

（翻訳）2017年の展望: pandas, Arrow, Feather, Parquet, Spark, Ibis - Qiita

2017/02/26 177 users IBIS Feather Qiita Parquet 展望

始めに：pandasの作者であるWes McKinneyさんがPythonのデータツール関連でとても興味深いblogを書かれているので、翻訳して日本のPyDataコミュニティに公開してもいいでしょうか、とお聞きしたところ、快諾をいただきましたので少しずつ訳して公開していこうと思っています。 （原文： http://wesmckinney.com/blog/outlook-for-2017/） 20... 続きを読む

非英語ネイティブにとってのOSSのメンテナンスコスト - once upon a time,

2017/01/01 207 users OSS ディストリビューター Hadoop Cloudera

2017 - 01 - 01 非英語ネイティブにとってのOSSのメンテナンスコスト community program disclaimer: この記事を書いている人はClouderaという Hadoop /Sparkの ディストリビューター の会社にいます。 codelunch.fmの20回目を聞いていろいろ思うところがあったのでつらつら買いてみます。 codelunch.fm この回のcode... 続きを読む

Sparkと機械学習と時々MPI « LINE Engineers' Blog

2016/12/20 2666 users 勾配 久保 分散処理フレームワーク 機械学習エンジニア 弊社

はじめに こんにちは、LINEで機械学習エンジニアを担当している久保です。この記事はLINE Advent Calendar2016の14記事目です。 今回の記事は、機械学習の（勾配などの）基本的な知識を持ち、Sparkにおける機械学習に興味がある人向けの内容となっています。 Sparkは大規模なデータのための分散処理フレームワークとして人気があり、弊社でも機械学習関連の開発において利用しています... 続きを読む

Graylog ではじめるログ管理 - クックパッド開発者ブログ

2015/11/25 300 users Kafka KINESIS セキュリティグループ SaaS

2015 -11 -25 Graylog ではじめるログ管理 こんにちは。インフラストラクチャー部 セキュリティグループの星 ( @kani_b ) です。 主に "セキュリティ" や "AWS" といったタグのつきそうなこと全般を担当しています。 Fluentd などのデータコレクタ、Kibana やその他 SaaS による可視化、Kafka, Kinesis, Spark などのストリーム処理... 続きを読む

ターミナルにリッチなモニターを表示させる

2015/11/11 528 users ターミナル モニター シェルスクリプト computer 地図

12 Nov 2015 Top › Computer › JavaScript , Go ターミナルにリッチなモニターを表示させる B! 0 1 0 0 0 以前、 sparkという シェルスクリプトで棒グラフを表示するコマンドを紹介しましたが、 さらに複雑なグラフや地図などもターミナルに表示してしまおうと言う プロジェクトの紹介。 blessed-contrib termui wopr Spon... 続きを読む

Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（前編） － Publickey

2015/08/04 121 users レイテンシ Publickey Hadoop スループット

Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（前編） 最近ビッグデータ処理基盤として急速に注目を集めているのが「Apache Spark」です。 Sparkは、Hadoopと比較されることも多く、Hadoopよりも高速かつ高機能な分散処理基盤だと言われています。Sparkとはいったい、どのようなソフトウェアな... 続きを読む

Javaのマイクロフレームワーク ― この新トレンドは見逃せない | インフラ・ミドルウェア | POSTD

2015/07/13 437 users POSTD Scala Ninja フレームワーク Java

マイクロフレームワークは、現時点で得られる最軽量のJava開発手法であり、アーリーアダプタたちの開発現場では非常に良い結果を出しています。。ここで、人気の高いJavaのマイクロフレームワークとして、Ninja、Spark、Joddの3つのフレームワークを取り上げてみましょう。この記事は、JavaとScalaの例外分析・パフォーマンス監視のツールTakapiのblogに投稿されたものです。 Java... 続きを読む

spark: シェルスクリプトで棒グラフ表示

2015/05/19 258 users シェルスクリプト スクリプト 数値 使用例

19 May 2015 12:00 pm Posted in Computer Tagged as Bash spark: シェルスクリプトで棒グラフ表示 B! P GitHubで面白そうなシェルスクリプトを探してる時に見つけた Spark by holman について。 数値を棒グラフ上に表示してくれるスクリプトです。 Spark 使用例 Sponsored Links Spark Spark ... 続きを読む

DCセンターの原価計算について〜「クラウド」の別側面として - 急がば回れ、選ぶなら近道

2014/06/22 246 users 近道 原価計算 クラウド 別側面 Hadoop

要するに「データセンターの原価計算」です。いろいろこのあたりに関わっています。複雑な計算ロジックと大量のデータを扱う必要があるので、大規模並列計算の適用が必須になり、結果として当方の出番になった、という状態。尚、実行基盤にHadoop（MapR）を利用しています。（一応予定ではSparkに移行するつもりで、開発も始まっています。） さて、いろいろやっていて思うところがあるので、現時点での考え方をま... 続きを読む

Apache Sparkを分かりやすく解説 | Hadoopとビッグデータソリューションのリーディングカンパニー | Cloudera Japan

2014/03/06 367 users Hadoop Cloudera Databricks 原文

投稿日: 2014/03/07 本記事は、弊社パートナーであるDatabricks様による寄稿記事を翻訳したものです。原文についてはこちらをご覧ください。 Apache Spark (incubating)をサポートするDatabricksに、以下のゲスト記事を寄稿していただきました。ClouderaとDatabricksはCDH内でSparkを提供しサポートすると最近発表しました。今後、Spar... 続きを読む

MapReduce以外の分散処理基盤BSP, Piccolo, Sparkの紹介 : Preferred Research

2011/06/17 107 users Preferred Research 紹介

どうも，実は今年から開発チームにjoinしていた中川です．可愛い犬の写真がなかったので，可愛いマスコットの画像を貼っておきます． 最近MapReduceとかその実装であるHadoopとかをよく聞くようになりました．これはつまり，それだけ大量のデータをなんとか処理したいという要望があるからだと思います．が，当たり前ですがMapReduceは銀の弾丸ではありません．ということで，最近気になっているMa... 続きを読む