Databricks社がOSS化したSpark用ストレージレイヤ「Delta Lake」について - たけぞう瀕死ブログ

2019/05/03 50 users たけぞう瀕死ブログ OSS化 GitHubリポジトリ 以下

先日開催されたSpark + AI Summit 2019にあわせてDatabricks社からSpark用のストレージレイヤ「Delta Lake」のOSS化が発表されました。 databricks.com GitHubリポジトリはこちら。 github.com Delta LakeはSparkのライブラリとして実装されており、分散ストレージ上で以下のような機能を提供します。 ACIDトランザクシ... 続きを読む

［速報］Microsoft SQL Server 2019発表。SparkとHDFSを製品に統合、データ仮想化を搭載。Microsoft Ignite 2018 － Publickey

2018/09/24 67 users Publickey HDFS リレーショナルデータベース

マイクロソフトは米フロリダで開催中のイベント「Microsoft Iginte 2018」で、同社のリレーショナルデータベースの次期バージョン「Microsoft SQL Server 2018」を正式に発表しました。 SQL Server 2019ではビッグデータの処理や機械学習への対応などが重視され、Apache SparkとHDFS（Hadoop Distributed File System）... 続きを読む

spark

2018/09/08 171 users

子供の歴史教科書についてこれから投稿する。ちなみにカナダは高校まで義務教育で教科書も無料で支給される。ただし学校の所有で学年が終わったら返却する。 https://t.co/6yDMVdH1hW 続きを読む

Kafka/Fluentd/Sparkを用いたデータ分析基盤の運用話 / ペンギン愛好家 さん - ニコナレ

2018/04/02 67 users Kafka fluentd ニコナレ データ分析基盤

新宿Geek Lounge#4 分析基盤Meetup ver2での発表資料です。 https://shinjuku-geek-lounge.connpass.com/even... すべて表示 続きを読む

WordPressでさまざまなデザインのランディングページやブログが、簡単にドラッグ&ドロップで作成できる -Spark | コリス

2017/09/29 53 users コリス ミニマル コーディング ポートフォリオ グリーン

ランディングページ、ポートフォリオ、ギャラリー、ブログなど企業サイトや個人ブログをコーディングを必要とせずに、簡単に作成できる多目的用のWordPressのテーマファイルを紹介します。 デフォルトでさまざまなデザインが用意されており、ミニマル、クリーン、モダンなど、使いやすいものが揃っています。 Spark Sparkの特徴 Sparkのデモ Sparkのダウンロード Sparkの特徴 Spark... 続きを読む

Amazon、ショッピングSNS、Sparkをリリース――フォーマットはInstagram Srtoris的、当面米国のみ | TechCrunch Japan

2017/07/18 52 users アイディア Stories 当面米国 フォーマット リリース

今日（米国時間7/18）、Amazonは購入できる商品写真を配信するAmazon Sparkをリリースした。これは通販における商品の発見を改善するサービスで、一見したところFacebookのInstagram Storiesに似ている。Storiesと同様、Amazon Sparkもレビュー、アイデイア、写真などユーザーからの投稿をベースにしたサービスだ。 ユーザーが自分のお気に入りの商品の写真を... 続きを読む

Dockerでデプロイ、60ノードまでスケールアウト、Sparkで分析 　テラバイト・クラスの集計処理もあっさり返すdashDB LocalでDWHを構築する - はてなニュース

2017/05/29 254 users DWH インメモリ Docker データウェアハウス デプロイ

日本アイ・ビー・エム（以下、日本IBM）の「IBM dashDB Local」は、プライベートクラウド/ハイブリッドクラウドに最適な構成を持つデータウェアハウス（DWH）向けの製品である。Dockerコンテナとしてデプロイ、スケールアウト（規模拡大）でき、データ量や処理負荷の急増に柔軟に対応できる。インメモリの列指向データベースと並列処理により検索処理を高速に実行する。システムの成長に柔軟に対応で... 続きを読む

（翻訳）2017年の展望: pandas, Arrow, Feather, Parquet, Spark, Ibis - Qiita

2017/02/26 177 users IBIS Feather Qiita Parquet 展望

始めに：pandasの作者であるWes McKinneyさんがPythonのデータツール関連でとても興味深いblogを書かれているので、翻訳して日本のPyDataコミュニティに公開してもいいでしょうか、とお聞きしたところ、快諾をいただきましたので少しずつ訳して公開していこうと思っています。 （原文： http://wesmckinney.com/blog/outlook-for-2017/） 20... 続きを読む

非英語ネイティブにとってのOSSのメンテナンスコスト - once upon a time,

2017/01/01 207 users OSS ディストリビューター Hadoop Cloudera

2017 - 01 - 01 非英語ネイティブにとってのOSSのメンテナンスコスト community program disclaimer: この記事を書いている人はClouderaという Hadoop /Sparkの ディストリビューター の会社にいます。 codelunch.fmの20回目を聞いていろいろ思うところがあったのでつらつら買いてみます。 codelunch.fm この回のcode... 続きを読む

Sparkと機械学習と時々MPI « LINE Engineers' Blog

2016/12/20 2666 users 勾配 久保 分散処理フレームワーク 機械学習エンジニア 弊社

はじめに こんにちは、LINEで機械学習エンジニアを担当している久保です。この記事はLINE Advent Calendar2016の14記事目です。 今回の記事は、機械学習の（勾配などの）基本的な知識を持ち、Sparkにおける機械学習に興味がある人向けの内容となっています。 Sparkは大規模なデータのための分散処理フレームワークとして人気があり、弊社でも機械学習関連の開発において利用しています... 続きを読む

今更始めるDocker on Mac、今更覚えるDockerコマンド - 病みつきエンジニアブログ

2015/12/24 68 users dockerコマンド packer Docker 手元

2015 - 12 - 24 今更始めるDocker on Mac、今更覚えるDockerコマンド 今更ながらDocker初めて見た。モチベーションとしては、Sparkとか試すために、手元に仮想環境がほしいから。なので、Immutable Infrastructureとか、KubernetesとかPackerはもちろん、Dockerfileとかにも踏み込まず、Dockerを始めてみる Docker... 続きを読む

Graylog ではじめるログ管理 - クックパッド開発者ブログ

2015/11/25 300 users Kafka KINESIS セキュリティグループ SaaS

2015 -11 -25 Graylog ではじめるログ管理 こんにちは。インフラストラクチャー部 セキュリティグループの星 ( @kani_b ) です。 主に "セキュリティ" や "AWS" といったタグのつきそうなこと全般を担当しています。 Fluentd などのデータコレクタ、Kibana やその他 SaaS による可視化、Kafka, Kinesis, Spark などのストリーム処理... 続きを読む

ターミナルにリッチなモニターを表示させる

2015/11/11 528 users ターミナル モニター シェルスクリプト computer 地図

12 Nov 2015 Top › Computer › JavaScript , Go ターミナルにリッチなモニターを表示させる B! 0 1 0 0 0 以前、 sparkという シェルスクリプトで棒グラフを表示するコマンドを紹介しましたが、 さらに複雑なグラフや地図などもターミナルに表示してしまおうと言う プロジェクトの紹介。 blessed-contrib termui wopr Spon... 続きを読む

Python - 【機械学習】Yahoo Newsの記事をMLlibのトピックモデル(LDA)でクラスタリングする。 - Qiita

2015/09/20 84 users LdA Qiita MLlib qiita.com http

Sparkシリーズ第３弾の記事です。MLlibのLDAを使ってYahoo Newsの記事をトピックモデル(LDA:Latent Dirichlet allocation)でクラスタリングしてみます。 第一弾 【機械学習】iPython NotebookでSparkを起動させてMLlibを試す http://qiita.com/kenmatsu4/items/00ad151e857d546a97c3... 続きを読む

O'Reilly Japan - 初めてのSpark

2015/08/10 61 users ＲＤＤ O'Reilly Japan 補足 プログラミング

Sparkの概要、RDDを使ったプログラミング、キー／値ペアの処理など基礎的な説明から、Sparkの高度なプログラミング、クラスタ上での本格的な利用まで解説した、Sparkの総合的な入門書です。日本語版の内容にはバージョン1.3/1.4での機能強化も取り入れ、土橋昌氏による「原書発行以降の変更点」、猿田浩輔氏による「Spark SQLについて本編の補足」、堀越保徳氏と濱口智大氏による「Spark/... 続きを読む

Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（前編） － Publickey

2015/08/04 121 users レイテンシ Publickey Hadoop スループット

Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（前編） 最近ビッグデータ処理基盤として急速に注目を集めているのが「Apache Spark」です。 Sparkは、Hadoopと比較されることも多く、Hadoopよりも高速かつ高機能な分散処理基盤だと言われています。Sparkとはいったい、どのようなソフトウェアな... 続きを読む

Javaのマイクロフレームワーク ― この新トレンドは見逃せない | インフラ・ミドルウェア | POSTD

2015/07/13 437 users POSTD Scala Ninja フレームワーク Java

マイクロフレームワークは、現時点で得られる最軽量のJava開発手法であり、アーリーアダプタたちの開発現場では非常に良い結果を出しています。。ここで、人気の高いJavaのマイクロフレームワークとして、Ninja、Spark、Joddの3つのフレームワークを取り上げてみましょう。この記事は、JavaとScalaの例外分析・パフォーマンス監視のツールTakapiのblogに投稿されたものです。 Java... 続きを読む

SparkアプリケーションのためのJavaガベージコレクションのチューニングについて - TEPPEI STUDIO

2015/06/01 52 users Databricks 誤訳 teppei studio 性能

2015-06-02 SparkアプリケーションのためのJavaガベージコレクションのチューニングについて Spark この記事は、インテルの SSG STOビッグデータテクノロジーグループのメンバーからDataBricksに寄稿されたブログを翻訳したものです。誤訳がありましたら、@teppei_tosaに御連絡ください。Sparkは、その優れた性能、シンプルなインターフェイス、および分析や計算の... 続きを読む

spark: シェルスクリプトで棒グラフ表示

2015/05/19 258 users シェルスクリプト スクリプト 数値 使用例

19 May 2015 12:00 pm Posted in Computer Tagged as Bash spark: シェルスクリプトで棒グラフ表示 B! P GitHubで面白そうなシェルスクリプトを探してる時に見つけた Spark by holman について。 数値を棒グラフ上に表示してくれるスクリプトです。 Spark 使用例 Sponsored Links Spark Spark ... 続きを読む

Sparkを用いたビッグデータ解析 〜 前編 〜

2015/04/22 68 users Twitter バツイチ アドテク本部 井上 いんげん

Transcript 1. Sparkを用いた ビッグデータ解析 前編 株式会社サイバーエージェント 井上 ゆり 2. 自己紹介 > 井上 ゆり 株式会社サイバーエージェント アドテク本部 AMoAd所属 twitter: @iyunoriue GitHub: x1- HP: バツイチとインケンのエンジニアブログ http://x1.inkenkun.com/ 2 3. 本日の発表内容 3 1. ... 続きを読む

SparkとMLlibで実現するかんたん高速機械学習

2014/07/08 75 users MLlib

Loading… Flash Player 9 (or above) is needed to view presentations. We have detected that you do not have it on your computer. To install it, go here. 続きを読む

DCセンターの原価計算について〜「クラウド」の別側面として - 急がば回れ、選ぶなら近道

2014/06/22 246 users 近道 原価計算 クラウド 別側面 Hadoop

要するに「データセンターの原価計算」です。いろいろこのあたりに関わっています。複雑な計算ロジックと大量のデータを扱う必要があるので、大規模並列計算の適用が必須になり、結果として当方の出番になった、という状態。尚、実行基盤にHadoop（MapR）を利用しています。（一応予定ではSparkに移行するつもりで、開発も始まっています。） さて、いろいろやっていて思うところがあるので、現時点での考え方をま... 続きを読む

Hadoopソースコードリーディング 第16回に参加してきました #hadoopreading ｜ Developers.IO

2014/05/29 57 users 目前 冒頭 Apache Spark 前半 背景

Hadoopソースコードリーディング 第16回に参加してきました。今回は1.0がリリースされる目前のApache Sparkがテーマでした。 NTTデータ濱野さんの冒頭の挨拶 Spark1.0リリースを記念する予定が、されていないｗ 今回はお酒を飲んでグダグダする時間はないｗ Apache Sparkのご紹介（前半） NTTデータ土橋さん まずは土橋さんからSparkの背景やSpark Summi... 続きを読む

Apache Sparkを分かりやすく解説 | Hadoopとビッグデータソリューションのリーディングカンパニー | Cloudera Japan

2014/03/06 367 users Hadoop Cloudera Databricks 原文

投稿日: 2014/03/07 本記事は、弊社パートナーであるDatabricks様による寄稿記事を翻訳したものです。原文についてはこちらをご覧ください。 Apache Spark (incubating)をサポートするDatabricksに、以下のゲスト記事を寄稿していただきました。ClouderaとDatabricksはCDH内でSparkを提供しサポートすると最近発表しました。今後、Spar... 続きを読む

holman/spark · GitHub

2014/03/05 71 users GitHub

続きを読む