Clouderaを退職しました - 科学と非科学の迷宮

2018/11/30 65 users 迷宮 科学 非科学

2018年11月30日(金)は、Cloudera株式会社への最終出社日でした。2011年4月1日に入社したので、勤続日数は2800日でした。 Clouderaオフィス2011年 Cloudera Japan オフィス 2012年 日本にオフィスも同僚もいない状態からのスタートでしたが、今日、多くの同僚たちに見送られる形で会社を出ることができました。 退職する... 続きを読む

仕事ではじめる機械学習

2018/05/17 98 users 機械学習 仕事 Aki Ariga Inc

仕事ではじめる機械学習 1. Aki Ariga | Field Data Scientist 2018.05.17 2. 2 © Cloudera, Inc. All rights reserved. ● Field Data Scientist at Cloudera ● Previously research engineer at Toshiba, Rails developer at C... 続きを読む

仕事ではじめる機械学習

2018/05/17 98 users 機械学習 仕事 Aki Ariga Inc

仕事ではじめる機械学習 1. Aki Ariga | Field Data Scientist 2018.05.17 2. 2 © Cloudera, Inc. All rights reserved. ● Field Data Scientist at Cloudera ● Previously research engineer at Toshiba, Rails developer at C... 続きを読む

Cloudera、AWS上でPaaS「Cloudera Altus」提供を発表。ビッグデータの分析基盤をサービスとして提供 － Publickey

2017/05/24 37 users Publickey Hadoop PaaS Spark 発表

Cloudera、AWS上でPaaS「Cloudera Altus」提供を発表。ビッグデータの分析基盤をサービスとして提供 先月4月28日にニューヨーク証券取引所に上場したばかりのClouderaは、クラウドサービス「 Cloudera Altus 」を発表しました。 これまで主要なHadoop/Sparkのディストリビューションベンダーとして知られてきた同社によるクラウドサービスの提供開始は、同... 続きを読む

Clouderaのサポートエンジニアという仕事 - Togetterまとめ

2017/03/09 25 users OSS Togetterまとめ 一流 職種 エンジニア

Clouderaのサポートエンジニア、外資系で英語を使う職場で海外に行くチャンス増えるだけでなくエンジニア系と技術営業系どちらにも職種変更できるので、グローバルで活躍したいけど色々なキャリアパスを持ちたいエンジニアにはかなりおすすめできる仕事。給料も結構いいよ ClouderaのサポートエンジニアになればOSSのソースコードをたくさん読めるし、一流のエンジニアと議論して設計を学ぶ機会が多くなるので... 続きを読む

非英語ネイティブにとってのOSSのメンテナンスコスト - once upon a time,

2017/01/01 207 users OSS ディストリビューター Hadoop code ところ

2017 - 01 - 01 非英語ネイティブにとってのOSSのメンテナンスコスト community program disclaimer: この記事を書いている人はClouderaという Hadoop /Sparkの ディストリビューター の会社にいます。 codelunch.fmの20回目を聞いていろいろ思うところがあったのでつらつら買いてみます。 codelunch.fm この回のcode... 続きを読む

#eigo と私〜あるいは子持ちの業務外活動の続け方 - once upon a time,

2016/12/21 23 users English Hadoop Spark 子持ち 外資

2016 - 12 - 21 #eigo と私〜あるいは子持ちの業務外活動の続け方 english こんにちは、温泉行きたいです。この記事は、 pyspaアドベントカレンダー2016 の21日目です。1日前は、 渋川さん の保険の話でした。 Clouderaという 外資 系の Hadoop /Sparkを中心としたプラットフォームを提供する会社に今年転職しました。そこで生きていく上で必要な #ei... 続きを読む

「Hadoop生みの親」の新たな挑戦 ─ダグ・カッティング氏インタビュー：インタビュー｜gihyo.jp … 技術評論社

2015/11/17 18 users Hadoop タグ OSS Doug Cutting 手かげ

「Hadoop生みの親」として知られ，現在はHadoopを中心としたビッグデータ処理に関するエコシステムを提供するClouderaのチーフ・アーキテクトを務めるダグ・カッティング（Doug Cutting）氏。Hadoopをはじめ全文検索システムLucene等，著名なオープンソースソフトウェア（OSS）の開発を手がけ，それらオープンソース開発に対する姿勢も多くの開発者に影響を与えています。 そのカ... 続きを読む

HDFSのイレイジャーコーディング (Erasure Coding) | Tech Blog

2015/09/25 20 users Hadoop HDFS ターゲット Tech Blog ブログ

以前紹介したHDFSのイレイジャーコーディング「HDFSが変わる？HDFSのイレイジャーコーディング対応」について詳しく書かれたブログがClouderaから公開されました。Hadoop以前紹介したHDFSのイレイジャーコーディング「HDFSが変わる？HDFSのイレイジャーコーディング対応」について詳しく書かれたブログがClouderaから公開されました。Hadoop 3.0をターゲットにして開発さ... 続きを読む

HDFSのリースリカバリ、ブロックリカバリ、およびパイプラインリカバリ動作詳解 (その1) | Hadoopとビッグデータソリューションのリーディングカンパニー | Cloudera Japan

2015/03/02 367 users Hadoop HDFS リーディングカンパニー 原文 設計要件

投稿日: 2015/03/03 本記事は、Cloudera のソフトウェア・エンジニア Yongjun Zhang による記事を翻訳したものです。原文についてはこちらをご覧ください。 HDFSの重要な設計要件のひとつとして、連続的かつ正確な動作の保証が挙げられる。ネットワークやノード障害時に、HDFSへの書き込みの正確さを保証することは複雑な問題のひとつと言えるだろう。これは、リースリカバリ、ブロ... 続きを読む

Evolution of Impala #hcj2014

2014/07/08 29 users hcj2014 UDF Impala Sho ユーザビリティ

Evolution of Impala #hcj2014 Presentation Transcript 1   Evolu(on  of  Impala   Sho  Shimauchi,  Cloudera   2014/07/08   2   今日のトピック   •  Cloudera  Impala  とは？   •  クエリ言語とユーザビリティ   •  メタデータ管理   •  UDF... 続きを読む

Clouderaで作るデータ分析環境 - 科学と非科学の迷宮

2014/05/06 36 users ETL DWH Hue 迷宮 インポート

2014-05-07 Clouderaで作るデータ分析環境 wyukawaさんがデータ分析環境について書いていましたが、全部 CDH を使えば実現可能なので便乗して書いておこうと思います。 1. ETL 処理 CDH なら以下のツールがあります。 Sqoop RDBMS / DWH などに対するインポート・エクスポートツール。最近日本語の本も出版されたので皆さん買ってください。 Hue を使えば ... 続きを読む

インテル、過去最大のデータセンター戦略投資でクラウデラの筆頭株主に。Hadoopとインテルアーキテクチャをビッグデータ時代のプラットフォームにすべく － Publickey

2014/03/31 21 users Publickey Hadoop クラウデラ インテル 出資

米インテルとHadoopのディストリビューションベンダーとして知られる米クラウデラは、インテルがクラウデラへ出資、インテルがクラウデラの戦略的な筆頭株主となることを発表しました。 Cloudera, Intel Commit to Accelerate and Transform How Enterprises Use Big Data; Intel Makes Significant Equit... 続きを読む

データセンター技術への投資としては「過去最大」：米インテルがクラウデラに出資、Hadoopディストリビューション「CDH」へ統合 - ＠IT

2014/03/28 21 users CDH includ Hadoopディストリビューション

データセンター技術への投資としては「過去最大」：米インテルがクラウデラに出資、Hadoopディストリビューション「CDH」へ統合 米インテルは2014年3月27日、Apache Hadoopディストリビューションプロバイダーの米クラウデラ（Cloudera）への出資を発表した。インテルのHadoopディストリビューションは、クラウデラの「Cloudera's Distribution includ... 続きを読む

Apache Sparkを分かりやすく解説 | Hadoopとビッグデータソリューションのリーディングカンパニー | Cloudera Japan

2014/03/06 367 users Hadoop Databricks Spark 原文 寄稿記事

投稿日: 2014/03/07 本記事は、弊社パートナーであるDatabricks様による寄稿記事を翻訳したものです。原文についてはこちらをご覧ください。 Apache Spark (incubating)をサポートするDatabricksに、以下のゲスト記事を寄稿していただきました。ClouderaとDatabricksはCDH内でSparkを提供しサポートすると最近発表しました。今後、Spar... 続きを読む

調査結果報告：国内でもClouderaがHadoop市場を圧倒的にリード | Hadoopとビッグデータソリューションのリーディングカンパニー | Cloudera Japan

2013/12/27 16 users Hadoop リーディングカンパニー Hadoop活用 実態

2013年12月27日 Clouderaは2013年11月、Cloudera World Tokyo 2013（CWT2013）の来場者を対象にしたアンケート調査の実施・分析を行いました。回答者数は406人でした。未回収数が多かったため来場者のHadoop活用の状況把握が出来える結果には至りませんでしたが、国内のHadoop市場の多くの実態をかいまみることができます。 １．Hadoopの利用状況 ... 続きを読む

DatameeerがシリーズDで$19Mを調達, Hadoopとデータ分析/BIの市場は成熟期に入る | TechCrunch Japan

2013/12/19 9 users Hadoop Hadoopディストリビューション クラスタ

データ分析市場のブームが始まっている。Clouderaなどのビッグデータ企業が提供するHadoopディストリビューションが成熟し、またリアルタイムのデータ処理ができるようになって有用性も増した。今では安価な日用雑貨のようなハードウェアを集めてクラスタを作り、データの分散処理を行い、その結果を分析する。そして顧客たちはHadoopとデータ分析を組み合わせたデータハブを作って、それまでのデータウェアハ... 続きを読む

Hadoopは誰が開発しているのか（2013年） - あした、きっと かわる。。。

2013/12/18 55 users Hadoop Hortonworks エントリ 集計 最後

この投稿は @hamaken によるHadoop Advent Calendar 2013の18日目の記事です。このエントリでは、Hadoop が誰の手によって開発されているのか・・・を紹介します。これまでに Hortonworks や Cloudera によって Hadoop に貢献したコード量などの集計が紹介されてきました*1。しかし、2011年を最後に新しいデータが出てきていないので、201... 続きを読む

AWSがHadoopビッグデータのクェリツールImpalaをサポート | TechCrunch Japan

2013/12/17 17 users AWS TechCrunch JAPAN Impala 言語

Amazon Web ServicesにImpalaのサポートが加わった。これはClouderaがGoogleに倣って開発したクェリツールで、大量のデータを並列処理によりリアルタイムで処理する。Impalaでは、デベロッパがAWSのElastic MapReduceの上で、SQLふうの言語を使ってクェリを行える。それは高速でアクセス性も良く、オープンソースの分散コンピューティングシステムHadoo... 続きを読む

オライリーセミナー Hive入門 #oreilly0724

2013/07/24 22 users Hive 最初 業務全般 メイン 担当

オライリーセミナー Hive入門 #oreilly0724 Presentation Transcript 1 Hiveの正しい使い方   Cloudera  株式会社   嶋内　翔   自己紹介   •  嶋内　翔(しまうち しょう)   •  2011年4月にClouderaの最初の日本人社員として入 社   •  テクニカルサポート業務をメインに、日本における技 術に関係する業務全般を担当 ... 続きを読む

Clouderaが「SQL-on-Hadoop」のImpala 1.0正式版リリース － Publickey

2013/05/01 30 users Publickey Hadoop release クラスタ

Hadoopのディストリビューションベンダとして知られるClouderaは今日、Hadoopのクラスタに対してSQLでの問い合わせを実現するオープンソースソフトウェア「Cloudera Impala。製品版は「Cloudera Enterprise RTQ」として販売されます。 Release - Cloudera Ships Impala 1.0: Industry's First Produc... 続きを読む

/var/log/oza.log: RCFile，Parquet，ORCFile

2013/03/18 44 users log var Parquet oza.log ゴー

Mar 18, 2013 RCFile，Parquet，ORCFile この2ヶ月で，Cloudera/Twitter，Hortonworks からそれぞれ別の列指向ファイルフォーマットが公開されました．Parquet と ORCFile です． この記事では，まず RCFile の復習をして，その後 Parquet と ORCFile それぞれの共通点と違いをおおまかに見ていこうと思います．コー... 続きを読む

Cloudera、Hadoop管理の新製品「Cloudera Navigator」など発表 - ＠IT

2013/02/27 8 users 米カリフォルニア州 コントロール ツール データ可視化 発表

ClouderaがO'Reilly Strataカンファレンスで、Hadoopシステム内の、データ可視化、コントロールにフォーカスしたツールを発表。シンプルに管理ができるようになるという。 米Clouderaは2月26日、米カリフォルニア州で開かれたO'Reilly Strataカンファレンスで、新製品の「Cloudera Navigator」と「Cloudera Enterprise BDR」（... 続きを読む

タムタムの日記 - Hiveのロゴについての豆知識

2013/01/24 17 users Hive NHN タムタム TreasureData 殆ど

hcj2013wお疲れ様でした。 Ust録画や講演資料は殆ど公開されているようです。 特別企画として、NHNのなんとかモリスさんという方と、TreasureDataのりぴーなんとかさんという方がClouderaをスポンサーにつけてHiveTシャツを作ったそうで、私も1着いただきました。懇親会でHiveの愛を語ると戴けるという体を取っていたのですが、私はキーノートの前に戴いてしまったので、ここでHi... 続きを読む

HadoopのSQL対応分散クエリエンジン「Cloudera Impala」。Clouderaがオープンソースで公開 － Publickey

2012/10/25 113 users Publickey Hadoop MapReduce SQL

HadoopのSQL対応分散クエリエンジン「Cloudera Impala」。Clouderaがオープンソースで公開 Hadoopのディストリビューションベンダとして知られるClouderaは10月25日、SQLに対応し、データの分析速度はMapReduceよりも何倍も高速だという新しい分散クエリエンジン「Cloudera Impala」（製品名「Cloudera Enterprise RTQ」）... 続きを読む