Google開発主導のビルドツール「Bazel」がバージョン1.0に到達、次期Angluarでも正式採用へ － Publickey

2019/10/15 117 users ビルドツール Publickey Kubernetes 説明

Google開発主導のビルドツール「Bazel」がバージョン1.0に到達、次期Angluarでも正式採用へ BazelはKubernetesやHadoopのように、もともとGoogle社内で使われていたソフトウェアがオープンソースとなったものです。そのため、BazelのWebサイトには次のような説明が記されています。 When you build software with Bazel,... 続きを読む

競技プログラミングは業務の役に立つか？　~ OSSデベロッパー編 ~ - Yahoo! JAPAN Tech Blog

2019/02/05 55 users 競技プログラミング Yahoo 業務 OSSデベロッパー 傍ら

こんにちは。データプラットフォーム本部の鯵坂（@ajis_ka）です。 OSSデベロッパーとしてヤフーでの業務でApache Hadoop（以下、Hadoop）コミュニティで開発を続ける傍ら、昨年から趣味として競技プログラミングを始め、オンラインやオンサイトのコンテストに参加しています。 Hadoop Committerとしての仕事 Hadoopは、... 続きを読む

DMM.comのビッグデータ基盤を支える技術 // Speaker Deck

2017/08/25 111 users Speaker Deck DMM.com ビッグデータ基盤

TECH PLAY Conference 2017 の発表資料となります ビッグデータを活用したWebサービスの技術 #techplayconf2017 #techplayjp https://techplay.jp/event/628968 株式会社DMM.comラボ 鈴木 翔太 / 吉田 龍馬 === 弊社ビッグデータ部では、オンプレミス環境で Hadoop をベースとしたデータ基盤の保守運用... 続きを読む

Oss貢献超入門

2017/08/05 401 users React Scala OSS リポジトリ アドテクエンジニア

Oss貢献超入門 1. OSS貢献超入門 builderscon2017 2017/8/5 shigemk2 2. 自己紹介 ● shigemk2 ● アドテクエンジニア ● ScalaとかHadoopとかReactとか ● http://www.shigemk2.com/ 3. 超結論 好きなリポジトリを ウォッチしよう 4. 今日の流れ 1. 対象者 2. OSSとは 3. 貢献できない理由 ... 続きを読む

「Hadoopの時代は終わった」の意味を正しく理解する - 科学と非科学の迷宮

2017/07/09 832 users DISCLAIMER 言説 迷宮 主張 実態

Hadoop の時代は終わった、という言説をたまに見かけるようになりました。 もちろん終わってなどいません。しかし、 Hadoop とその取り巻く環境が変化したのは事実です。 本記事では、この変化が何なのかを明らかにし、その上で、なぜ Hadoop の時代は終わったという主張が実態を正しく表していないのかを説明していきます。 DISCLAIMER 私は Hadoop を中心としたデータ基盤を取り扱... 続きを読む

Hadoopは失敗した、という分析

2017/03/28 342 users 分析

Use Evernote to create, collect, and share everything that matters in your personal and professional life. Get started now. 続きを読む

HadoopやMongoDBのデータ消去被害が続出、世界各国で - ITmedia エンタープライズ

2017/01/20 56 users MongoDB 身代金 警鐘 標的 続出

「適切な認証なしにインターネットに直接露呈されているデータベースサービスは、データを盗まれたり、消去されたりする危険がある」とセキュリティ企業は警鐘を鳴らしている。 世界各国でHadoopやMongoDBなどのシステムがサイバー攻撃の標的にされ、身代金を要求されたり、データを消去されたりする被害が相次いでいるという。セキュリティ企業やメディア各社が伝えた。 セキュリティ企業Fidelis Cybe... 続きを読む

非英語ネイティブにとってのOSSのメンテナンスコスト - once upon a time,

2017/01/01 207 users OSS ディストリビューター Cloudera code 会社

2017 - 01 - 01 非英語ネイティブにとってのOSSのメンテナンスコスト community program disclaimer: この記事を書いている人はClouderaという Hadoop /Sparkの ディストリビューター の会社にいます。 codelunch.fmの20回目を聞いていろいろ思うところがあったのでつらつら買いてみます。 codelunch.fm この回のcode... 続きを読む

新Google翻訳を使って3700ワードの技術文書を1時間で翻訳した - 科学と非科学の迷宮

2016/11/24 404 users 迷宮 技術文書 科学 ニューラルネットワーク 非科学

2016 - 11 - 24 新Google翻訳を使って3700ワードの技術文書を1時間で翻訳した 新しいGoogle翻訳がニューラルネットワークに基づく機械翻訳に移行して品質が向上した 、というので早速使ってみました。 翻訳対象は HadoopのFair Schedulerに関するドキュメント です。 Fair Schedulerは、Capacity Schedulerと並ぶ Hadoop の2... 続きを読む

株式会社ドワンゴを退職しました - frkout's diary

2015/12/23 83 users 株式会社ドワンゴ ドワンゴ 新卒 有給消化期間 ビッグデータ

2015 - 12 - 23 株式会社ドワンゴを退職しました 2013年に新卒で入って３年弱働いた株式会社 ドワンゴ を12月末で退職します。 12/22最終出社で現在有給消化期間です。 配属された大規模データ分析基盤開発チームで２年半業務し、最後の１年間は開発リーダーを任せていただきました。 ビッグデータ とか Hadoop をメインにいろいろ自由にやらせてもらえて本当に楽しかったです。 内定後... 続きを読む

Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（前編） － Publickey

2015/08/04 121 users レイテンシ Publickey スループット Spark 前編

Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（前編） 最近ビッグデータ処理基盤として急速に注目を集めているのが「Apache Spark」です。 Sparkは、Hadoopと比較されることも多く、Hadoopよりも高速かつ高機能な分散処理基盤だと言われています。Sparkとはいったい、どのようなソフトウェアな... 続きを読む

運用を楽にするためのアプリケーションコードを書くということ - sonots:blog

2015/05/18 584 users アプリケーションコード sonots デプロイ フェーズ 部署

4/1付けで Hadoop やらなんやらを運用している部署に異動してから、ひたすら新しいツールの実装をしていた。 この度、そのツールの最初の機能要件は実装し終わって最初のデプロイをするフェーズに入ったので、そのツールを運用に載せるためのアプリケーションコードを書いていた。運用に載せるためのアプリケーションコードは、機能要件とは別の所にある非機能要件であって運用の肌感がわかっていないと要件を出すのは... 続きを読む

2種類のログ解析基盤 - wyukawa’s blog

2015/05/02 73 users wyukawa’s blog ログ解析基盤 Presto

Hadoop, Presto, yanagishima僕は仕事では2種類のログ解析基盤を見ています。1つ目はどちらかというとエンジニアよりの解析基盤でサービス側のエンジニアがShib, ShibUIを通して好きにクエリを投げることができます。ただしtableをcreateしたりdropしたりinsertしたりはできません。selectのみです。データの更新作業は別途cronのhive batchで... 続きを読む

本の虫: ビッグデータツールチェインのセキュリティはビッグリスク、あるいは、誰もHadoopをスクラッチからビルドする方法を知らない件について

2015/04/28 334 users 惨状 惨劇 スクラッチ 筆者 セキュリティ

2015-04-28 ビッグデータツールチェインのセキュリティはビッグリスク、あるいは、誰もHadoopをスクラッチからビルドする方法を知らない件について The sad state of sysadmin in the age of containers コンテナー時代のシステム管理者の惨状 システム管理は惨劇に見舞われている。現状は悲惨だ。 筆者は昔気質のシステム管理者に不満はない。システムの... 続きを読む

データベース研究者から見た"ビッグデータ"の意義 「HadoopもNoSQLも邪道だけど…」 - ログミー

2015/04/25 138 users 准教授 一堂 エキスパート スピーカー NoSQL

情報処理における全国のエキスパートが一堂に会したリクルート主催の「春の情報処理祭」。人々が日常的に大量のデータを生成・消費するに伴い、「ビッグデータ」の重要性が高まっていると語る、大阪大学准教授の原隆浩氏。「ビッグデータを制する者が世界を制する」とまで言われ、その研究に注目が集まるデータベース分野の歴史と可能性について解説します。（春の情報処理祭in京都より） 【スピーカー】 大阪大学　准教授　原... 続きを読む

フリーのVM環境を使って、ビッグデータ分析の学習環境をすばやく構築する （1/3）：CodeZine

2015/04/24 263 users CodeZine RDBMS VM環境 インポート 起動

この連載では、フリーのVM環境「Cloudera Quick Start VM」を使って、ビッグデータ分析に必要な各種技術（データの取込み、非構造化データの分析、機械学習、全文検索など) を学習します。この連載を読むことで、ビッグデータ分析基盤に必要な基礎技術を学ぶことができます。第1回では、VM環境のダウンロードと起動、RDBMSからHadoopへのデータのインポート、Hadoop上でのテーブル... 続きを読む

Treasure Dataを支える(中の人に必要な)技術 - myui's memo

2015/04/15 252 users myui's memo Treasure Data 技術

2015-04-15 Treasure Dataを支える(中の人に必要な)技術 Treasure Data（以下、TD）に入社して早2週間が経ちました。 入社してから知ったのですが、平成14年度IPA未踏ユース第1期で同期でスーパークリエイタであった西田さんがTDで働いているのを知りました。MapReduceやHadoopが登場した頃、「Googleを支える技術」という技術書*1でお世話になったの... 続きを読む

第1回　なぜ，Hadoopはどのように動くのか，を学ぶのか：Hadoopはどのように動くのか ─並列・分散システム技術から読み解くHadoop処理系の設計と実装｜gihyo.jp … 技術評論社

2015/04/01 268 users 並列 実装 Hadoop処理系 gihyo.jp 内部

はじめに ビッグデータ解析のためのシステム基盤として，Hadoopをはじめとするオープンソースのデータ処理ソフトウェア（データ処理系）が広く利用されつつありますが，当該データ処理系をすでに利用している，もしくは利用の検討をしている読者の方々の中には，たとえば以下のような問題を抱えている方が少なからずいらっしゃるのではないでしょうか。 データ処理系の使い方はなんとなくわかるが，その内部をあまり理解で... 続きを読む

HDFSのリースリカバリ、ブロックリカバリ、およびパイプラインリカバリ動作詳解 (その1) | Hadoopとビッグデータソリューションのリーディングカンパニー | Cloudera Japan

2015/03/02 367 users Cloudera HDFS リーディングカンパニー 原文 動作

投稿日: 2015/03/03 本記事は、Cloudera のソフトウェア・エンジニア Yongjun Zhang による記事を翻訳したものです。原文についてはこちらをご覧ください。 HDFSの重要な設計要件のひとつとして、連続的かつ正確な動作の保証が挙げられる。ネットワークやノード障害時に、HDFSへの書き込みの正確さを保証することは複雑な問題のひとつと言えるだろう。これは、リースリカバリ、ブロ... 続きを読む

オープンデータプラットフォームアライアンス | Hadoopとビッグデータソリューションのリーディングカンパニー | Cloudera Japan

2015/02/23 367 users リーディングカンパニー Cloudera Japan

投稿：Mike Olson、2015年2月17日 本記事は、弊社Chief Strategy Officerである Mike Olson が公開したVision Blogを翻訳したものです。原文についてはこちらをご覧ください。 今朝、PivotalとHortonworksがオープンデータプラットフォームイニシャティブを設立することを発表しました。Clouderaはこれに参加することはありませんが、... 続きを読む

「Azure Machine Learning」が正式版に、PythonやRのライブラリにも対応。誰でも機械学習を利用可能に － Publickey

2015/02/20 93 users Publickey 推論 Python ライブラリ Excel

Azure Machine Learningを用いることで、利用者は機械学習のための大量の仮想マシンやHadoopのようなソフトウェアを用意する必要がなくなり、容易に機械学習による推論や予測、分析といったサービスを実現できるようになります。クライアントとしてExcelを利用することも可能。 モデルの作成には、Webブラウザからグラフィカルな操作が可能な「Azure Machine Learning... 続きを読む

Hadoopの勉強会をしました | ツチノコブログ

2015/01/06 55 users Polls Archive ツチノコブログ IPv6 新年

新年あけましておめでとうございます。今年もよろしくお願いします。 新年早々、Hadoopの部内勉強会をしました。 Hadoopって名前は良く聞くけど結局何をするものなの？、という疑問に答えるべく頑張りました。 なにか間違い等があれば教えてください。 Hadoopでも、IPv6を無効化、がPolls Archive 最近の投稿 Hadoopの勉強会をしました 2015年1月6日 部内勉強会の振り返り... 続きを読む

2015年のHadoopとビッグデータ活用：新春特別企画｜gihyo.jp … 技術評論社

2015/01/02 67 users 濱野 MapReduce YARN SQL 賢一朗

新春特別企画 2015年のHadoopとビッグデータ活用 2015年1月2日 濱野賢一朗 Hadoop, MapReduce, Apache Spark, Apache Tez, SQL, YARN この記事を読むのに必要な時間：およそ 2 分 あけましておめでとうございます。濱野 賢一朗です。 1年は早いものですね。本当にあっという間に過ぎ去ってしまうものです。しかし，いざ1年を振り返ってみると... 続きを読む

最弱のHadoopクラスタをRaspberry Piで構築する - もょもとの技術ノート

2014/12/22 51 users Hadoopクラスタ ＨＡ インテル AWS 最弱

2014-11-04 最弱のHadoopクラスタをRaspberry Piで構築する Hadoop Raspberry Pi はじめに HadoopのHA勉強したいなーと思い、Hadoopクラスタ組んでみました。 で、環境をどうするかが問題です。 次のパターンでHadoopクラスタ組めないか、考えました。 AWS サーバー自作で仮想化 インテルのNUC Raspberry Pi AWSって最高じゃ... 続きを読む

日本から初めて3人がHadoopコミッタに就任。NTTとNTTデータから。業務としてのコミッタは人事評価も有利になる？ － Publickey

2014/12/18 66 users コミッタ Publickey NTT 権限 就任

NTTとNTTデータは、オープンソースで開発されているHadoopのプログラムを書き換える権限を持つコミッタに、同社の社員3名が就任したと発表しました。 Hadoopのコミッタに就任した3人。左から、NTTデータ 基盤システム事業本部 鯵坂明氏、NTT ソフトウェアイノベーショ ンセンタ 小沢健史氏、NTTデータ 基盤システム事業本部 岩崎正剛氏 Hadoopのコミッタに日本企業の従業員が就任する... 続きを読む