タグ「ビッグデータ基盤」

タグビッグデータ基盤

新着順人気順 5 users 10 users 50 users 100 users 500 users 1000 users

(1 - 8 / 8件)

DMMのビッグデータ基盤の裏側を大公開！CDHクラスタ移行・Presto導入・Digdag導入により得られた効果とは？ - DMM inside

2017/09/11 20 users ＤＭＭ DMM inside pocket 裏側効果

2017 - 09 - 11 DMMのビッグデータ基盤の裏側を大公開！CDHクラスタ移行・Presto導入・Digdag導入により得られた効果とは？テクノロジー 15新卒資料公開 DMMのビッグデータ基盤の裏側を大公開！CDHクラスタ移行・Presto導入・Digdag導入により得られた効果とは？ Bookmark share tweet pocket こんにちは！DMM.com Labo ビ... 続きを読む

DMM.comのビッグデータ基盤を支える技術 // Speaker Deck

2017/08/25 111 users Speaker Deck DMM.com Hadoop 技術

TECH PLAY Conference 2017 の発表資料となりますビッグデータを活用したWebサービスの技術 #techplayconf2017 #techplayjp https://techplay.jp/event/628968 株式会社DMM.comラボ鈴木翔太 / 吉田龍馬 === 弊社ビッグデータ部では、オンプレミス環境で Hadoop をベースとしたデータ基盤の保守運用... 続きを読む

Digdagへ日次バッチを移行して幸せになるお話 // Speaker Deck

2017/06/08 80 users Digdag ワークフローエンジンリカバリ日次バッチ運用

DMM.comラボではビッグデータ基盤の日次バッチ（ETL処理）のワークフローエンジンとしてDigdagを採用しました。ワークフローの運用は、障害時のリカバリ、進捗状況に応じた他システム連携、JOB実行時間の局所化など様々な課題があります。 Digdag選定理由や設計の勘所（サーバ構成・ワークフローの設計方針）、Digdag Plugin実装、他チーム連携のためのClient実装など、課題解決の... 続きを読む

JenkinsからDigdagへ日次バッチを移行して幸せになるお話 // Speaker Deck

2017/06/08 42 users Jenkins Digdag ワークフローエンジンリカバリ

R で Amazon Athena を活用する | Amazon Web Services ブログ

2017/03/22 17 users Amazon Athena permalink ブログ裏側

Amazon Web Services ブログ R で Amazon Athena を活用する by AWS Japan Staff | on 22 MAR 2017 | in Amazon Athena | Permalink データサイエンティストはしばしば、R から SQL クエリを投げるときに、その裏側のビッグデータ基盤のインフラ管理を気に掛けなければなりません。 Amazon Athen... 続きを読む

ニュース解説 - ITインフラテクノロジーAWARD 2017、グランプリは「サーバーレスアーキテクチャー」：ITpro

2016/11/23 15 users ITpro サーバーレスアーキテクチャー IoT 進歩基盤

日経BP社は2016年11月24日、ITインフラを対象とした表彰制度「ITインフラテクノロジーAWARD 2017」の受賞技術を選出した。ITインフラテクノロジーAWARDは、クラウドサービスやビッグデータ基盤、IoT（Internet of Things）基盤など、ITインフラの急速な進歩を受け、企業が今後注目すべき技術・製品・サービスを有識者の審査を通じて選出するもの。毎年1回実施しており、今... 続きを読む

AWSのフルマネージドサービスのみ使ってIoT向けビッグデータ基盤を構築する｜ Developers.IO

2015/04/20 67 users AWS フルマネージドサービス Developers.IO

はじめに KinesisやRedshiftを使ったビッグデータ基盤の運用負荷を減らせないかと考えていたところ、Lambdaが正式公開されましたのでAWSのフルマネージドサービスだけで構築できないかやってみました。今回、構築したのはスマホアプリやIntel Edisonなどの端末からセンサー情報をKinesisに送信後、S3を経由してRedshiftにデータをロードするところまでになります。処理とし... 続きを読む

ビッグデータ基盤、注目の3分野 - 性能のためにHDDを並べるのはムダ：ITpro

2014/02/03 18 users ITpro IOPS レイテンシーフットプリント HDD

米ネットアップ製品オペレーション担当バイスプレジデントのタイ・マッコーニー氏（左）、 FlashRay担当シニアバイスプレジデントのブライアン・パウロフスキー氏フラッシュには、レイテンシーが短い、フットプリントが小さいなどのメリットがある。HDDのみを利用している顧客を見ると、IOPS（1秒間に可能なI/O回数）とレイテンシーの要求に応えるために、オーバープロビジョニングしてきた。つまり、容量... 続きを読む

(1 - 8 / 8件)