全社データ活用基盤をTreasureDataからBigQueryへ移行しました - Leverages データ戦略ブログ

2024/05/20 6 users BigQuery クエリ 全社 森下 プロジェクトマネージャー

はじめに こんにちは。データエンジニアリンググループの森下です。今回は、私がプロジェクトマネージャーとして約3年間かけて実施した、TreasureDataからBigQueryへの全社データ活用基盤移行プロジェクトについてお話します。このプロジェクトは、全社で1日あたり数千件のクエリが実行されるデータ基盤を移行するという... 続きを読む

TreasureDataの2015年を新機能で振り返る - Qiita

2015/12/10 18 users Qiita 去年 機能面 新機能 1年半

普段トレジャーデータでサポートしてる@nora96oです。 今回は、Treasure Data Advent Calendar 2015の10日目の記事です。 去年は、TreasureDataの1年半を機能面で振り返るという記事を12月に書いたので、今年も2015年を振り返ってみます。 Streaming Import Fluent Bit Fluentd Bitという組み込みLinux向けにC言... 続きを読む

TreasureData - Treasure Data Update 2015 - Hadoop - Qiita

2015/12/07 18 users Hadoop Qiita 太田 Treasure Data

Treasure DataのHadoop Treasure Dataでは長年Hadoop1(CDH4)を使用してきましたが、太田の投稿にもあるように今年、徐々にHadoop2(HDP2)に移行してきました。Hadoop1でのユーザも残り数社となり、いよいよHadoop1とのお別れも近いこととなりました。そこでどんなことをやったかを振り返りで書いてみようと思います。 いろいろな問題発生 Plazma... 続きを読む

TreasureData - Luigi によるワークフロー管理 - Qiita

2015/12/07 75 users Qiita Luigi ワークフロー ワークフロー管理 過程

Workflow Hacks! #1 が開催されるなど、データ分析のワークフロー管理が見直されつつある今日この頃ですが、Treasure Data 社内ではこれまでのところ Luigi を主なツールとして利用しています。ここでは Luigi を使ったワークフローがどのようなものであるかを紹介します。 ワークフロー管理ツールとは？ データ分析における「ワークフロー管理ツール」とは、データ処理の過程で... 続きを読む

redash - Re:dashをつかって、Prestogres経由でTreasureDataにクエリを投げる。 - Qiita

2015/06/15 39 users DASH Qiita redash PostgreSQL

Re:dashとは、Open Source Data Collaboration and Visualization Platformらしいです。 クエリを登録していろんなデータソースからデータを取得して可視化できるダッシュボードにできるオープンソースです。 データソースとしては、今の所下記があり、今どきのデータ分析エンジンは、可視化エンジンはついてないので、嬉しいですね。 PostgreSQL ... 続きを読む

TreasureData - Treasure DataのPlazmaDBを理解する - Qiita

2014/12/14 57 users Qiita シアトル空港 斉藤 Treasure Data

Treasure DataのPlazmaDBを理解するTreasureData(47)xerialが2014/12/15に投稿(2014/12/15に編集)編集履歴(6)編集リクエストを作成する こんにちは。Treasure Dataの斉藤です。出張中に時間ができたのでシアトル空港でこの記事を書いています。日本語でブログを書くのはものすごく久しぶりなのですが、Treasure Dataの列志向(c... 続きを読む

TreasureData - 大規模データを確実にMySQL/Redshiftに入れる—Treasure Dataのクエリ結果書き出し機能の実装 - Qiita

2014/12/14 62 users Qiita RedShift Hive MySQL 古橋

大規模データを確実にMySQL/Redshiftに入れる—Treasure Dataのクエリ結果書き出し機能の実装TreasureData(45)frsyukiが2014/12/14に投稿(2014/12/14に編集)編集履歴(2)編集リクエストを作成する こんにちは。古橋です。今日はいつものはてなブログから趣向を変えて、QiitaでTDアドベントカレンダー14日目の投稿です。 Hiveのクエリ結... 続きを読む

TreasureData - 世界最速でFluentdを立ち上げる on Heroku - Qiita

2014/12/10 40 users Qiita fluentd Treasure Agent

世界最速でFluentdを立ち上げる on HerokuTreasureData(43)kiyotoが2014/12/10に投稿(2014/12/10に編集)編集履歴(5)編集リクエストを作成する Treasure Agentをさらに使いやすく ご存知の方も多いかと思いますが、トレジャーデータ社では、out_tdプラグインを使うことで、Fluentdから簡単にデータを流し込めるようになっています。... 続きを読む

TreasureDataにJSで起きたエラーを送り、貯める - パルカワ2

2014/12/01 20 users github.com きもち hisaichi5518 意味

2014-11-30 TreasureDataにJSで起きたエラーを送り、貯める JSのエラーをいい感じに貯めたいキモチが溢れてきた。 いい感じとは、エラー内容だけではなくUAとかそういうのを含めて、という意味。 TDのJS SDKだとピッと出来そうだったのでやってみた。https://github.com/hisaichi5518/td-js-errorめっちゃ簡単やんけ！！！！！！！！！！！！... 続きを読む

Talend、TreasureDataを今から覚える人のための「顧客理解のためのビッグデータ分析基盤」勉強会レポート ｜ Developers.IO

2014/11/25 57 users クラスメソッド Developers.IO 顧客理解 様子

Talend、TreasureDataを今から覚える人のための「顧客理解のためのビッグデータ分析基盤」勉強会レポート 11/13(木)に「顧客理解のためのビッグデータ分析基盤」という勉強会をTalendさん、TreasureDataさんと一緒に開催をしました。クラスメソッドからは甲木が登壇したので、その様子をレポートしたいと思います。 Talend や TreasureData について、名前はよ... 続きを読む

TreasureData：昨日一日分のデータに対して投げるクエリ（完成版） | ログってなんぼ

2013/12/07 12 users クエリ 引数 ロク 文字列 最適化

さてさて。TreasureData Advent Calender2013でも作ったほうが良かったなと思うくらいTreasureDataばっかりやってますが。 TD_TIME_RANGE()でTime indexを有効にする際、日付部分の引数は文字列で明示しましょうみたいなことを TreasureData：TD_TIME_RANGE()の引数は明示しないとクエリの最適化がされない | ログってなん... 続きを読む

SIOS　ビッグデータ技術ブログ: TreasureDataのtd import:prepare機能の比較検証

2013/09/04 13 users 白金台 データサイエンティスト養成読本 高橋 比較検証

TreasureDataのtd import:prepare機能の比較検証 まだまだ暑さは続いておりますが、いかがお過ごしでしょうか。 SSTDの高橋です。 先日、データサイエンティスト養成読本を個人的に購入しました。 まだ読み終わってはいませんが、せっかく購入したので、こちらの「Data Scientist Casual Talk in 白金台」に参加する予定です。 参加される方はどうぞよろしく... 続きを読む

タムタムの日記 - Hiveのロゴについての豆知識

2013/01/24 17 users Hive NHN タムタム Cloudera スポンサー

hcj2013wお疲れ様でした。 Ust録画や講演資料は殆ど公開されているようです。 特別企画として、NHNのなんとかモリスさんという方と、TreasureDataのりぴーなんとかさんという方がClouderaをスポンサーにつけてHiveTシャツを作ったそうで、私も1着いただきました。懇親会でHiveの愛を語ると戴けるという体を取っていたのですが、私はキーノートの前に戴いてしまったので、ここでHi... 続きを読む

タムタムの日記 - Apacheのサンプルログを生成し続けるスクリプト

2012/10/17 59 users README タムタム Production fluentd

Fluentdのテストをする過程で欲しかったので、Apacheのログを生成し続けるスクリプトを書きました。 と言っても生成部分はTreasureDataのスクリプトを丸ぱくりで流量制限をするオプションを追加して延々と出力するようにしただけです。 frsyuki++。 手元でサクッとproductionで確認できる人はうらやましす。 使い方は以下のような感じです。詳細はREADMEを見てください。 ... 続きを読む