Apache Iceberg: The Definitive Guide 輪読会まとめ

2024/12/02 17 users the Definitive Guide ナウキャスト

はじめに こんにちは！ナウキャストのデータエンジニアのけびんです。 今年の6月に Iceberg Table が Snowflake の機能として GA したのは記憶に新しいかと思います。 自分もこの時から Iceberg に興味を持ちブログを書いたりしました。 そんな中、ちょうど良いタイミングで Apache Iceberg: The Definitive Guide が202... 続きを読む

DeltaLake Universal Formatを使ったクロスプラットフォーム分析 - NTT Communications Engineers' Blog

2024/07/29 11 users Blog Databricks フォーマット 分析 データ

本記事では6月に開催されたDATA+AI Summit 2024でGeneral Availabilityが発表されたDatabricksのDeltaLake Universal Formatの機能を使ってクロスプラットフォームでの分析を実現する方法について紹介します。 DeltaLake Universal FormatはDeltaLakeに保存されたデータをApache Icebergなどの異なるフォーマットで読み... 続きを読む

GitHub - lawofcycles/apache-iceberg-101-ja: これからApache Icebergを学びたい人向けの実践的なハンズオンです。コンテナが動く端末1台で始められます

2024/03/10 46 users GitHub ハンズオン コンテナ 端末1台 人向け

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert 続きを読む

Apache Iceberg とは何か - 流沙河鎮

2023/09/24 139 users

はじめに 概要 Apache Iceberg(アイスバーグ)とは バージョン [注意] IcebergはTable Specである Icebergの特徴 同時書き込み時の整合性担保 読み取り一貫性、Time Travelクエリ、Rollback Schema Evolution Hidden Partitioning Hidden Partitioningの種類 時間 truncate[W] bucket[N] Partition Evolution Sort Order ... 続きを読む

CPU使用率90%を超える高負荷がLNEのHive Metastoreで発生　Hive table formatの課題はApache Icebergで解消

2021/11/16 6 users 齋藤氏 エンジニア向け技術カンファレンス 導入 オンライン

2021年11月10日と11日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2021」がオンラインで開催されました。そこで齋藤氏と尾野氏が「LINEデータプラットフォームにおけるApache Icebergの導入」というテーマで、データ処理とデータのインジェスチョンパイプラインについて紹介... 続きを読む