Apache Arrowの最新情報（2020年7月版） - ククログ(2020-07-31)

2020/07/31 8 users ククログ PMC 須藤 毎年 みなさん

Apache ArrowのPMC（Project Management Commitee、プロジェクト管理チームみたいな感じ）のメンバーの須藤です。 みなさんはApache Arrowを知っていますか？最近、ついに1.0.0がリリースされたんですよ。私がApache Arrowの最新情報をまとめた2018年9月から毎年「今年中に1.0.0がでるぞ！」と言っていた1.0.0がついにリ... 続きを読む

インメモリの高速データ処理基盤「Apache Arrow」がバージョン1.0に到達 － Publickey

2020/07/28 8 users リリース オープンソース インメモリ Publickey 到達

The Apache Foundationは、オープンソースで開発している高速なデータ処理基盤「Apache Arrow 1.0.0」のリリースを発表しました。 We just released @ApacheArrow 1.0.0, the first formally "stable columnar format" release with a move to SemVer for the libraries. We have a much improved website, too. Read mo... 続きを読む

Rubyコミッターの村田賢太がApache Arrowのコミッターに就任 | 株式会社Speee

2019/10/01 17 users コミッター mrkn Committers 村田賢太 村田

株式会社Speee開発部R&Dグループ所属のRubyコミッター、村田賢太/mrkn がApache Arrowのコミッターに就任いたしました。 https://arrow.apache.org/committers/ Apache Arrowとは、オンラインメモリのデータ表現、データ処理を効率化するプロジェクトです。 村田は弊社のデータ利活用を推進するR&D領域に対して指導的な... 続きを読む

Apache Arrowの最新情報（2018年9月版） - ククログ(2018-09-05)

2018/09/06 47 users ククログ PMC 須藤 あたり コンセプト

Apache ArrowのPMC（Project Management Commitee、プロジェクト管理チームみたいな感じ）のメンバーの須藤です。 みなさんはApache Arrowを知っていますか？聞いたことがないとか名前は聞いたことがあるとかコンセプトは知っているあたりがほとんどで、触っている人はあまりいないのではないでしょうか。Apache Arrowは... 続きを読む

feather - pandasの読み書きを高速化 - 加具留矢流余

2018/07/11 21 users Feather pandas Kaggle カラム 読み書き

kaggleに参加して巨大なCSVファイルを読み書きしていると、それだけで数分近くかかってしまうことがある。 そこで紹介されていたfeatherというDataFrame保存用ライブラリを使ってみた。 featherはpandasのDataFrameを高速に保存、ロードするために開発されたApache Arrowのpythonラッパーだ。 Apache Arrow特有のカラム... 続きを読む

RubyもApache Arrowでデータ処理言語の仲間入り - Kouhei Sutou - Rabbit Slide Show

2017/05/19 46 users Ruby Rabbit Slide Show pandas

Description Apache Arrowはデータ分析システム間でのデータ交換を効率化することを目的としたデータフォーマットです。pandasやApache SparkやRなど主要なデータ分析システムはApache Arrowの対応を進めています。近い将来、データ分析システム間でのデータ交換はApache Arrowを使う状態になるでしょう。RubyもApache Arrowに対応することで... 続きを読む

名古屋Ruby会議03：Apache ArrowのRubyバインディングをGObject Introspectionで #nagoyark03 - ククログ(2017-02-15)

2017/02/15 8 users ククログ rroonga 前座 Ruby 大須演芸場

2017年2月11日に 名古屋Ruby会議03 が 大須演芸場 で開催されました。ここで 咳さんの並列処理啓蒙活動話 の前座の1人として話してきました。内容は、 Apache Arrow と GObject Introspection と Rroonga を活用すれば自然言語のデータ分析の一部でRubyを活用できるよ！、です。 Apache ArrowのRubyバインディングをGObject In... 続きを読む