Rubyコミッターの村田賢太がApache Arrowのコミッターに就任 | 株式会社Speee

2019/10/01 17 users コミッター Committers mrkn 村田賢太 村田

株式会社Speee開発部R&Dグループ所属のRubyコミッター、村田賢太/mrkn がApache Arrowのコミッターに就任いたしました。 https://arrow.apache.org/committers/ Apache Arrowとは、オンラインメモリのデータ表現、データ処理を効率化するプロジェクトです。 村田は弊社のデータ利活用を推進するR&D領域に対して指導的な... 続きを読む

Apache Arrowの最新情報（2018年9月版） - ククログ(2018-09-05)

2018/09/06 47 users ククログ PMC 須藤 あたり コンセプト

Apache ArrowのPMC（Project Management Commitee、プロジェクト管理チームみたいな感じ）のメンバーの須藤です。 みなさんはApache Arrowを知っていますか？聞いたことがないとか名前は聞いたことがあるとかコンセプトは知っているあたりがほとんどで、触っている人はあまりいないのではないでしょうか。Apache Arrowは... 続きを読む

feather - pandasの読み書きを高速化 - 加具留矢流余

2018/07/11 21 users Feather DataFrame Kaggle カラム 保存

kaggleに参加して巨大なCSVファイルを読み書きしていると、それだけで数分近くかかってしまうことがある。 そこで紹介されていたfeatherというDataFrame保存用ライブラリを使ってみた。 featherはpandasのDataFrameを高速に保存、ロードするために開発されたApache Arrowのpythonラッパーだ。 Apache Arrow特有のカラム... 続きを読む

RubyもApache Arrowでデータ処理言語の仲間入り - Kouhei Sutou - Rabbit Slide Show

2017/05/19 46 users Ruby Rabbit Slide Show pandas

Description Apache Arrowはデータ分析システム間でのデータ交換を効率化することを目的としたデータフォーマットです。pandasやApache SparkやRなど主要なデータ分析システムはApache Arrowの対応を進めています。近い将来、データ分析システム間でのデータ交換はApache Arrowを使う状態になるでしょう。RubyもApache Arrowに対応することで... 続きを読む