kannonを実プロダクトに組み込んで3倍高速化を達成した話 - エムスリーテックブログ

2023/12/07 9 users エムスリー 小栗 kannon 業務委託 電子情報工学科

こんにちは！エムスリー Advent Calendar 2023 7日目担当の小栗 (@irungo_ic)です。私は東京大学 電子情報工学科で学生(B4)をしており、エムスリーには業務委託で参画しています。 今回はgokartの分散並列化ライブラリkannonをエムスリーの実プロダクトに組み込んだ取り組みについて紹介します。結果として、社内のとあ... 続きを読む

2023年 研究開発部 新卒技術研修 ~ 実践編 ~ - Sansan Tech Blog

2023/06/07 13 users Sansan Tech Blog 新卒技術研修 実践編 藤岡

こんにちは、研究開発部 Architectグループの藤岡です。 4/26（水）〜 4/28（金）で研究開発部内の技術研修を行ったので、その内容を公開します。 目次 目次 研修の目的 研修の概要 実践編の概要 アプリケーションを作成 バッチを作成 gokartとは パイプラインを実装 APIを作成 FastAPI とは APIを実装 ディレクトリ構成... 続きを読む

gokartのMLパイプラインをKubernetesで並列分散実行できるライブラリkannonを作った話 - エムスリーテックブログ

2023/03/14 11 users Kubernetes cannon kannon エムスリー

初めまして！2023年3月前半にエムスリーのAIチームで10日間インターンに参加していた小栗 (@irungo_ic )です。 インターンでは、エムスリー発の機械学習パイプラインOSSであるgokart をKubernetes上で高速にかつ簡単に実行できるようになるライブラリであるkannon('cannon'と同じ発音！)をゼロから実装し、OSSとして公開... 続きを読む

gokart 1.0.0 をリリースしました - エムスリーテックブログ

2021/04/26 8 users エムスリーテックブログ エムスリー 内情 OSS 河合

はじめに はじめまして。エムスリー AI・機械学習チームの河合(@vaaaaanquish)です。 本記事投稿日と同日、エムスリーが開発しているOSSのうちの1つであるgokartのversion 1.0.0をリリースする運びとなりました。 本記事は、これまでのgokartの軌跡と成果を紹介しつつ、内情を含めながら、gokart 1.0.0に込めた想いを綴... 続きを読む

PythonのPipelineパッケージ比較：Airflow, Luigi, Gokart, Metaflow, Kedro, PipelineX - Qiita

2020/02/03 9 users Qiita Luigi Airflow Pipeline リリ

この記事では、Open-sourceのPipeline/Workflow開発用PythonパッケージのAirflow, Luigi, Gokart, Metaflow, Kedro, PipelineXを比較します。 この記事では、"Pipeline"、"Workflow"、"DAG"の単語はほぼ同じ意味で使用しています。 要約 : 良い : より良い https://github.com/apache/airflow 2015年にAirbnb社からリリ... 続きを読む

機械学習プロジェクト向けPipelineライブラリgokartを用いた開発と運用 - エムスリーテックブログ

2019/09/30 42 users エムスリーテックブログ 運用 開発 HHKB エムスリー

こんにちは。前回書いた突撃！隣のキーボード M3 2019という記事が、HHKBの公式Twitterアカウントにツイートされ、舞い上がっているエムスリーエンジニアリングGの河合 (@vaaaaanquish) です。 今回はエムスリー AIチームが開発、運用している機械学習プロジェクト向けのPythonライブラリである「gokart」の説明と、その... 続きを読む