mypy plugin に入門して社内 OSS である gokart を型安全にしてみた - エムスリーテックブログ

2024/08/09 11 users エムスリー OSS エムスリーテックブログ ライブラリ 課題

今回は mypy plugin を利用して、型安全に対応していないライブラリを型安全にする方法を紹介します！ 具体的にはエムスリーが開発する機械学習パイプラインツールである gokart を対象とし、mypy plugin を用いてどのように型の課題を解消したかについて解説します。 対象読者としては、既に gokart を使ってくださって... 続きを読む

kannonを実プロダクトに組み込んで3倍高速化を達成した話 - エムスリーテックブログ

2023/12/07 9 users エムスリー 小栗 kannon 業務委託 電子情報工学科

こんにちは！エムスリー Advent Calendar 2023 7日目担当の小栗 (@irungo_ic)です。私は東京大学 電子情報工学科で学生(B4)をしており、エムスリーには業務委託で参画しています。 今回はgokartの分散並列化ライブラリkannonをエムスリーの実プロダクトに組み込んだ取り組みについて紹介します。結果として、社内のとあ... 続きを読む

2023年 研究開発部 新卒技術研修 ~ 実践編 ~ - Sansan Tech Blog

2023/06/07 13 users Sansan Tech Blog 新卒技術研修 実践編 藤岡

こんにちは、研究開発部 Architectグループの藤岡です。 4/26（水）〜 4/28（金）で研究開発部内の技術研修を行ったので、その内容を公開します。 目次 目次 研修の目的 研修の概要 実践編の概要 アプリケーションを作成 バッチを作成 gokartとは パイプラインを実装 APIを作成 FastAPI とは APIを実装 ディレクトリ構成... 続きを読む

gokartのMLパイプラインをKubernetesで並列分散実行できるライブラリkannonを作った話 - エムスリーテックブログ

2023/03/14 11 users Kubernetes cannon kannon エムスリー

初めまして！2023年3月前半にエムスリーのAIチームで10日間インターンに参加していた小栗 (@irungo_ic )です。 インターンでは、エムスリー発の機械学習パイプラインOSSであるgokart をKubernetes上で高速にかつ簡単に実行できるようになるライブラリであるkannon('cannon'と同じ発音！)をゼロから実装し、OSSとして公開... 続きを読む

gokart 1.0.0 をリリースしました - エムスリーテックブログ

2021/04/26 8 users エムスリーテックブログ エムスリー 内情 OSS 河合

はじめに はじめまして。エムスリー AI・機械学習チームの河合(@vaaaaanquish)です。 本記事投稿日と同日、エムスリーが開発しているOSSのうちの1つであるgokartのversion 1.0.0をリリースする運びとなりました。 本記事は、これまでのgokartの軌跡と成果を紹介しつつ、内情を含めながら、gokart 1.0.0に込めた想いを綴... 続きを読む

PythonのPipelineパッケージ比較：Airflow, Luigi, Gokart, Metaflow, Kedro, PipelineX - Qiita

2020/02/03 9 users Qiita Luigi Airflow Pipeline リリ

この記事では、Open-sourceのPipeline/Workflow開発用PythonパッケージのAirflow, Luigi, Gokart, Metaflow, Kedro, PipelineXを比較します。 この記事では、"Pipeline"、"Workflow"、"DAG"の単語はほぼ同じ意味で使用しています。 要約 : 良い : より良い https://github.com/apache/airflow 2015年にAirbnb社からリリ... 続きを読む

機械学習プロジェクト向けPipelineライブラリgokartを用いた開発と運用 - エムスリーテックブログ

2019/09/30 42 users エムスリーテックブログ 運用 開発 HHKB エムスリー

こんにちは。前回書いた突撃！隣のキーボード M3 2019という記事が、HHKBの公式Twitterアカウントにツイートされ、舞い上がっているエムスリーエンジニアリングGの河合 (@vaaaaanquish) です。 今回はエムスリー AIチームが開発、運用している機械学習プロジェクト向けのPythonライブラリである「gokart」の説明と、その... 続きを読む