LLMを活用した大規模商品カテゴリ分類への取り組み | メルカリエンジニアリング

2024/04/11 16 users LLM メルカリエンジニアリング chatgpt メルカリ

こんにちは、メルカリの生成AIチームで ML Engineer をしている ML_Bear です。 以前の記事[1]では商品レコメンド改善のお話をさせていただきましたが、今回は、大規模言語モデル (LLM) やその周辺技術を活用して30億を超える商品のカテゴリ分類を行なった事例を紹介します。 ChatGPTの登場によりLLMブームに火がついた... 続きを読む

遅くないpandasの書き方 - ML_BearのKaggleな日常

2021/12/07 12 users Kaggle pandas 欠点 データ分析ライブラリ 処理

これは何？ この記事は Kaggle Advent Calendar 2021 の7日目の記事です。 pandasはデータ分析ライブラリとして非常に便利ですが、書き方を間違えると簡単に処理が遅くなってしまうという欠点があります。そこで、この記事では遅くならない書き方をするために気をつけたいポイントをいくつかご紹介したいと思います。 こ... 続きを読む

Kaggle Riiid! コンペ参戦記 - ML_BearのKaggleな日常

2021/01/08 7 users Kaggle コンペ 後述 順位 設計

これは何？ '20/10-'21/01にKaggleで開催されていた Riiid! Answer Correctness Predictionの参加記録です public 51st (0.801) → private 52nd (0.802) と順位は奮いませんでしたが、現実世界での予測タスクに即したコンペの設計(後述)や、1億行を超える豊富なデータを扱えるといった内容が非常に勉強になるコンペでし... 続きを読む

Kaggleで戦いたい人のためのpandas実戦入門 - ML_BearのKaggleな日常

2020/03/31 33 users Kaggle 日常

はじめに 自分は元々pandasが苦手でKaggleコンペ参加時は基本的にBigQuery上のSQLで特徴量を作り、最低限のpandas操作でデータ処理をしていました。 しかし、あるコードコンペティションに参加することになり、pythonで軽快にデータ処理をこなす必要が出てきたので勉強しました。 そこで、当時の勉強メモをもとに「これ... 続きを読む