人間とアラインする要約評価関数の探索 - JSAI 2024発表内容解説 - DROBEプロダクト開発ブログ

2024/06/05 7 users 探索 人間

概要 背景・目的 本研究の貢献 実験 評価関数とは何か LLMベースの評価関数の区別 データのアノテーション 実験の設定 実験の結果 考察 GPT-4が勝手に任意の観点を盛り込んで、意図通りの評価をしていない とは？ データセット作成における他手法との大きな差分 まとめ 貢献 今後の展開 参考文献 DROBEで機械学習エンジ... 続きを読む

ファッションドメインにおけるLLMの未知の知識獲得可能性 - DROBEプロダクト開発ブログ

2024/05/23 6 users LLM ハルシネーション 定量 未知 事後学習

概要 背景・目的 関連研究 事後学習を通じた知識の獲得 未知の知識をどう定義するか 実験 ある情報がLLMにとって新知識であるかの確認 QAデータセット 実験の設定 結果 自作したQAデータセットでの結果 相対的な汎化性能（定量） 相対的な汎化性能（定性） 考察 未知の知識の定義の難しさ ハルシネーションの対策の難し... 続きを読む

OpenAI の GPT-4-vision-preview (VLM) を利用した商品画像のタグ付け - DROBEプロダクト開発ブログ

2023/11/22 30 users プロンプト ケーススタディ DROBE VLM モチベーション

はじめに DROBE の課題と GPT-4-Vision-Preview を試すモチベーション ケーススタディ 入力するデータ 推論周辺部分のコード プロンプト 実験結果 おわりに 参考文献 はじめに OpenAIが Dev Day で発表したGPT-4-Vision-Previewは、画像処理と自然言語処理を組み合わせた最先端の技術です。 このモデルは、画像を理解し... 続きを読む

プロダクトバックログアイテムに取り掛かるタイミングを勘違いしてたはなし - DROBEプロダクト開発ブログ

2023/11/14 7 users プロダクトバックログアイテム タイミング PBI DROBE

こんにちは、角田です。 今回はスクラムでの失敗談です。 PBIへ取り掛かるタイミング みなさんは、プロダクトバックログアイテム（PBI）へ取り掛かるタイミングはいつでしょうか？DROBEでは以前は、 スプリントバックログへ移し、スプリントが始まったら でした。一見正しそうなのですが、肝心なことを見落としていたた... 続きを読む

（続）ファッションにおける類似商品検索アルゴリズムの性能評価 - DROBEプロダクト開発ブログ

2023/11/07 96 users ファッション 性能評価

概要 背景・目的 関連研究 提案手法 実験 アルゴリズムの説明 順位相関の確認 定量評価 定量評価の内訳 定性評価 おわりに 参考文献 DROBEで機械学習エンジニアをしております、藤崎です。 概要 ファッションアイテムを特徴づけるための情報として、画像とテキストがある。これらは異なる情報を含んでいると考えられる。... 続きを読む

ファッションにおける類似商品検索アルゴリズムの性能評価 - DROBEプロダクト開発ブログ

2023/10/17 30 users ファッション 性能評価

概要 背景・目的 実験 実験の概要 定量評価 定性評価 おわりに 参考文献 DROBEで機械学習エンジニアをしております、藤崎です。 概要 類似商品検索の基盤となる複数の特徴抽出アルゴリズムについて、DROBEの保有するデータで評価した 定量評価によると、画像単体を入力とする ResNet-50（自己教師あり学習）とCLIPの性能... 続きを読む

GPT-3.5に画像分類タスクを解かせる - DROBEプロダクト開発ブログ

2023/10/10 31 users GPT-3.5

概要 背景・目的 関連研究 提案手法 実験 終わりに 参考文献 DROBEで機械学習エンジニアをしております、藤崎です。 概要 ファッションの分野ではトレンドの変化とそれに伴う属性情報の変動に対応するため、画像分類AIモデルを頻繁にアップデートする必要性がある。 しかし、既存の画像分類AIモデルのアップデートには、... 続きを読む

Vision-Language Modelsを使った商品のトップ画像選定 - DROBEプロダクト開発ブログ

2023/10/04 13 users prompt 商品 藤崎 結論 参考文献

背景 結論 手法の検討 実験 実験概要 実験1 : 単純なPromptを投げる 実験2 : Promptを工夫してみる 実験3 : 間違った分類を回避するには？ まとめ 参考文献 補足 DROBEで機械学習エンジニアをしております、藤崎です。 背景 商品のトップ画像はユーザーへの最初のタッチポイントとして機能し、購入を促進します。そのた... 続きを読む

GPT-3.5-turbo を Fine-tuning して GPT-4 相当の性能を獲得する - DROBEプロダクト開発ブログ

2023/09/19 100 users Fine-tuning DROBE Data GPT-4 都筑

はじめに 結論 背景 課題 Fine-tuning とは？ Data の準備 Fine-tuning を実施 結果 おわりに 参考 はじめに こんにちは、DROBE の都筑です。 みなさん LLM 使っていますか。今回は GPT-3.5-turbo の Fine-tuning の事例を紹介します。 結論 GPT-4 を利用して得られたデータを使って GPT-3.5-turbo を Fine-tuning する... 続きを読む

DROBE Engineer Night #5 "質とスピードを追求する開発チームでの取り組み" を開催しました - DROBEプロダクト開発ブログ

2023/09/13 13 users スピード 開発チーム DROBE 角田 ピクシブ株式会社

こんにちは。DROBEの角田です。 2023年9月5日に、DROBEが主催するテックイベント『DROBE Engineer Night』の第5回を開催しました。今回は、"質とスピードを追求する開発チームでの取り組み" というタイトルで、株式会社リンケージ・ピクシブ株式会社と弊社の3社合同で開催しました。 drobe.connpass.com 現地・オンライ... 続きを読む

LLM で長文から構造化データを抽出する - DROBEプロダクト開発ブログ

2023/09/12 18 users LLM DROBE 都筑 長文 手法

はじめに こんにちは、DROBE の都筑です。 みなさん LLM 使っていますか。今回は LLM を利用して長文から構造化データを抽出する手法について記載します。 構造化データの抽出 LLM を利用して構造化データを抽出することを Extraction と呼びます。 Extraction は以下のようなユースケースが考えられます。 テキスト情報... 続きを読む

DROBE開発組織のキャリアパスや評価方針について - DROBEプロダクト開発ブログ

2023/07/04 16 users キャリアパス 加川 プロセス エンジニア職 キャリア

こんにちは、EMの加川(@shinpr_p)です。 今回は、DROBE開発組織におけるエンジニア職のキャリアパス定義、評価の方針やプロセスについてお伝えします。 個人が目指したいキャリアと会社の方針のマッチ度が高ければ、効率的なキャリアアップを実現できる可能性が高まります。 会社ごとに評価方針は異なります。そこで、DR... 続きを読む