【開発プロセス/検証編】LLMプロダクト開発にLangSmithを使って評価と実験を効率化した話 - Gaudiy Tech Blog

2024/07/23 13 users Ｌａｎｇｓｍｉｔｈ 実験 Gaudiy Tech Blog

こんにちは。ファンと共に時代を進める、Web3スタートアップ Gaudiy のエンジニアの Namiki ( @ruwatana ) です。 ここ1〜2年くらいで、生成AI / LLM界隈の盛り上がりは非常に加速してきており、それをいかに活用して新たな価値を提供するかということに集中している方も少なくないことかと思います。 弊社Gaudiyも比較... 続きを読む

【技術選定/OSS編】LLMプロダクト開発にLangSmithを使って評価と実験を効率化した話 - Gaudiy Tech Blog

2024/07/23 20 users Ｌａｎｇｓｍｉｔｈ LLM Gaudiy seya 実験

こんにちは。ファンと共に時代を進める、Web3スタートアップ Gaudiy の seya (@sekikazu01)と申します。 この度 Gaudiy では LangSmith を使った評価の体験をいい感じにするライブラリ、langsmith-evaluation-helper を公開しました。 github.com 大まかな機能としては次のように config と、詳細は後で載せますが、LLM... 続きを読む

[翻訳]LLMで1年間開発して学んだこと〜LLMプロダクト開発を成功に導くための実践的ガイド〜

2024/06/24 235 users LLM 翻訳 ガイド 成功 1年間

この記事は "What We’ve Learned From A Year of Building with LLMs" という記事を著者の一人である Eugene Yan さんから許可を得て翻訳したものです。 https://applied-llms.org/ Thank you for giving me a permission to translate this wonderful article! 著者の方々 Eugene Yan Bryan Bischof Charles Frye Hamel... 続きを読む

Zodスキーマでプロンプト生成を行い構造化データを自由自在に扱えて、LLMプロダクト開発が圧倒的に効率化した話 - Algomatic Tech Blog

2024/05/23 13 users LLM erukiti 構造化データ 効率化 AIエンジニア

最近はAIエンジニアを名乗ってるerukitiです。フロントエンドもバックエンドも、LLMを触るあれこれもやってるので、「AIエンジニア」くらいを名乗るとちょうどよさそうだなと思ってます。いずれLLM自体の開発なんかもやってるかもしれません。 LLMプロダクトを開発していると、構造化データを作りたいのに、Anthropic Cl... 続きを読む

LLMプロダクト開発とはどういうものなのか？｜erukiti

2024/04/26 18 users erukiti

LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由という記事を書きました。 mutaguchiさんのツイートを見て、LLMプロダクトの開発とはどういうものなのかを知らない人も多いのかなと気づいたので、そこらへんを記事として書いてみます。 https://t.co/4WvjuuoGnC 「LLMプロダクト開発者がMac Studioを... 続きを読む

LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由｜erukiti

2024/04/24 146 users erukiti ローカルLLM LLM Mac Studio

もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。 結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十... 続きを読む

LLMプロダクト開発における独自評価基準とデータセットの作り方の考察

2024/04/22 6 users 考察 評価基準 データセット 作り方

- {place_name}の主要な観光スポットを網羅できているか - 各観光スポットの特徴や見どころを具体的に説明できているか - アクセス方法や所要時間など、実用的な情報を提供できているか - 主観的な意見を述べていないか - 明るく丁寧な口調を維持できているか [ { "input": { "place_name": "鎌倉" }, "output": "鎌倉は... 続きを読む

LLMプロダクト事業の立ち上げにおける挑戦

2024/03/26 5 users Startup 挑戦 生成AI 開発アプローチ テーマ

2024年3月25日に開催された「Startupこそ生成AIを活用していこう！生成AIの事業活用事例共有会」で、AI・LLM事業部の篠塚史弥が発表した資料です。 「LLMプロダクト事業の立ち上げにおける挑戦」をテーマに、LLMプロダクト開発において大事にしていること、LayerX内での具体的な開発アプローチについてお話ししました。 ... 続きを読む