LLMのRAGアプリケーションにおけるオブザーバビリティを向上するツール「Phoenix」の紹介 - Assured Tech Blog

2024/08/20 16 users LLM オブザーバビリティ Rag Phoenix 大橋

アイキャッチ 始めに こんにちは、エンジニアの大橋です。 LLMを用いたRAG（Retrieval-Augmented Generation）アプリケーションの開発において、精度向上のための評価方法に悩まれている方も多いのではないでしょうか。 今回、AssuredではRAGアプリケーションの評価にPhoenixというツールを導入してみました。Phoenixを... 続きを読む

LLMによるLLMの評価「LLM-as-a-Judge」入門〜基礎から運用まで徹底解説

2024/08/06 6 users LLMアプリケーション LLM 前回 一部 入門

前回の記事でLLMアプリケーションの評価について基礎から運用まで丁寧に解説いたしました。 この記事では、評価方法の一部であるLLM-as-a-Judgeについて詳しく解説したいと思います。 LLMアプリケーションの評価といえば、LLM-as-a-Judgeだというように結びつける方もいらっしゃいますが、必ずしもそうではありません。 ... 続きを読む

80.最近のLLMの動向、マルチモーダルモデルの仕組みとLLMの評価方法を解説 | 白金鉱業.FM

2024/02/06 5 users LLM マルチモーダルモデル 目次 Show Notes 動向

感想などは白金鉱業.FMのハッシュタグ #白金鉱業fm につぶやいてもらえるととても喜びます！ 匿名でのお便りもgoogle formにてお待ちしております！ — 目次 00:31〜：最近のLLMの動向 07:36〜：マルチモーダルモデル 17:20〜：LLMの評価方法 show notes 最近のLLMの動向（最後に辻さん、金さんが参加した収録は23年8月。... 続きを読む

マッキンゼーのレポートに見る企業応用を促進する大規模言語モデルの評価方法｜piqcy

2023/10/15 19 users 草案 piqcy ミスマッチ マッキンゼー ユースケース

2023 年に大規模言語モデルは多数発表されていますが、どれを選べばよいかは依然として曖昧です。その理由の一つにユースケースと評価方法のミスマッチがあると考えています。例えば、営業メールの草案を生成するモデルを選ぶとき、質問回答データセットの評価結果がどれだけ意味があるかは不透明です。誰かにメールを書... 続きを読む

ChatGPT の長いプロンプトに意味があるのか気になったときに試す評価方法｜piqcy

2023/08/13 124 users chatgpt piqcy API 実務 コスト

ChatGPT を上手く使う方法として、非常に長いプロンプトが共有されているのを見たことがある方は多いと思います。ただ、実務で使う場合長いプロンプトより短いプロンプトの方が扱いやすく API を利用する際のコストも少なく済みます。「ユーザーが作成した Excel マクロをメンテナンスしてほしい」と言われると 90% のエ... 続きを読む

島津製作所 / SHIMADZU【公式】 on Twitter: "島津製作所は「新型コロナウイルス検出試薬キット」を4月20日に発売します。大変お待たせ致しました。 本キットは研究用試薬ですが、国立感染症研

2020/04/10 20 users https 性能 SHIMADZU t.co 保険適用

島津製作所は「新型コロナウイルス検出試薬キット」を4月20日に発売します。大変お待たせ致しました。 本キットは研究用試薬ですが、国立感染症研究所が定めた評価方法で性能を検証しており、保険適用の対象となっています。陽性一致率・陰性… https://t.co/fVuN74It7Q 続きを読む

ストライクを生む魔法「フレーミング」　捕手の評価として設定する球団も - スポーツナビ

2019/09/02 47 users フレーミング スポーツナビ 捕手 球団 ストライク

「フレーミング」という言葉をご存知だろうか。近年注目されている捕手の技術であり、メジャーリーグでは評価方法の一つとして獲得基準にしている球団もある。具体的には、ストライクゾーンに投球されたボールを確実にストライク判定にする、またボールゾーンに投球されたボールをストライク判定に変えるといった捕手の... 続きを読む

サイゼリヤの社長の文庫本の内容が淡々としてるけど凄みがあって飲食業以外にも参考になる「人材の評価方法の間違い探しもできるとは恐れ入った」 - Togetter

2018/12/18 21 users 端々 Togetter 意訳 サイゼリヤ サイゼ社長

サイゼ社長の文庫本、薄いし淡々としてるんだけど端々に凄みがある。「売上高では店長を評価しないし目標も掲げさせないよ、近隣店舗開店や道路工事も関係してるしそれコントロール不能でしょ（意訳）」「評価するのはコントロール可能な数字（意訳）」で、これ割り切れるだけで常人じゃない。 続きを読む

サイゼリヤの社長の文庫本の内容が淡々としてるけど凄みがあって飲食業以外にも参考になる「人材の評価方法の間違い探しもできるとは恐れ入った」 - Togetter

2018/12/18 1155 users 端々 Togetter 意訳 サイゼリヤ サイゼ社長

サイゼ社長の文庫本、薄いし淡々としてるんだけど端々に凄みがある。「売上高では店長を評価しないし目標も掲げさせないよ、近隣店舗開店や道路工事も関係してるしそれコントロール不能でしょ（意訳）」「評価するのはコントロール可能な数字（意訳）」で、これ割り切れるだけで常人じゃない。 続きを読む

YouTubeが規約を変更 生活していけないYouTuber難民が続出か - ライブドアニュース

2018/01/18 49 users YouTube YouTuber 続出 東スポ 再生回数

> > > > 2018年1月18日 16時30分 ざっくり言うと YouTubeの新規約によるYouTuberへの影響について東スポが報じた 評価方法は動画の再生回数からチャンネル登録者数と年間視聴時間に変更 条件をクリアできず脱落するYouTuberが続出するだろうと関係者は指摘した 新ルール導入で“ユーチューバー難民”続出！？評価方法変更で脱落者必至 生活できないYouTuberが続出か 2... 続きを読む

一緒に働いているチームメンバーに評価してもらう - maru source

2018/01/09 117 users maru source Yes 取組 オフィシャル アンケート

2018 - 01 - 09 一緒に働いているチームメンバーに評価してもらう 昨年から、マネージャーとしての僕を一緒に働いているチームメンバーに評価してもらうというのをはじめました。評価方法は50個ほどの質問項目が書かれたアンケートに1点(No)〜4点(Yes)をつけてもらうというものです。人数は10人くらいです。 質問項目の詳細は最後に掲載します。 この取組は会社でオフィシャルに実施してるわけで... 続きを読む

「激しすぎる調整だが日本のウェブには必要だった」Googleの"医療や健康に関する検索結果の改善"に対する反応ツイート集 - Togetter

2017/12/06 44 users users Togetter 上位 医療機関 医療従事者

リンク Google ウェブマスター向け公式ブログ 207 users 医療や健康に関連する検索結果の改善について Google では、今週、日本語検索におけるページの評価方法をアップデートしました。 この変更は、医療や健康に関する検索結果の改善を意図したもので、例えば医療従事者や専門家、医療機関等から提供されるような、より信頼性が高く有益な情報が上位に表示されやすくなります。本アップデ... G... 続きを読む

優良AIスタートアップの見分け方 - 随所に主と作れば、立処皆真なり

2017/02/23 197 users ウソ 応用 堅実さ 随所 顧客

2017 - 02 - 23 優良AIスタートアップの見分け方 ある方にAIスタートアップの評価方法について聞かれ、いろいろ考えてたら面白くなってきたのでここにまとめて記しておく。手短に言えば、秘密主義は良いサインとはいえないし、AIで何でも出来るはウソだし、応用と顧客に寄り添う堅実さがが第一ということだ。まったくの個人的な意見であり、基本的に余計なお世話だとは思うが、笑い飛ばしてもらえれば幸いで... 続きを読む

Googleが正しさを判断してしまう方が恐ろしい | 今日も8時間睡眠

2017/02/06 21 users Google 8時間睡眠 主眼 順位 上位

これを読みました。 Google ウェブマスター向け公式ブログ: 日本語検索の品質向上にむけて 読んだところで、Googleの検索ロジックがどう変わるかはさっぱりわかりません。 今週、ウェブサイトの品質の評価方法に改善を加えました。今回のアップデートにより、ユーザーに有用で信頼できる情報を提供することよりも、検索結果のより上位に自ページを表示させることに主眼を置く、品質の低いサイトの順位が下がりま... 続きを読む

Google、日本語サイトの評価方法を変更　検索上位狙う「低品質なコンテンツ」の順位ダウンへ - ITmedia NEWS

2017/02/03 64 users ITmedia News Google 低品質 検索上位 主眼

Google日本法人は2月3日、日本語検索結果に影響を与えるWebサイト評価方法を改善したと 公式ブログ で発表した。「検索結果のより上位に自ページを表示させることに主眼を置く、品質の低いサイト」の検索順位を下げるという。 ユーザーに有用な情報を届けることよりも、SEO対策などによって検索上位に表示されることを主目的とした「品質の低いサイト」（同社）の順位を下げるのが狙い。「オリジナルで有用なコン... 続きを読む

Google、上位表示のみを重視したサイトを下位表示する品質評価を日本語検索に適用 -INTERNET Watch

2017/02/03 161 users 下位 INTERNET Watch 岩崎 有用 適用

ニュース Google、上位表示のみを重視したサイトを下位表示する品質評価を日本語検索に適用 有用で信頼できるオリジナルコンテンツを提供するサイトを上位表示 岩崎 宰守 2017年2月3日 12:00 　グーグル合同会社（Google）は3日、日本語検索におけるウェブサイトの品質の評価方法に改善を加えたことをウェブマスター向け公式ブログで発表した。 　ユーザーへの有用で信頼できる情報の提供よりも、... 続きを読む

人工知能のつくりかた - 強くても美しくないコードはダメ、人工知能プログラムを評価する：ITpro

2016/11/29 18 users 研修 プログラム ITpro 魅力 評価

「人工知能をつくっただけで終わり」では、研修の魅力は半減します。研修でつくった人工知能プログラムを皆で冷静に、そして熱心に評価することこそが、研修の肝です。 この評価を通じて、いざ人工知能を実践するときに、研修で学んだものが役立つようになるでしょう。今回は研修でつくってきた人工知能のプログラムの評価方法を見ていくことにします。 研修でプログラムをつくりっぱなし、というのは、研修の一番おいしいところ... 続きを読む

究極の省電力メモリ実現に道筋：電圧トルクMRAMの安定動作を実証、評価法も開発 (1/2) - EE Times Japan

2015/12/15 13 users 道筋 実証 産総研 究極 EE Times Japan

産業技術総合研究所の塩田陽一研究員は、電圧書込み方式不揮発性メモリが安定動作することを実証するとともに、書込みエラー率の評価方法を開発した。電圧トルクMRAMの実用化に向けた研究に弾みがつくものとみられる。 産業技術総合研究所（産総研） スピントロニクス研究センター電圧スピントロニクスチームの塩田陽一研究員は2015年12月、電圧書込み方式不揮発性メモリが安定動作することを実証するとともに、書込み... 続きを読む

SEO施策・要件を検討するときに意識すべき3つの基準 ::SEM R (#SEMR)

2015/05/28 36 users 個々 両方 判断基準 ユーザー 検索エンジン

SEO施策・要件を検討するときに意識すべき3つの基準 「SEO 的にどうすればいいの？」で迷ったら (1) ユーザーにとって使いやすいことだけを考えればよい、(2) 検索エンジンとユーザーの両方に配慮してベストなものを選ぶ、(3) 検索エンジンの評価方法を踏まえて決める、という3つの基準のうち1つに照らし合わせて考えます。ただし、個々の施策ごとに、照らし合わせるべき判断基準を間違えてはいけません。... 続きを読む

見習うべきダイヤモンド社の取り組み 「刊行点数減って売り上げが増加」 する編集者の評価方法｜現役サラリーマンのためのビジネス書考

2015/05/22 16 users 刊行点数 現役サラリーマン 増加 ダイヤモンド社 良書

現役サラリーマンのためのビジネス書考 書店で見かける「ビジネス書」はどれも似たような本ばかり。かつて著者を目指した現役サラリーマン【鳴海寿俊】が読者＆作り手視点で旧態依然とした「出版業界」をメッタ切り！我々読者が数多くの良書に出会えることを願い、この業界の改革者たちを応援していく。 ブログトップ 記事一覧 画像一覧 « 出版業界を変えてく･･･ ◆TSUTAYAビ･･･ » 見習うべきダイヤモンド... 続きを読む

子どもが学校で本当にマスターすべき7つのこと - GIGAZINE

2015/03/18 274 users 経歴 テスト 幼稚園 点数 高等学校

by Chris Suderman 学校でテストの点数がよくても大人になってから必ずしも成功するとは限らないもので、現在では学校教育の評価方法が改められたり、テストの実施が見直されたりしています。幼稚園から高等学校を卒業するまでの13年間に行われるテストを300回以上評価してきた経歴を持つ発達心理学者のスーザン・エンゲルさんは、経験から得た「子どもがマスターすべき7つのこと」を挙げており、その7つ... 続きを読む

実は標準の方が簡単で明解 – セキュリティ対策の評価方法 | yohgaki's blog

2015/02/07 21 users yohgaki's blog 標準 セキュリティ対策 WAF

なぜセキュリティ対策の区別が異なるのか？長年疑問だったのですが、その理由の一つが判りました。 以下は、本質的には似たような機能であるWAFはセキュリティ対策で入力バリデーションはセキュリティ対策ではないのか？と質問した時のツイートです。 @yohgaki どちらもセキュリティ上効果がありますが、WAFはセキュリティを主目的として、というよりセキュリティのためだけに導入するのに対して、バリデーション... 続きを読む

シェルプログラム「Bash」にヤバすぎる脆弱性。急いでyum updateしよう : IT速報

2014/09/25 20 users bash セキュリティホール UNIX 変数 ハッカー

1: ゆでたてのたまご ★＠＼(^o^)／ 2014/09/25(木) 11:35:22.83 ID:???0.net 多くのUNIXおよびLinuxのユーザーに利用されている「Bourne Again SHell(Bash)」に重大なセキュリティホールが発見された。 このセキュリティホールはBashによる環境変数の評価方法に起因している。ハッカーは特別に作成した変数を用いてセキュリティホールを突... 続きを読む

UNIXとLinuxの「Bash」シェルに重大なセキュリティホール - ZDNet Japan

2014/09/25 38 users セキュリティホール bash UNIX シェルコマンド シェル

多くのUNIXおよびLinuxのユーザーに利用されている「Bourne Again SHell（Bash）」に重大なセキュリティホールが発見された。このセキュリティホールはBashによる環境変数の評価方法に起因している。ハッカーは特別に作成した変数を用いてセキュリティホールを突き、シェルコマンドを実行できる。これによりサーバはさらなる本格的な攻撃に対して脆弱な状態となる。 数ある他のセキュリティホ... 続きを読む

UNIXとLinuxの「Bash」シェルに重大なセキュリティホール - CNET Japan

2014/09/25 38 users セキュリティホール bash UNIX シェルコマンド シェル

多くのUNIXおよびLinuxのユーザーに利用されている「Bourne Again SHell（Bash）」に重大なセキュリティホールが発見された。このセキュリティホールはBashによる環境変数の評価方法に起因している。ハッカーは特別に作成した変数を用いてセキュリティホールを突き、シェルコマンドを実行できる。これによりサーバはさらなる本格的な攻撃に対して脆弱な状態となる。 数ある他のセキュリティホ... 続きを読む