情報検索の評価指標の弱点と選択バイアスを考慮した改善アプローチ - ZOZO TECH BLOG

2024/03/01 10 users 弱点 選択バイアス ZOZO TECH BLOG 情報検索

こんにちは。検索基盤部の山﨑です。検索基盤部では、ZOZOTOWNの検索機能の改善を目的とした施策の有効性をA/Bテストで検証しています。 A/Bテストは、新たな施策の有効性を評価する手法として信頼性の高い手法ではあるものの、下記のような制約があります。 統計的に有意な差が出るためには、多くのユーザーからのフィ... 続きを読む

LLMの「創発」は幻影か

2023/10/17 10 users LLM 幻影 要点 示唆 特定

3つの要点 ✔️ 大規模言語モデルで観察される創発を検証 ✔️ LLMの創発は評価指標が見せる幻影である可能性を示唆 ✔️ LLM以外のモデルにおいて特定の評価指標を用いることで意図的に実際には発生していない創発を再現することに成功 Are Emergent Abilities of Large Language Models a Mirage? written by Rylan Schaeffer, ... 続きを読む

CyberAgent より、画像生成タスクにおける新たな評価指標の提案｜teftef｜note

2023/04/16 24 users CyberAgent Note 論文 生成モデル 近年

こんにちはこんばんは、teftef です。今回は CyberAgent より、生成モデルから生成された画像の品質評価に関する論文です。近年の画像生 AI の発展によって、『高品質』な画像が生成できるようになりました。しかしよくよく考えてみると『高品質』というのは何でしょうか？人間の好みが違いをどのように評価するのでしょ... 続きを読む

書籍「評価指標入門」の出版に寄せて 〜監修の想い（O・MO・I） - 株式会社ホクソエムのブログ

2023/02/10 14 users 株式会社ホクソエム 出版 書籍 ブログ 辞書

監修させていただいている評価指標入門なんですが、株式会社ホクソエムの代表取締役CEOである私、牧山幸史（以下、コージー牧山）、はじめてこの企画を聞いた時は「その特徴は単に評価指標をまとめた辞書やないかい！そういう”売れそうだから書く”みたいな商業的なマインドが学術界の価値を貶め云々」と思ったのですが、... 続きを読む

【MLOps】「いつか使いたい！」と思っていた人のためのMLflowまとめ - Qiita

2022/01/22 6 users MLOps MLflow ハイパーパラメータ ライブラリ 比較

MLflowとは？ MLflowは機械学習のライフサイクル管理（MLOps）を目的としたライブラリで、主に実験管理用途で使用されることの多いツールです。 実験管理とは、 ・使用した学習器や学習データ、ハイパーパラメータ等のモデル作成条件 ・そのモデルを評価して得られた評価指標 のセットを記録し、複数条件の比較を行うこ... 続きを読む

機械学習とビジネスを橋渡しするものこそ評価指標であり, ”全てのビジネスは条件付期待値の最大化問題として書ける”仮説についての一考察 - 株式会社ホクソエムのブログ

2021/06/27 86 users 仮説 掲題 株式会社ホクソエム さん 機械学習

はじめに 株式会社ホクソエム常務取締役のタカヤナギ=サンです、主にデータサイエンスに基づいた意思決定のプロとして経営をしています。 掲題の件、現在、某社さんと”機械学習における評価指標とビジネスの関係、および宇宙の全て”というタイトルの書籍を書いているのだが、本記事のタイトルにあるような考え方について... 続きを読む

モデルナワクチン 接種後に90代男性死亡 国内で約44万回接種 | 新型コロナ ワクチン（日本国内） | NHKニュース

2021/06/23 19 users モデルナワクチン モデルナ 新型コロナ ワクチン 接種

モデルナの新型コロナウイルスのワクチンについて、厚生労働省は接種を受けた90代の男性が死亡したと発表しました。死因はくも膜下出血と見られ、接種との因果関係は評価中だとしています。国内では今月13日までにおよそ44万回の接種が行われ、これまでのところ、国際的な評価指標でアナフィラキシーに該当する症状は報... 続きを読む

ソフトウェア開発者の評価指標を考えてみた2019 - The HIRO Says

2019/05/28 51 users 雑談 THE HIRO Says 人事 アイデア チーム

私の勤めている会社は、ちょうど今が（人事）評価の時期です。 今日もチームメンバーと「どんな評価指標を使うのが良いのか」という雑談をしていたのですが、その内容が他のチーム・会社でも使えそうな気がしたので、ブログにまとめてみました。ちなみに雑談のまとめなので、あくまでアイデアの1つとして読んでいただけ... 続きを読む

機械学習の評価指標 – ROC曲線とAUC | GMOアドパートナーズグループ TECH BLOG byGMO

2018/12/13 31 users エントリー 分類 Advent Calendar 皆さん 結果

このエントリーは、GMOアドマーケティング Advent Calendar 2018 の 12/14の記事です。 GMOアドマーケティングとしては初のAdvent Calendar参戦です。 こんにちは、GMOアドマーケティングのS.Rです。 機械学習で分類の問題を解決するときに得られた結果をどのように評価をすればよいか皆さんは知っていますか？ 今回はよ... 続きを読む

リクルートが「最強マーケター集団」を目指してやったこととは？塩見氏が明かす、組織変革への道 (1/3)：MarkeZine（マーケジン）

2018/11/02 35 users デジタルマーケター 塩見直輔氏 分社化 マネジメント 同氏

MarkeZineDay 2018 Autumn２日目、「リクルート流最強マーケター集団の作り方」と題し、登壇したのはリクルートの塩見直輔氏。同氏は、分社化し戦略的にIT化を進めてきたリクルートで、デジタルマーケターの組織作りに尽力している。これまでの３年間を振り返り、マネジメントから組織の構成、評価指標に至るまで、失敗... 続きを読む

ディープラーニングの応用のための具体的方針まとめ - HELLO CYBERNETICS

2017/09/21 493 users ディープラーニング HELLO CYBERNETICS

2017 - 09 - 21 ディープラーニングの応用のための具体的方針まとめ 人工知能 人工知能-ディープラーニング Follow @ML_deep SNSでこの記事をシェアする Bookmark! Facebook Twitter Google+ Pocket はじめに 目標の設定と指標の決定 目標の設定 指標の決定 評価指標に対する最低限の知識 機械学習における知識（補足） ニューラルネット... 続きを読む

『HTMLメールよりテキストメールのほうが受注率が1.89倍高い』って知ってました？ | FULL KAITEN BLOG

2017/05/15 20 users FULL KAITEN BLOG 受注率 べびちゅ メルマガ

『HTMLメールよりテキストメールのほうが受注率が1.89倍高い』って知ってました？ 2017年5月15日 『クリック率だけでなく購入まで至ったかどうかの比較も気になる』 2017年5月10日に公開した 『HTMLメールよりテキストメールのほうがクリック率が1.84倍高い』って知ってました？ で、多くの方が気にされていた点です。 ベビー服EC『べびちゅ』のメルマガの評価指標はクリック率です。 『な... 続きを読む

DAUを評価指標から捨てた会社の話 #tokyowebmining

2017/03/09 711 users TokyoWebmining DAU 会社

DAUを評価指標から捨てた会社の話 #tokyowebmining 1. Copyright Drecom Co., Ltd All Rights Reserved.DAUを捨てた会社の話 2. Copyright Drecom Co., Ltd All Rights Reserved.お前誰よ@tokoroten株式会社ドリコム勤務ソーシャルゲーム事業部データ分析グループ高機能雑用R&D&火消し... 続きを読む

豊洲地下水、基準７９倍の有害物質　７０カ所で超過：朝日新聞デジタル

2017/01/14 32 users 超過 有害物質 朝日新聞デジタル ベンゼン 座長

東京都の豊洲市場（江東区）の土壌汚染対策をめぐり、都が続けている地下水検査の最終結果で、環境基準を超すベンゼンなど複数の有害物質が検出されたことがわかった。小池百合子知事は安全性の評価指標として地下水検査を重視しており、築地市場（中央区）からの移転の判断に影響を与えそうだ。 検査結果は１４日午後、豊洲市場の安全性について検討している都の専門家会議（座長＝平田健正・放送大和歌山学習センター所長）で報... 続きを読む

改めてWebサイトの品質について考える : could

2016/12/21 137 users could 地固め アクセシビリティ 品質 クオリティ

アクセシビリティ デザイン 改めてWebサイトの品質について考える 独自の評価指標もないまま Web アクセシビリティを実践しようとすると、頑張れる人がやれる限り頑張るということになります。品質への捉え方を合わせなければ、「地固めという見え難いものに時間を費やす」ことが理解できません。 制作における品質とは？ Webサイトにおける品質（クオリティ）とはどういう意味でしょうか。 制作者であれば同じよ... 続きを読む

トピックモデルの評価指標 Coherence 研究まとめ #トピ本

2016/01/28 23 users トピックモデル Perplexity 既存研究 研究背景 発表

トピックモデルの評価指標 Coherence 研究まとめ #トピ本 1. 【論論⽂文紹介】 　 トピックモデルの評価指標 Coherence  研究まとめ 2016/01/28 牧⼭山幸史 1 2. 発表の流流れ 1.  研究背景、基礎知識識 2.  既存研究の紹介(5つ) 3.  まとめ 2 3. 1.  研究背景、基礎知識識 •  トピックモデルの評価指標として Perplexity  と  ... 続きを読む

トピックモデルの評価指標 Coherence に関する論文まとめ - ほくそ笑む

2016/01/22 41 users トピックモデル LdA Perplexity トピック 指標

LDA などのトピックモデルの評価指標として、Perplexity と Coherence の 2 つが広く使われています。 Perplexity はモデルの予測性能を測るための指標であり、Coherence は抽出されたトピックの品質を評価するための指標です。 トピックモデルは確率モデルであるため、Perplexity の定義は明確です。 一方、Coherence は「トピックが人間にとって分か... 続きを読む

とあるスタートアップの評価指標（メトリクス）

2016/01/04 87 users メトリクス tumada 見出し medium.com

とあるスタートアップの評価指標（メトリクス） 1. とあるスタートアップの 評価指標 Takaaki Umada / https://medium.com/@tumada/ January 4th, 2016 1 メ ト リ ク ス 2. 2 スタートアップに「冬来たる」? Winter is Coming / Game of Thrones 3. 3 2015 年 8 ∼ 12 月の記事の見出し... 続きを読む

その広報活動の効果測定、もはや牧歌的すぎる : 日経BizGate

2015/04/22 38 users 無形 日経BizGate 指標 測定 あいまいさ

世の中、正確な効果測定が難しいものは山ほどある。特に「無形の成果」の測定は難しく、代替的な評価指標には多くのあいまいさが残る。 企業の「広報活動」の効果測定もその1つ。以前から「広告換算値」という指標で広報活動の効果測定がなされてはいるが、実のところ単純な指標であり、当然あいまいさも多い。そもそも「広告換算値」という指標が、「いったい何のために広報活動をしているのか？」という本質的な問いに答えてい... 続きを読む

PV至上主義を捨て、ブランディングを目指したオウンドメディア運営企業の評価指標とは？ 〜Web Creator Conferenceレポート〜 #wcc_event| らふらく^^ ~ブログで飯を食う~

2015/01/19 31 users ブランディング PV至上主義 ブログ

1/18（日）に開催された「Web Creator Conference(LIG × サイボウズ / ぱくたそ / ファンタラクティブ / nanapi ) 第一回　メディア運営の全てがここにある！WCC」というイベントのレポートです。メディア運営者は読んでおきましょう。 ツイート以外のテキストは、僕のメモです。それではどうぞ。 スポンサーリンク 目次 イベントにおいて以下の3つ（僕が追えたものに... 続きを読む

情報検索における評価指標の最新動向と新たな提案

2014/12/02 34 users 最新動向 提案 情報検索

The Recipe For Creating a Successful Startup Ecosystem Zack Weisfeld 891 views 続きを読む

質の高い被リンクを獲得するための7つの基本施策

2014/07/18 34 users 基本施策 王道 検索ペナルティ 上位 被リンク

被リンクはやはり重要 サイトが検索エンジンから評価を受けて、上位表示されることは重要です。サイトの評価指標の1つである、被リンクの重要性は、パンダアップデート、ペンギンアップデート以降も高いままです。 但し、間違った被リンクの獲得をしてしまうと、質が良かろうが、数が多かろうが、検索ペナルティの対象となってしまいます。 基本的には、質の高いコンテンツを作り続けることが、被リンク獲得の王道なのですが、... 続きを読む

DAUを評価指標から捨てた会社の話 #tokyowebmining

2013/05/21 711 users TokyoWebmining DAU 会社

DAUを評価指標から捨てた会社の話 #tokyowebmining Presentation Transcript Copyright Drecom Co., Ltd All Rights Reserved.DAUを捨てた会社の話 Copyright Drecom Co., Ltd All Rights Reserved.お前誰よ@tokoroten株式会社ドリコム勤務ソーシャルゲーム事業部データ... 続きを読む

【コラム】AppStoreのアプリレビューで、ユーザーのみなさんにやめて欲しい8つのこと | TERA APPs

2012/08/05 51 users AppStore アプリレビュー iPhoneアプリ モラル

皆さんもiPhoneアプリを使う方、開発する方様々いらっしゃると思いますが、AppStoreでのレビューはDLする側もされる側も、重要な評価指標ですよね。レビューを書く方も、書いてもらう方も、きちんとした評価がアプリについていないと第三者に公正な判断がされません。こういった問題はずっと昔からあるのですが、先日あまりにもモラルに欠けている人が多いのを見てしまって、自分が思う「やめてほしいこと」を書い... 続きを読む

アクセス解析から導き出す資料請求を増やす方法 | Web担当者Forum

2007/06/26 291 users Web担当者Forum アクセス解析 資料請求 方法 カイゼン

―何を解析すればいいのかわからないあなたに― Webサイトの“見える化”＆“カイゼン”講座 アクセス解析から導き出す資料請求を増やす方法 石井 研二（いなかどっとコム） ページビュー数だけをウェブサイトの評価指標としている会社がまだまだ多いようだが、「ページビューがたくさんあれば成功している」というわけではない。今回はアクセス解析を行いながら、いかにして「成果」へ導くかを考えていこう。主眼は、コン... 続きを読む