機械学習による株価予測 - Qiita

2024/03/24 173 users Qiita Aidemy 目次 株価予測 反省

こんにちは。私がAidemyでデータ分析講座コースを受講いたしました。今回は学んだスキルを活用して、上場企業を株価予測をしてみました。 目次 1．目的 2. データセット 3. 機械学習モデル 4. 予測モデルの構築と検証 5. 結果 6. 反省 1.目的 上場会社の株価データセットを用いて、株価予測するLSTMの機械学習モデルを構... 続きを読む

ZOZOTOWN検索における精度評価手法の運用で見えた課題とその改善アプローチ - ZOZO TECH BLOG

2024/03/18 23 users ZOZOTOWN検索 ZOZO TECH BLOG 運用

こんにちは。検索基盤部の橘です。検索基盤部では、ZOZOTOWNのおすすめ順検索の品質向上を目指し、機械学習モデル等を活用しフィルタリングやリランキングによる検索結果の並び順の改善に取り組んでいます。 ZOZOTOWN検索の並び順の精度改善の取り組みについては以下の記事をご参照ください。 techblog.zozo.com 検索基... 続きを読む

AIはあらゆる職をヒトから奪うが、配管工事まではまだできないだろう | ジェフリー・ヒントン、怒りのAI黙示録

2024/03/01 14 users ジェフリー・ヒントン ひと 配管工事 ピンドン chatgpt

人工知能と生物的な知能の違い AIが人類の存亡に関わる脅威になると確信したのはどうしてか、ヒントンに尋ねた。それは、AIの最も厄介な問題のひとつを解決しようとしたときから始まったと彼は言う。すなわち、AIが消費する、はちゃめちゃに大量のエネルギーだ。 ある概算によれば、ChatGPTは、大半の機械学習モデルと同... 続きを読む

機械学習モデルの再学習でLoRAよりもより少ない計算コストと時間でより高いパフォーマンスを期待できる「DoRA」

2024/02/20 10 users LoRa DORA ファインチューニング 再学習 重み

大規模言語モデルや画像生成AIなどの機械学習モデルでは、ファインチューニングやLoRA(Low Rank Adaptation)といった手法によって、モデルの重みを微調整し、特定のタスクや目的に沿った出力を行うようにカスタマイズすることができます。香港科技大学の研究チームが、LoRAよりも計算コストと時間を削減できる新たな手法... 続きを読む

クーポン推薦モデルとシステム改善の取り組み - ZOZO TECH BLOG

2024/01/31 12 users ZOZO TECH BLOG システム改善 パーソナライズ

はじめに ML・データ部推薦基盤ブロックの佐藤（@rayuron）です。私たちはZOZOTOWNのパーソナライズを実現するために、機械学習モデルとシステムを開発・運用しています。本記事ではクーポン推薦のための機械学習モデルとシステム改善に取り組んだ話を紹介します。 はじめに 背景 課題 1. 古い基盤でシステムが運用され... 続きを読む

機械学習モデルのA/BテストをしやすくするGo言語のAPI設計 - エムスリーテックブログ

2023/12/11 19 users エムスリーテックブログ Go言語 API設計 Bテスト サムネ

こちらはエムスリー Advent Calendar 2023 11日目の記事です。 DALL-Eでサムネ作るの楽勝だぜとなりそうでならない Overview A/Bテストをしまくっている、機械学習エンジニアの農見(@rookzeno)です。皆さんA/Bテストをしてますでしょうか。エムスリーでは色々な施策の効果を見るために沢山のA/Bテストをしています。その... 続きを読む

何でも微分する

2023/11/01 221 users 変種 微分 最適輸送 要因 https

IBIS 2023 企画セッション『最適輸送』 https://ibisml.org/ibis2023/os/#os3 で発表した内容です。 講演概要: 最適輸送が機械学習コミュニティーで人気を博している要因として、最適輸送には微分可能な変種が存在することが挙げられる。微分可能な最適輸送は様々な機械学習モデルに構成要素として簡単に組み入れること... 続きを読む

日本語の単語を適切な位置で区切って読みやすく改行してくれる軽量でオープンソースなライブラリ「BudouX」の機能＆採用例＆デモはこんな感じ、Chrome 119に実装予定で簡単に利用できる見

2023/10/01 31 users budoux ライブラリ サードパーティー 単語 軽量

日本語のページをブラウザで見ているとおかしな位置で改行されることが多いのですが、単語と単語の間にスペースを入れる英語などと異なり、日本語では分かち書きがされていないのが原因。単語の途中で文章が折り返されてしまう原因になっています。BudouXは機械学習モデルを利用して容量を抑えつつ、サードパーティーのA... 続きを読む

ZOZOTOWN検索におけるA/Bテスト分析の自動化の取り組み - ZOZO TECH BLOG

2023/08/15 10 users ZOZOTOWN検索 ZOZO TECH BLOG 自動化

はじめに こんにちは。検索基盤部の岩崎です。検索基盤部ではZOZOTOWNの検索機能の改善に日々取り組んでいます。ZOZOTOWNのおすすめ順検索のプロジェクトでは、機械学習モデルを活用した検索結果の並び順の改善に取り組んでおり、全ての施策はA/Bテストで検証しています。なお、最近の並び順精度改善の取り組みについて... 続きを読む

1万種類を超える大規模言語モデル(LLM)をまとめてダウンロード数や類似性などを分かりやすく視覚化したデータライブラリが公開される

2023/07/22 20 users LLM Bard データライブラリ chatgpt リポジトリ

2022年後半から「ChatGPT」や「Bard」など数え切れないほどの大規模言語モデル(LLM)およびAIサービスが登場し、世界中のユーザーが生成AIを積極的に使い始めるようになりました。こうした大規模言語モデルの多くは機械学習モデルとデータセットのリポジトリであるHugging Faceに寄託されていますが、スタンフォード大学... 続きを読む

「WebGPU」をサポートした「Google Chrome 113」が正式版に ～脆弱性の修正は15件／グラフィックスの描画や機械学習モデルの推論に大きなメリット

2023/05/07 13 users WebGPU 推論 グラフィックス 描画 脆弱性

続きを読む

数千万ユーザーのビッグデータに機械学習モデルを適用するには（広告配信ソリューション実現の工夫紹介）

2023/02/01 17 users ビッグデータ

こんにちは。Yahoo!広告にてデータアナリストをしている國吉です。 ヤフーでは、「Yahoo!広告」という広告出稿サービスを提供しており、それに付随して、広告を出稿するクライアントを支援するためのソリューションを提供しています。本記事では、私が開発に携わっている「Yahoo! JAPAN 予測ファネル」（以下、予測ファ... 続きを読む

Kaggleや競プロのトップランカーが持つ「本質的な強み」とは。リクルートが作り出す、競技と業務の好循環 - はてなニュース

2023/01/18 88 users Kaggle コンペティション データサイエンティスト 精度

ソフトウェアエンジニアがプログラミングの腕を競い合う競技プログラミングや、データサイエンティストや機械学習エンジニアが機械学習モデルの精度を競い合うKaggle。こうしたコンペティションのトップランカーが持つテクニックやスキルを実際の業務にも活かそうとしている、あるいはすでに活かしている企業も少なくな... 続きを読む

セッショナイズで機械学習モデルの精度を改善した話 - エニグモ開発者ブログ

2022/12/16 13 users 精度 エニグモ開発者ブログ

こんにちは、データサイエンティストの堀部です。 この記事はEnigmo Advent Calendar 2022の16日目の記事です。 普段の業務では情報検索(検索/レコメンド)、不正検知、ユーザー属性の推定などをBUYMAにプロダクトとして組み込むことを行っています。その中でもモデリング以前のタスク設計や探索的データ分析(EDA: Explan... 続きを読む

Stable Diffusionを使って「いらすとや風画像生成モデル」を作った話 - ぬいぐるみライフ？

2022/11/07 306 users Stable Diffusion テキスト ソースコード

今話題の画像生成モデル「Stable Diffusion」をいらすとやの画像でfinetuneしてみたところ、任意のテキストに対していらすとやっぽい画像を作れるモデルが出来上がりました。 Stable Diffusionとは Stable Diffusionは、指定されたテキスト（文字列）に対応する画像を生成する機械学習モデルのひとつです。ソースコード... 続きを読む

Stable Diffusionをローカルマシンで実行する(VSCodeとDevcontainerを使用)

2022/08/24 10 users Stable Diffusion Linux テキスト 以下

最近流行りのテキストから画像を生成する機械学習モデルが一般公開されたとのことで、興味本位で触ってみました。ざっと書いちゃったので、後で見直すかも。 目的 GPUアクセラレーションを活かしつつコンテナ内でStable Diffusionのモデルを動かしたい。メインPCなのでLinuxじゃなくWindowsを使いたい。 前提条件 以下の... 続きを読む

MLflowの使い方 - 機械学習初心者にもできる実験記録の管理 -

2022/06/03 12 users MLflow Pythonライブラリ 一方 実験記録 実験管理

こんにちは！ 読者の皆さんは、機械学習モデルのハイパーパラメータ調整を手作業で管理し、苦労した経験がないでしょうか。実験記録の管理は大事な一方で、なかなか大変です。 今回紹介するMLflowは、実験記録を簡単に管理できる便利なPythonライブラリです。MLflowは実験管理だけでなく、機械学習プロジェクト全体を管... 続きを読む

「プラスチックを素早く分解する酵素」が機械学習モデルを利用して開発される

2022/05/20 16 users プラスチック 酵素 石油 テキサス大学オースティン校 合成樹脂

プラスチックは一般的に石油を原料として作られた合成樹脂であり、水に強く腐食しにくいといった性質から工業製品や包装などさまざまな分野で利用されていますが、分解されにくいため環境への影響が問題となっています。そんなプラスチック廃棄物の問題を解決するため、テキサス大学オースティン校の研究チームは機械学... 続きを読む

Pathwaysの恐るべき威力、ベールを脱いだグーグルの万能AIが目指す究極形とは

2022/04/14 19 users ベール タスク 汎用 威力 グーグル

米Google（グーグル）が数年にわたって開発を進めてきた万能AI（人工知能）、「Pathways」の実力が明らかになった。Pathwaysは1つの機械学習モデルが最大数百万種類のタスクに対応できるという「万能」もしくは「汎用」のAIだ。従来のAIが1モデル1タスクの専用品であるにもかかわらず、タスクを処理する性能は汎用である... 続きを読む

誤分類コストを考慮した機械学習モデルの考え方 - BASEプロダクトチームブログ

2021/12/23 13 users BASEプロダクトチームブログ 考え方 base 閾値 竹内

BASE Advent Calendar 2021 はじめに コスト考慮型学習とは Cost-Sensitive Learningの手法 コスト行列 閾値の調整による誤分類コストの反映 実際のデータセットを用いた例 まとめ 参考文献 はじめに この記事はBASE Advent Calendar 23日目の記事です。 こんにちは、DataStrategyチームの竹内です。 BASEではより良いサ... 続きを読む

SageMaker Experimentsを使った機械学習モデルの実験管理 - コネヒト開発者ブログ

2021/12/15 12 users asteriam コネヒト開発者ブログ 実験管理 AWS 柏木

皆さん，こんにちは！機械学習エンジニアの柏木（@asteriam）です． 本エントリーはコネヒトアドベントカレンダーの15日目の記事になります． 今回は機械学習モデルの実験管理をする際に使用しているAWSのSageMaker Experimentsの活用例を紹介したいと思います． アドベントカレンダー1日目でたかぱいさんがSageMaker Pr... 続きを読む

機械学習はもはやエンジニアのものですらない。ノーコードで機械学習モデルが作れる「Sagemaker Canvas」が発表！ #reinvent | DevelopersIO

2021/11/30 14 users reinvent DevelopersIO エントリ 初日

機械学習はもはやエンジニアのものですらない。ノーコードで機械学習モデルが作れる「Sagemaker Canvas」が発表！ #reinvent せーのでございます。たった今re:Invent2021初日のキーノートが終了したところです。 今年も初日から色々なサービスが出ました。このエントリではその中からビジネスアナリスト向けの機械学習サ... 続きを読む

代理モデルによる機械学習モデルの説明 - Qiita

2021/09/25 13 users Qiita DNN GBDT 推論 etc

はじめに 代理モデル (surrogate model) とは複雑な機械学習モデル（e.g., DNN, GBDT）を近似する簡単なモデル（e.g., パラメタ数の少ないDNN, 単純決定木, etc）のことを指します．代理モデルは推論の高速化・機械学習モデルの説明などさまざまな用途に使われています． この記事では代理モデルによる機械学習モデルの... 続きを読む

機械学習のデータドリフト検知を自動化する方法｜Dentsu Digital Tech Blog｜note

2021/06/09 14 users Note ワークフロー 乖離 検知 機械学習

電通デジタルでデータサイエンティストを務める吉田です。 本記事では、機械学習においてモデル学習時点でのデータと推論時点でのデータが経時的に乖離を起こしていく、いわゆるデータドリフトの検知を自動化するために構築したワークフローについてご紹介いたします。 データドリフトによる機械学習モデルの劣化とは機... 続きを読む

FPGAに機械学習モデルを実装する – その1：ランダムフォレストによるクラス分類 | GMOインターネットグループ 次世代システム研究室

2021/06/01 19 users FPGA ランダムフォレスト GMOインターネットグループ

こんにちは，次世代システム研究室のS.T.です。普段はHadoopネタを書いていますが，今回はテーマをがらっと変えて，FPGAネタです。 「FPGAに機械学習の推論部分を実装し高速に処理を行う」という技術は耳にしたことがありましたが，漠然としたイメージがあるだけで実際にどのように実装していくのかということは知りませ... 続きを読む