LLMプロダクト開発における独自評価基準とデータセットの作り方の考察

2024/04/22 6 users LLMプロダクト開発 考察 評価基準 作り方

- {place_name}の主要な観光スポットを網羅できているか - 各観光スポットの特徴や見どころを具体的に説明できているか - アクセス方法や所要時間など、実用的な情報を提供できているか - 主観的な意見を述べていないか - 明るく丁寧な口調を維持できているか [ { "input": { "place_name": "鎌倉" }, "output": "鎌倉は... 続きを読む

Adobeの画像生成AI「Firefly」の学習用データセットにMidjourneyなど別の画像生成AIが生成した画像が全体の約5％ほど混入していることが判明

2024/04/15 21 users firefly Midjourney ライブラリ スク 判明

Adobeの画像生成AI「Firefly」は、Adobe Stockという写真や映像のライブラリでトレーニングされていることが特徴で、インターネット上の画像をスクレイピングして学習した他の画像生成AIと異なり、商業的にも安全なAIだとAdobeは主張しています。しかし、実際はFireflyの学習したデータセットにMidjourneyなどによって生... 続きを読む

機械学習による株価予測 - Qiita

2024/03/24 173 users Qiita Aidemy 目次 株価予測 反省

こんにちは。私がAidemyでデータ分析講座コースを受講いたしました。今回は学んだスキルを活用して、上場企業を株価予測をしてみました。 目次 1．目的 2. データセット 3. 機械学習モデル 4. 予測モデルの構築と検証 5. 結果 6. 反省 1.目的 上場会社の株価データセットを用いて、株価予測するLSTMの機械学習モデルを構... 続きを読む

クリスタに画像生成AIを搭載する予定ない──提供元セルシスが発表　「データセットがクリーンなものしか使わない」

2024/02/22 14 users グリスタ セルシス 画像生成AI 声明 ユー

クリスタに画像生成AIが搭載する予定はない──イラスト作成ソフト「CLIP STUDIO PAINT」（クリスタ）を販売するセルシスは、そんな声明をX上に投稿した。 クリスタに画像生成AIが搭載する予定はない──イラスト作成ソフト「CLIP STUDIO PAINT」（クリスタ）を販売するセルシスは2月21日、公式Xでこう表明した。一部のユー... 続きを読む

日本語LLMの学習に向けたデータ前処理

2024/01/22 8 users 日本語LLM テキスト 言語モデル web 学習

はじめに 大規模言語モデルの学習にあたり、大規模なデータセットで学習することが重要ですが、高品質なデータを用いることも重要です。 Webなどから大規模に収集したデータを用いることが一般的ですが、そのままだとかなりノイズが多く、モデルの学習が困難です。 本記事では、言語検出、テキスト正規化、テキストのチ... 続きを読む

Google、医療特化の大規模言語モデル「MedLM」の提供開始

2023/12/14 11 users LLM 大規模言語モデル Google 提供開始 米国

Googleは、医療業界向けの新たなLLM「MedLM」を米国で提供開始した。「PaLM 2」ベースのLLMを医療関連の膨大なデータセットでトレーニングしたもの。医療研究、医療診断、医療文書作成など、多様な医療用途に使用できるとしている。 米Googleは12月13日（現地時間）、医療業界向けの新しい大規模言語モデル（LLM）、「Me... 続きを読む

AIの訓練のために… 新興国の10代の若者たちがトラウマになるようなコンテンツにさらされている

2023/11/22 9 users トラウマ 訓練 新興国 Wired コンテンツ

パキスタン在住の15歳の少年は放課後、人工知能（AI）の訓練に使われるデータセットを作る手伝いをするウェブサイトにログインしてお金を稼いでいるとWiredに語った。 アルゴリズムの訓練をクラウドソーシングしているこのサイトで、少年は時給1～2ドル（約150～200円）稼いでいるという。 ｢コンテンツ・モデレーション ... 続きを読む

［NumPy超入門］箱ひげ図とヒストグラムを使ってデータセットを可視化してみよう

2023/11/17 9 users ヒストグラム 箱ひげ図 可視化

連載概要 本連載はPythonについての知識を既にある程度は身に付けている方を対象として、Pythonでデータ処理を行う上で必須ともいえるNumPyやpandas、Matplotlibなどの各種ライブラリの基本的な使い方を学んでいくものです。そして、それらの使い方をある程度覚えた上で、それらを活用してデータ処理を行うための第一歩... 続きを読む

データセットの本質的な性質を踏まえないデータ分析には、大抵何の意味もない - 渋谷駅前で働くデータサイエンティストのブログ

2023/11/11 169 users 大抵 データサイエンティスト 性質 渋谷駅前 データ分析

前回のブログ記事は、論文紹介という地味なテーマだったにしてはだいぶ話題を呼んだ*1ようで、個人的にはちょっと意外な感があったのでした。確かに、今をときめくTransformerにも苦手なものがあるという指摘は、NN一強の現代にあってはセンセーショナルなものと受け止められても不思議はなかったかと思います。 しかし... 続きを読む

【scRNA-seq】scRNA-seqデータセットを結合する方法【Seurat】 - LabCode

2023/09/20 5 users RNA-seq解析データ scRNA-seq seurat

single cell RNA-seq解析はある程度できるようになったけど、複数のデータセットを扱った解析はまだできないという方はいるのではないでしょうか。 この記事ではsingle cell RNA-seq解析の複数のデータセットを統合する方法を紹介します。 これにより、複数の実験から得られたsingle cell RNA-seq解析データを扱うことが... 続きを読む

自分のイラストや写真を画像生成AIが学習するのを妨害する電子透かしを入れるツール「Mist」

2023/08/27 11 users Mist Midjourney 電子透かし 議論 画像生成AI

Stable DiffusionやMidjourneyなどの画像生成AIはデータセットの画像から学習していますが、このデータセットに含まれる画像の著作権については議論があり、「自分のイラストや写真をAIに学習されたくない」という人も多くいます。上海交通大学の研究チームが発表した「Mist」は画像に見えない透かしを入れることで、AI... 続きを読む

Meta、コード生成や解釈に特化した大規模言語モデル「Code Llama」公開

2023/08/27 54 users Meta プロンプト Code Llama 解釈 生成

Metaは、コードもしくは自然言語によるプロンプトから、コードの生成およびコードに関する自然言語の説明を生成できる大規模言語モデル「Code Llama」を公開しました。 Code Llamaは、先月（2023年7月）にMetaが発表した大規模言語モデル「Llama 2」をベースに、コードに特化したデータセットでさらに訓練したバージョン... 続きを読む

Metaの大規模言語モデル「LLaMA」のトレーニングにも使用されたAIの学習用データセット「Books3」が削除される

2023/08/21 8 users Meta Llama デンマーク トレーニング 書籍

デンマークの著作権侵害対策グループ「Rights Alliance」が、約20万冊にも上る書籍のデータセット「Books3」を削除するよう、ホストする「The Eye」に対して要請し、データセットの削除が行われました。Books3はMetaの開発する大規模言語モデル「LLaMA」のトレーニングにも使用されたデータセットです。 Anti-Piracy Gro... 続きを読む

OpenAIはChatGPTを消去して作り直さなければならないかも知れない | TEXAL

2023/08/18 20 users OpenAI chatgpt TEXAL TOS スク

New York Times紙がサービス利用規約（TOS）を更新し、AI企業がAIモデルを訓練するために記事や画像をスクレイピングすることを禁止していることが明らかになったが、どうやら事態はそれだけでは収まらないようだ。 New York Times紙はOpenAIを提訴する準備を進めており、その結果次第ではChatGPTのデータセットは再構築... 続きを読む

OpenAIがインターネット上のコンテンツ収集に用いるウェブクローラー「GPTBot」をブロックする試みが進行中

2023/08/14 5 users ウェブクローラー OpenAI chatgpt GPTBot

対話型AIのChatGPTを開発するOpenAIは2023年8月に、大規模言語モデルの学習に必要なデータセットをインターネット上から収集するためのウェブクローラー「GPTBot」に関する詳細を公開しました。GPTBotに関するオンラインドキュメントには、GPTBotによるコンテンツの収集を防ぐための方法も記載されており、一部のウェブ... 続きを読む

1万種類を超える大規模言語モデル(LLM)をまとめてダウンロード数や類似性などを分かりやすく視覚化したデータライブラリが公開される

2023/07/22 20 users LLM Bard データライブラリ chatgpt リポジトリ

2022年後半から「ChatGPT」や「Bard」など数え切れないほどの大規模言語モデル(LLM)およびAIサービスが登場し、世界中のユーザーが生成AIを積極的に使い始めるようになりました。こうした大規模言語モデルの多くは機械学習モデルとデータセットのリポジトリであるHugging Faceに寄託されていますが、スタンフォード大学... 続きを読む

OpenAIの埋め込みよりも高性能？多言語E5を日本語で評価してみる - Ahogrammer

2023/07/05 11 users OpenAI Ahogrammer 対照 テキスト 多言語

多言語のテキスト埋め込み用のモデルであるMultilingual-E5-largeの性能を日本語のデータセットで評価してみました。 E5とは E5とはEmbEddings from bidirEctional Encoder rEpresentationsの略で、テキストの埋め込み用のモデルです[1]。Web上から収集した大規模なテキストペアのデータセット（CCPairs）で対照学習した... 続きを読む

初心者が言語モデルを勉強するための本（2023年6月版） - ぱたへね

2023/06/22 107 users 言語モデル 初心者 LLM GPT Deep learning

流行のLLMを勉強したくて沢山本を読みました。 この後もしばらくLLM（GPT）関係の出版が続きそうなので、現状の本でまとめてみました。 参考： nowokay.hatenablog.com まとめ。 Tranformerの仕組みを知りたい人で、画像のDeep Learningなら分かるって人はVision Transformer入門 言語モデルをデータセットを作る所から... 続きを読む

独自のデータセットでGPTのような大規模言語モデルを簡単にファインチューニングできるライブラリ「Lit-Parrot」をGoogle Cloud Platformで使ってみた

2023/05/31 8 users GPT ファインチューニング ライブラリ 言語モデル 出力

特定の分野についての知識を増やす場合など、大規模言語モデルの出力を特定の方向に寄せる場合に利用されるのがファインチューニングで、これはモデルをゼロから構築するのに比べてはるかに少ないデータセット＆はるかに少ないコストでトレーニングできる手法です。「Lit-Parrot」はファインチューニングを簡単に行える... 続きを読む

画像生成AIによるイラスト学習をカラフルなウォーターマークで簡単に妨害できる「RGBWatermark」を使ってみた

2023/05/31 13 users Midjourney ウォーターマーク 既存 画像生成AI

Stable DiffusionやMidjourneyのような画像生成AIは、既存のイラストや写真で構成されたデータセットから学習した重みデータを基に、画像を自動で生成することができます。しかし、学習用データセットを構成するイラストや写真はウェブスクレイピングで収集されたものが多いため、知らないうちに自分の写真やイラストが... 続きを読む

言語モデルのスケーリング則（Scaling Laws for Neural Language Models）とは？

2023/05/24 10 users スケーリング則 用語辞典 法則 用語 パラメーター数

言語モデルのスケーリング則（Scaling Laws for Neural Language Models）とは？：AI・機械学習の用語辞典 用語「スケーリング則」について説明。自然言語処理モデルのサイズ（＝パラメーター数）や、データセットのサイズ、トレーニングに使用される計算量が増えるほど、より高い性能を発揮できる、という法則を指す。 ... 続きを読む

対話型AIの学習に使われているGoogleのデータセット「C4」には4chanや白人至上主義者のサイトなど問題のあるコンテンツが大量に混入している

2023/04/20 11 users 白人至上主義者 対話型AI 4chan 学習 Google

Metaが2023年2月に公開した大規模言語モデル「LLaMA」を始めとするAIのトレーニングには、Googleが作成した巨大データセット「Colossal Clean Crawled Corpus(C4)」が使用されています。C4は名前の通り「クリーン」なデータで構成されているはずですが、海外メディア・The Washington PostとAI研究者の分析により、このC... 続きを読む

「ChatGPT」「Bing」「Bard」を比較--最も優れたAIチャットボットは？

2023/04/17 5 users LLM Bard chatgpt Bing AIチャットボット

「ChatGPT」が2022年11月に公開されたとき、人工知能（AI）エンジンを無料で一般の人々に提供したことで、瞬く間に大きな注目を集めた。 従来の検索エンジンが、入力された質問に最も近い内容のウェブサイト群のリンクを提示するのに対し、ChatGPTは、大量のデータセットに目を通したうえで、大規模言語モデル（LLM）を... 続きを読む

大規模言語モデル（LLM）に関するビジネスと法律～LLMやデータセットの構築と提供（レイヤー1）～ | STORIA法律事務所

2023/04/13 10 users LLM レイヤー 自民党 STORIA法律事務所 構築

第1　はじめに 前回の記事で大規模言語モデル（LLM）に関するビジネスは3つのレイヤーに分けると理解しやすいというお話をしました。 このうち、レイヤー1は「大規模データセットや大規模言語モデルを自ら開発して公開・提供するレイヤー」です。 このレイヤーに関する最近の話題としては、自民党が公表したホワイトペー... 続きを読む

【ChatGPT】GPT-4でPythonの画像ビューワを作成してみた | DevelopersIO

2023/03/15 24 users DevelopersIO chatgpt ビューワ ツール

新規事業統括部の山本です。 今日OpanAIのChatGPTのモデルとして、GPT-4が利用可能になりました。早速使ってみようと思います。 やってみる 今回は画像のビューワを作成してみます。ちょうどデータセットの画像や、画像モデルに入力した結果を表示するツールがほしいと思っていました。 import os import tkinter as tk ... 続きを読む