Adobeの画像生成AI「Firefly」の学習用データセットにMidjourneyなど別の画像生成AIが生成した画像が全体の約5％ほど混入していることが判明

2024/04/15 21 users firefly Midjourney ライブラリ スク 判明

Adobeの画像生成AI「Firefly」は、Adobe Stockという写真や映像のライブラリでトレーニングされていることが特徴で、インターネット上の画像をスクレイピングして学習した他の画像生成AIと異なり、商業的にも安全なAIだとAdobeは主張しています。しかし、実際はFireflyの学習したデータセットにMidjourneyなどによって生... 続きを読む

機械学習による株価予測 - Qiita

2024/03/24 173 users Qiita Aidemy 目次 株価予測 反省

こんにちは。私がAidemyでデータ分析講座コースを受講いたしました。今回は学んだスキルを活用して、上場企業を株価予測をしてみました。 目次 1．目的 2. データセット 3. 機械学習モデル 4. 予測モデルの構築と検証 5. 結果 6. 反省 1.目的 上場会社の株価データセットを用いて、株価予測するLSTMの機械学習モデルを構... 続きを読む

クリスタに画像生成AIを搭載する予定ない──提供元セルシスが発表　「データセットがクリーンなものしか使わない」

2024/02/22 14 users グリスタ セルシス 画像生成AI 声明 ユー

クリスタに画像生成AIが搭載する予定はない──イラスト作成ソフト「CLIP STUDIO PAINT」（クリスタ）を販売するセルシスは、そんな声明をX上に投稿した。 クリスタに画像生成AIが搭載する予定はない──イラスト作成ソフト「CLIP STUDIO PAINT」（クリスタ）を販売するセルシスは2月21日、公式Xでこう表明した。一部のユー... 続きを読む

Google、医療特化の大規模言語モデル「MedLM」の提供開始

2023/12/14 11 users LLM 大規模言語モデル Google 提供開始 米国

Googleは、医療業界向けの新たなLLM「MedLM」を米国で提供開始した。「PaLM 2」ベースのLLMを医療関連の膨大なデータセットでトレーニングしたもの。医療研究、医療診断、医療文書作成など、多様な医療用途に使用できるとしている。 米Googleは12月13日（現地時間）、医療業界向けの新しい大規模言語モデル（LLM）、「Me... 続きを読む

データセットの本質的な性質を踏まえないデータ分析には、大抵何の意味もない - 渋谷駅前で働くデータサイエンティストのブログ

2023/11/11 169 users 大抵 データサイエンティスト 性質 渋谷駅前 データ分析

前回のブログ記事は、論文紹介という地味なテーマだったにしてはだいぶ話題を呼んだ*1ようで、個人的にはちょっと意外な感があったのでした。確かに、今をときめくTransformerにも苦手なものがあるという指摘は、NN一強の現代にあってはセンセーショナルなものと受け止められても不思議はなかったかと思います。 しかし... 続きを読む

自分のイラストや写真を画像生成AIが学習するのを妨害する電子透かしを入れるツール「Mist」

2023/08/27 11 users Mist Midjourney 電子透かし 議論 画像生成AI

Stable DiffusionやMidjourneyなどの画像生成AIはデータセットの画像から学習していますが、このデータセットに含まれる画像の著作権については議論があり、「自分のイラストや写真をAIに学習されたくない」という人も多くいます。上海交通大学の研究チームが発表した「Mist」は画像に見えない透かしを入れることで、AI... 続きを読む

Meta、コード生成や解釈に特化した大規模言語モデル「Code Llama」公開

2023/08/27 54 users Meta プロンプト Code Llama 解釈 生成

Metaは、コードもしくは自然言語によるプロンプトから、コードの生成およびコードに関する自然言語の説明を生成できる大規模言語モデル「Code Llama」を公開しました。 Code Llamaは、先月（2023年7月）にMetaが発表した大規模言語モデル「Llama 2」をベースに、コードに特化したデータセットでさらに訓練したバージョン... 続きを読む

OpenAIはChatGPTを消去して作り直さなければならないかも知れない | TEXAL

2023/08/18 20 users OpenAI chatgpt TEXAL TOS スク

New York Times紙がサービス利用規約（TOS）を更新し、AI企業がAIモデルを訓練するために記事や画像をスクレイピングすることを禁止していることが明らかになったが、どうやら事態はそれだけでは収まらないようだ。 New York Times紙はOpenAIを提訴する準備を進めており、その結果次第ではChatGPTのデータセットは再構築... 続きを読む

1万種類を超える大規模言語モデル(LLM)をまとめてダウンロード数や類似性などを分かりやすく視覚化したデータライブラリが公開される

2023/07/22 20 users LLM Bard データライブラリ chatgpt リポジトリ

2022年後半から「ChatGPT」や「Bard」など数え切れないほどの大規模言語モデル(LLM)およびAIサービスが登場し、世界中のユーザーが生成AIを積極的に使い始めるようになりました。こうした大規模言語モデルの多くは機械学習モデルとデータセットのリポジトリであるHugging Faceに寄託されていますが、スタンフォード大学... 続きを読む

OpenAIの埋め込みよりも高性能？多言語E5を日本語で評価してみる - Ahogrammer

2023/07/05 11 users OpenAI Ahogrammer 対照 テキスト 多言語

多言語のテキスト埋め込み用のモデルであるMultilingual-E5-largeの性能を日本語のデータセットで評価してみました。 E5とは E5とはEmbEddings from bidirEctional Encoder rEpresentationsの略で、テキストの埋め込み用のモデルです[1]。Web上から収集した大規模なテキストペアのデータセット（CCPairs）で対照学習した... 続きを読む

初心者が言語モデルを勉強するための本（2023年6月版） - ぱたへね

2023/06/22 107 users 言語モデル 初心者 LLM GPT Deep learning

流行のLLMを勉強したくて沢山本を読みました。 この後もしばらくLLM（GPT）関係の出版が続きそうなので、現状の本でまとめてみました。 参考： nowokay.hatenablog.com まとめ。 Tranformerの仕組みを知りたい人で、画像のDeep Learningなら分かるって人はVision Transformer入門 言語モデルをデータセットを作る所から... 続きを読む

画像生成AIによるイラスト学習をカラフルなウォーターマークで簡単に妨害できる「RGBWatermark」を使ってみた

2023/05/31 13 users Midjourney ウォーターマーク 既存 画像生成AI

Stable DiffusionやMidjourneyのような画像生成AIは、既存のイラストや写真で構成されたデータセットから学習した重みデータを基に、画像を自動で生成することができます。しかし、学習用データセットを構成するイラストや写真はウェブスクレイピングで収集されたものが多いため、知らないうちに自分の写真やイラストが... 続きを読む

言語モデルのスケーリング則（Scaling Laws for Neural Language Models）とは？

2023/05/24 10 users スケーリング則 用語辞典 法則 用語 パラメーター数

言語モデルのスケーリング則（Scaling Laws for Neural Language Models）とは？：AI・機械学習の用語辞典 用語「スケーリング則」について説明。自然言語処理モデルのサイズ（＝パラメーター数）や、データセットのサイズ、トレーニングに使用される計算量が増えるほど、より高い性能を発揮できる、という法則を指す。 ... 続きを読む

対話型AIの学習に使われているGoogleのデータセット「C4」には4chanや白人至上主義者のサイトなど問題のあるコンテンツが大量に混入している

2023/04/20 11 users 白人至上主義者 対話型AI 4chan 学習 Google

Metaが2023年2月に公開した大規模言語モデル「LLaMA」を始めとするAIのトレーニングには、Googleが作成した巨大データセット「Colossal Clean Crawled Corpus(C4)」が使用されています。C4は名前の通り「クリーン」なデータで構成されているはずですが、海外メディア・The Washington PostとAI研究者の分析により、このC... 続きを読む

大規模言語モデル（LLM）に関するビジネスと法律～LLMやデータセットの構築と提供（レイヤー1）～ | STORIA法律事務所

2023/04/13 10 users LLM レイヤー 自民党 STORIA法律事務所 構築

第1　はじめに 前回の記事で大規模言語モデル（LLM）に関するビジネスは3つのレイヤーに分けると理解しやすいというお話をしました。 このうち、レイヤー1は「大規模データセットや大規模言語モデルを自ら開発して公開・提供するレイヤー」です。 このレイヤーに関する最近の話題としては、自民党が公表したホワイトペー... 続きを読む

【ChatGPT】GPT-4でPythonの画像ビューワを作成してみた | DevelopersIO

2023/03/15 24 users DevelopersIO chatgpt ビューワ ツール

新規事業統括部の山本です。 今日OpanAIのChatGPTのモデルとして、GPT-4が利用可能になりました。早速使ってみようと思います。 やってみる 今回は画像のビューワを作成してみます。ちょうどデータセットの画像や、画像モデルに入力した結果を表示するツールがほしいと思っていました。 import os import tkinter as tk ... 続きを読む

AIが生成した画像のもとになった画像の帰属を示すサービス「Stable Attribution」

2023/02/06 74 users 画像生成AI 帰属 もと 画像 内容

画像生成AIは、無から画像を生み出しているわけではなく、膨大なデータセットで学習した内容から求められた画像を出力しています。そこで、出力された画像をもとにして、データセット内のどういった画像がもとになったのかわかるサービスが「Stable Attribution」です。 Stable Attribution https://www.stableattributi... 続きを読む

Google、文章から音楽を生成するAIツール「MusicLM」発表 | テクノエッジ TechnoEdge

2023/01/29 13 users TechnoEdge MusicLM サイエンス 宇宙 電気

ガジェット全般、サイエンス、宇宙、音楽、モータースポーツetc... 電気・ネットワーク技術者。実績媒体Engadget日本版, Autoblog日本版, Forbes JAPAN他 Google Reseachが、入力されたテキストに応じて音楽を生成するツール「MusicLM」を発表しました。 MusicLMは、28万時間におよぶ音楽のデータセットを用いて学習した... 続きを読む

画像生成AIに抗議するため著作権に厳しいディズニー・任天堂・マーベルなどのキャラクターのAIによる自動生成画像をばらまく

2022/12/16 132 users マーベル 任天堂 Midjourney 画像生成AI 著作権

Stable DiffusionやMidjourneyのような画像生成AIは、学習時に使われるデータセットに含まれる画像が著作権を無視して収集されているという問題があり、議論の対象となっています。そんな画像生成AIに抗議するため、あえてディズニーや任天堂などの著作権に厳しいキャラクターの画像を生成して疑問を呈する人が登場した... 続きを読む

画像生成AI「Stable Diffusion」などの開発に大きな貢献を果たした超巨大データセット「LAION-5B」とは？

2022/12/13 69 users Stable Diffusion アルゴリズム 精度 ペア

AIを構築する上ではアルゴリズムだけでなく訓練用のデータセットも重要であり、データセットの質によってAIの精度も大きく左右されます。高精度な画像生成AIとして話題のStable Diffusionでは、「LAION-5B」という50億以上もの画像とテキストのペアを含むデータセットを用いています。 LAION-5B: A NEW ERA OF OPEN LARG... 続きを読む

1100万行・32GB超の巨大CSVファイルの基本統計量を4GBメモリマシンで算出する - Qiita

2022/12/07 292 users Qiita マシンスペック Kaggleコンペ CSVデータ

はじめに この記事は，Kaggle Advent Calendar 2022第6日目の記事になります。 本記事では、 32GB超のCSVデータの基本統計量を、小規模マシンでも省メモリかつ高速に計算するテクニック について解説します。 Kaggleコンペに限らず、 マシンスペックが低いため、大きなデータセットを満足に処理できず困っている 毎回行... 続きを読む

インターネット上の文章にわざと誤字脱字をまぎれこませることでAIを狂わせるサイバー攻撃の可能性

2022/10/20 124 users 誤字 誤字脱字 発達 自動生成 サイバー攻撃

画像や文章の自動生成、顔認識、ゲームのプレイなど、人間の行動を模倣するAIを開発するためには、膨大なデータセットで学習する必要があります。データセットの内容にはインターネットに存在する画像や文章が使われるケースが多くありますが、このインターネット上にある文章に含まれる誤字がAIの発達に大きな影響を及... 続きを読む

画像生成AI「Stable Diffusion」でいろいろ特化した使えるモデルデータいろいろまとめ

2022/10/04 304 users Stable Diffusion ノイズ 潜在拡散モデル

画像生成AIのStable Diffusionは、ノイズを除去することで画像を生成する「潜在拡散モデル」で、オープンソースで開発されて2022年8月に一般公開されたため、学習用のデータセットを変えることで特定の画像を生成するのに特化したフォークモデルが多数存在します。そんなStable Diffusionから派生して生まれた特化型モデ... 続きを読む

Stable Diffusionを「いらすとや」で追加学習する - TadaoYamaokaの開発日記

2022/09/18 213 users キャプション Clip TadaoYamaoka ギャ 前回

前回、Stable Diffusionをdanbooruデータセットを使用して追加学習することを試した。 今回は、自分でデータセットを作成して追加学習することを試す。 データセットには、画像とキャプションが揃っている必要があり、キャプションがない場合はCLIPで疑似ラベルを生成するなどする必要がある。 今回は、画像に対するキャ... 続きを読む

画像生成AI「Stable Diffusion」でイラストを描くのに特化したモデルデータ「Waifu-Diffusion」使い方まとめ

2022/09/15 145 users GitHub Stable Diffusion イラスト

2022年8月に一般公開された画像生成AI「Stable Diffusion」を二次元イラスト490万枚以上のデータセットでチューニングした画像生成AIが「Waifu-Diffusion」です。このWaifu-DiffusionをローカルのWindows環境で実行するために、実際にモデルデータをダウンロードして導入してみました。 GitHub - harubaru/waifu-diffusi... 続きを読む