経済情報特化の生成AI、日経が開発　40年分の記事学習 - 日本経済新聞

2024/04/24 34 users 生成AI 指標 人工知能 日経 名称

日本経済新聞社は24日、経済情報に特化した生成AI（人工知能）の基盤技術を開発したと発表した。大規模言語モデルと呼ばれるもので、約40年分の日経グループの新聞や雑誌の記事を学習させた。記事の要約機能などで活用を見込む。大規模言語モデルの名称は「NIKKEI Language Model」。性能の指標となる「パラメーター数」... 続きを読む

NTT、国産の生成AI「tsuzumi」サービス開始--「2027年に売上1000億円」と島田社長

2024/03/25 192 users tsuzumi LLM 生成AI NTT 島田社長

日本電信電話（NTT）は3月25日、独自に開発した大規模言語モデル（LLM）「tsuzumi」の商用提供を企業向けに開始した。代表取締役社長を務める島田明氏は「2027年までに売上1000億円を目指す」と述べた。 tsuzumiは、NTTが2023年11月に発表した国産LLMだ。特徴の1つはモデルを大幅に軽量化した点で、パラメーター数は軽量... 続きを読む

ChatGPTを超えるという大規模言語モデル「OpenChat」をローカルで動作させて実力を確かめてみた

2023/11/26 17 users OpenChat chatgpt 実力 大規模言語モデル 実際

OpenChatはオープンソースの大規模言語モデルです。OpenChatのうち2023年11月にリリースされたOpenChat-3.5-7Bモデルはパラメーター数が70億しかないにもかかわらず2023年3月時点のChatGPTを超えるベンチマーク結果を出すほど性能が高いモデルとのことなので、実際に使って試してみました。 imoneoi/openchat: OpenChat:... 続きを読む

世界を変えた画像生成AI、さらに進化「Stable Diffusion XL（SDXL）」いよいよ正式公開 (1/4)

2023/07/17 332 users SDXL Stability AI 実行 描写力 最高性能

Stability AIは6月26日、画像生成AIの最新モデル「Stable Diffusion XL」を発表しました（「画像生成AI『Stable Diffusion』最高性能の新モデル『SDXL 0.9』一般的なPCで実行可能」）。パラメーター数がオリジナルのStable Diffusionの9億から23億へと大幅に拡大され、描写力が飛躍的に上昇したモデルです。正式版のSDXL... 続きを読む

Stable Diffusionの改良版「Stable Diffusion XL(SDXL)」の技術レポートが公開

2023/07/05 13 users SDXL assets Stable Diffusion

画像生成AI・Stable Diffusionからパラメーター数が大幅に増加した新モデル「Stable Diffusion XL(SDXL)」の技術レポートが公開されました。 generative-models/assets/sdxl_report.pdf at main · Stability-AI/generative-models · GitHub https://github.com/Stability-AI/generative-models/blob/main/assets/sdxl_re... 続きを読む

Microsoftがたった13億のパラメーターでGPT-3.5超えのHumanEval50.6％をたたき出す「phi-1」を発表

2023/06/22 179 users パラメーター phi-1 Microsoft LLM 発表

LLaMaやFalconといった小型の大規模言語モデル(LLM)が矢継ぎ早にリリースされる中、Microsoft ResearchのAI研究チームが、プレプリントサーバーのarXivで、Transformerベースのモデル「phi-1」を発表しました。このモデルは、パラメーター数がGPT-3.5の100分の1以下の13億しかないにもかかわらず、テスト用データセット... 続きを読む

GPUメモリが小さくてもパラメーター数が大きい言語モデルをトレーニング可能になる手法「QLoRA」が登場、一体どんな手法なのか？

2023/06/03 104 users パラメーター GPT-2 gpt-3 メモリ GPUメモリ

GPT-1は1億1700万個のパラメーターを持つ言語モデルで、GPT-2では15億、GPT-3では1750億とパラメーター数が増加するにつれて言語モデルの性能が上がってきています。しかしパラメーター数が増加するにつれてトレーニングに必要なデータの数やトレーニング中に使用するメモリの量も増加し、トレーニングのコストが大きく... 続きを読む

「人間の子供が聞く量の単語」のみで大規模言語モデルを新たにトレーニングするチャレンジ「BabyLM Challenge」が開催中、誰でも挑戦可能

2023/06/02 13 users 単語 チャレンジ 言語モデル 通説 挑戦

チャットAIに用いられる大規模言語モデルの性能は、パラメーター数やトレーニングデータの量が増えるほど上昇するというのが通説ですが、この通説に反して「少ないデータ量で高性能な言語モデルを作成する」というチャレンジ「BabyLM Challenge」が開催されています。 babylm.github.io https://babylm.github.io/ 大規... 続きを読む

言語モデルのスケーリング則（Scaling Laws for Neural Language Models）とは？

2023/05/24 10 users スケーリング則 用語辞典 法則 用語 トレーニング

言語モデルのスケーリング則（Scaling Laws for Neural Language Models）とは？：AI・機械学習の用語辞典 用語「スケーリング則」について説明。自然言語処理モデルのサイズ（＝パラメーター数）や、データセットのサイズ、トレーニングに使用される計算量が増えるほど、より高い性能を発揮できる、という法則を指す。 ... 続きを読む

ChatGPT（GPT-4）がすごすぎる　シンギュラリティも近い？ (1/3)

2023/04/07 18 users OpenAI chatgpt シンギュラリティ GPT-4

毎日のようにOpenAIの対話AI「ChatGPT」を使いまくっています。チャット履歴が戻ってきてよかったなぁと（※3月20日、不具合によりチャット履歴が閉じていた件）。あれがなくなったら死んでしまうというくらいの気持ちでしたから……。 それにしても3月15日にリリースされたGPT-4モデルはすごいですね。パラメーター数で言... 続きを読む