タグ「日本語LLM」 - はてブログ

タグ日本語LLM

新着順人気順 5 users 10 users 50 users 100 users 500 users 1000 users

(1 - 25 / 28件)

日本語LLM 9種を量子化して回答内容を比較調査してみた - Qiita

2024/04/10 11 users Qiita LLM 量子化相関度合い

TL;DR 量子化しても成績が下がりにくいモデルと、大きく下がるモデルがある一部のモデルは量子化すると回答が極端に短くなる量子化によって回答が短くなる度合いは、量子化前モデルの回答の長さと相関がある可能性があるはじめに皆さんは量子化したLLMを使っていますか？深層学習における量子化（quantization）と... 続きを読む

「数千万円かかるコスト」と「山のような技術的課題」　開発者たちが語る、日本語LLMの現在地

2024/04/02 7 users 課題開発者たち

基盤モデルの開発をしている中で苦労することは？南野充則氏（以下、南野）：では、ここからパネルディスカッションに移っていきたいと思います。最初は、こちら側でお題を用意しています。大きなトピックとしては、基盤モデルの開発とコスト、基盤モデルにおけるアカデミアとビジネスの観点でどのような考え方をされて... 続きを読む

KDDI、生成AIのELYZA子会社化　最高性能の日本語LLMを展開

2024/03/18 7 users KDDI 生成AI 最高性能展開

推定1000万円以下のコストで開発され、国内最大・最高性能を達成した日本語LLM, Karakuri-LMの秘密

2024/02/18 24 users 激震パイオニアチャットボット開発 AM JST コスト

推定1000万円以下のコストで開発され、国内最大・最高性能を達成した日本語LLM, Karakuri-LMの秘密 2024.02.18 Updated by Ryo Shimizu on February 18, 2024, 10:08 am JST 2024年1月。国内の生成AIコミュニティに激震が走った。コンタクトセンター向けのチャットボット開発のパイオニアとして知られるカラクリ社が商... 続きを読む

日本語LLMにおけるトークナイザーの重要性 | データアナリティクスラボ

2024/02/11 6 users 重要性

ELYZA-Japanese-Llama-2-7b ELYZA-Japanese-Llama-2-7bは、ELYZAが公開した日本語に特化したLLMです。公開されたのは以下のモデルです。 ELYZA-japanese-Llama-2-7bELYZA-japanese-Llama-2-7b-fastELYZA-japanese-Llama-2-7b-instructELYZA-japanese-Llama-2-7b-fast-instruct instruct：instruction tuningによって追... 続きを読む

日本語LLMの学習に向けたデータ前処理

2024/01/22 8 users テキスト言語モデル web 学習高品質

はじめに大規模言語モデルの学習にあたり、大規模なデータセットで学習することが重要ですが、高品質なデータを用いることも重要です。 Webなどから大規模に収集したデータを用いることが一般的ですが、そのままだとかなりノイズが多く、モデルの学習が困難です。本記事では、言語検出、テキスト正規化、テキストのチ... 続きを読む

GPT-4、Microsoft 365 Copilot、日本語LLM…　2024年も追い続けたい「生成系AI」のおすすめ記事5選

2024/01/02 77 users GPT-4 ログミーTech スク生成系AI 数々

GPT-4の発表から、より一層注目を浴びるようになった生成系AI。2023年には数々のイベントで生成系AIについて語られていました。そこで今回は、2023年に掲載したログミーTechの記事から、今あらためて読み返したい生成AI系の記事を5つピックアップしました。「今の生成系AIは“人間人間したもの”を生み出している」　スク... 続きを読む

商用利用可能で130億パラメーターの日本語LLM「ELYZA-japanese-Llama-2-13b」が公開／デモも公開されており、実際に能力を試すことが可能

2023/12/27 11 users ELYZA-japanese-Llama-2-13b

130億パラメータの「Llama 2」をベースとした日本語LLM「ELYZA-japanese-Llama-2-13b」を公開しました（商用利用可）｜ELYZA, Inc.

2023/12/27 26 users ELYZA Inc ベースベースモデル商用利用

130億パラメータの「Llama 2」をベースとした日本語LLM「ELYZA-japanese-Llama-2-13b」を公開しました（商用利用可）本記事のサマリーELYZA は「Llama 2 13B」をベースとした商用利用可能な日本語LLMである「ELYZA-japanese-Llama-2-13b」シリーズを一般公開しました。前回公開の 7B シリーズからベースモデルおよび学... 続きを読む

LLM開発のためのデータエンジニアリング - Qiita

2023/12/24 10 users Qiita LLM開発 LLM GPU データエンジニアリング

LLM開発のためのデータエンジニアリング MLOps Advent Calendar 2023の24日目です。 Stability AIでデータ系のソフトウェアエンジニアをやっているcvuskです。主な仕事は日本語LLMのためのデータ開発です。Stability AIでは日本語LLMも各種開発しています。LLMの学習というと大量のGPUを用意して巨大なデータでモデルを... 続きを読む

ELYZA、コード生成と補完に特化した70億パラメータの日本語LLMを公開

2023/11/15 6 users ELYZA 補完コード生成 70億パラメータ公開

ジャンクノートパソコンにPythonと日本語LLMのRinnaを入れてメモリ16GBとSwapフルでローカル質問してみた。メモリ足りなくてもSwap積めばなんとかなる。ローカルLLM最高

2023/11/05 9 users swap GPU rinna ローカルLLM Python

GPUがなくてもRinnaいけました。メモリさえ合計32GBあればなんとかなります。ZramやZwapつかって圧縮しても良いです。日本語ローカルLLMはやっぱりいいですね。高性能ハイエンドPCは動かすだけならいらないです。初心者向けの解説を入れました。続きを読む

【Youri 7B】日本最高峰レベルの精度を叩き出す！総学習量2兆トークン超えの日本語LLM | WEEL

2023/11/02 13 users rinna社 WEEL AI研究ベース複数

【Youri 7B】日本最高峰レベルの精度を叩き出す！総学習量2兆トークン超えの日本語LLM 2023 11/02 Youri 7Bは、2023年10月31日に日本のrinna社が公開した最新の日本語LLMです。このモデルは、Llama2 7Bをベースに開発され、目的や環境に合わせて複数のモデルが用意されており、より多くのAI研究に活用されることを目的... 続きを読む

独自の日本語LLM（大規模言語モデル）のバージョン2を一般公開 ―32,000トークン対応の商用利用可能なチャットモデルを提供―

2023/11/02 13 users 藤田晋 Large Language Model 本社当社

株式会社サイバーエージェント（本社：東京都渋谷区、代表取締役：藤田晋、東証プライム市場：証券コード4751）は、70億パラメータ・32,000トークン対応の日本語LLM（Large Language Model、大規模言語モデル）を公開したことをお知らせいたします。当社はかねてより日本語LLMの開発に取り組んでおり、2023年5月には国... 続きを読む

ビジネスのドメインや最新情報に対応した130億パラメータの日本語LLMの公開

2023/10/26 8 users ドメインビジネス 130億パラメータ LLM 公開

Research部門の近江崇宏です。ストックマークではビジネスのドメインや最新情報（2023年9月まで）に対応した130億パラメータの大規模言語モデル（LLM）を商用利用も可能なライセンスで公開しました。モデルはHuggingface Hubからダウンロードいただけます。 https://huggingface.co/stockmark/stockmark-13b このモデ... 続きを読む

「世界トップレベルの大規模言語モデルの開発に着手」──産総研らが表明　目指すのは“GPT-3級の日本語LLM”

2023/10/18 11 users 着手表明言語モデル開発 LLM

「世界トップレベルの大規模言語モデル（LLM）の開発を始める」──産業技術総合研究所は、そんな声明を発表した。産業技術総合研究所は10月17日、世界トップレベルの大規模言語モデル（LLM）の開発を始めると発表した。産総研の他にも東京工業大学や、国立情報学研究所が主宰するLLM研究開発チーム「LLM-jp」（東北大学... 続きを読む

賢いと噂の日本語LLM「ELYZA」をウェブAPIで使う！ Power Automateなどからも呼び出せる完全ローカル環境の構築【イニシャルB】

2023/10/09 14 users ELYZA Power Automate ウェブAPI 構築

ELYZAが公開した日本語LLM「ELYZA-japanese-Llama-2-7b」についての解説 : (1) 事前学習編

2023/09/12 11 users ELYZA Meta 平川堀江佐々木

はじめにこんにちは。ELYZAの研究開発チームの佐々木 (@hikomimo)、中村 (@tyo_yo_)、堀江 (@eemon18)、平川 (@h__must__) です。先日弊社株式会社ELYZAでは以下のようなリリースをさせていただきました。 Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました上記の... 続きを読む

Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました｜ELYZA, Inc.

2023/08/29 129 users Meta ELYZA text-davinci-003 匹敵

Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました本記事のサマリーELYZAが「Llama 2」ベースの商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を一般公開性能は「GPT-3.5 (text-davinci-003)」に匹敵、日本語の公開モデルのなかでは最高水準 Chat形式のデ... 続きを読む

Google Colab で Japanese StableLM Alpha を試す｜npaka

2023/08/10 5 users npaka Google Colab ベンチマーク動作複数

「Google Colab」で「Japanese StableLM Alpha」を試したので、まとめました。【注意】Google Colab Pro/Pro+ のA100で動作確認しています。 1. Japanese StableLM Alpha「Japanese StableLM Alpha」は、「Stability AI Japan」は70億パラメータの日本語LLMです。ベンチマーク「lm-evaluation-harness」による複数の日... 続きを読む

最近の話題にも詳しい14億パラメータの日本語LLMの公開

2023/08/08 87 users 話題 LLM 公開ビジネ近江崇宏

Research部門の近江崇宏です。今回、ストックマークは最近の話題にも詳しいGPT-NeoXをベースとした14億パラメータの日本語のLLM（大規模言語モデル）をオープンソースとして公開します。モデルはHugging Face Hubからダウンロードいただけます。 https://huggingface.co/stockmark/gpt-neox-japanese-1.4b 当社はビジネ... 続きを読む

NEC、「標準的GPU 1基で動く」世界トップクラスの日本語LLM

2023/07/06 165 users NEC 世界トップクラス

CyberAgentの日本語言語モデルを試してみる - きしだのHatena

2023/05/17 92 users CyberAgent サイバーエージェント言語モデル提供

CyberAgentが日本語LLMを公開していたので、とりあえず動かしてみました。サイバーエージェント、最大68億パラメータの日本語LLM（大規模言語モデル）を一般公開 ―オープンなデータで学習した商用利用可能なモデルを提供― | 株式会社サイバーエージェントモデルは次のように6サイズ提供されています。 ※ Rinna社も同時... 続きを読む

サイバーエージェント、国内最大級の日本語LLMを公開

2023/05/17 5 users サイバーエージェント国内最大級公開

サイバーエージェント、日本語の大規模言語モデルを一般公開　最大68億パラメータ　商用利用可能

2023/05/17 7 users サイバーエージェント LLM 言語モデル商用利用日本語

同社は5月、独自の日本語LLMを開発していると発表。すでに130億パラメータまで開発が完了し、広告の制作などに活用していると説明していた。また、同社は「既存のLLMのほとんどは英語を中心に学習されており、現状では日本語および日本文化に強いLLMは少ない状況」と指摘。国内の自然言語処理技術の発展に貢献していく考... 続きを読む

(1 - 25 / 28件)

次の25件 »