「大規模言語モデルの開発」に関するまとめ資料　東工大・岡崎教授が公開　全85ページ

2024/05/31 14 users 言語モデル 東工大 開発 まとめ資料 公開

岡崎教授率いる岡崎研究室と、東京工業大学学術国際情報センターの横田理央教授が率いる横田研究室、産業技術総合研究所による合同研究チームは23年12月、LLM「Swallow」を発表。この開発を通して得たノウハウなども紹介している。 関連記事 生成AIを巡る日本の現状は？　東大・松尾教授の考察資料が無料公開　「1年間、... 続きを読む

英語のswallowと漢語の嚥・燕のフェイク語源・字源を医療関係者が拡散している｜nkay

2024/04/07 18 users 字源 漢語 動詞 ツバメ 名詞

英語の動詞 $${swallow}$$ 「飲み込む」と名詞 $${swallow}$$ 「ツバメ」は語源的にも字源的にも関係がない。この2つの単語はもともと異なる発音と異なる綴りを持っていたが、歴史的変化によって偶然同じ発音と同じ綴りになった。 漢語の 嚥 $${yàn}$$ 「飲み込む」と 燕 $${yàn}$$ 「ツバメ」は語源的にも字源的にも関... 続きを読む

東工大など、日本語に強い大規模言語モデル「Swallow」を無償で公開

2024/01/13 209 users LLM 両者 生成AI 無償 産総研

東京工業大学(東工大)と産業技術総合研究所(産総研)の両者は12月19日、現在公開されている中で、日本語に強い生成AIの基盤である「大規模言語モデル」(LLM)としては最大規模となる「Swallow」を、米・MetaのLLM「Llama 2」の日本語能力を拡張することで構築し、Webサイト「TokyoTech-LLM」にて一般公開したこと、またオ... 続きを読む

東工大と産総研、英語の言語理解や対話で高い能力を持つ大規模言語モデル「Swallow」を公開 #SwallowLLM｜AICU media

2023/12/20 8 users LLM 語彙 対話 米Meta社 産総研

今回公開したLLMは、英語の言語理解や対話で高い能力を持つ大規模言語モデル・米Meta社「Llama 2」の日本語能力を拡張することで「Swallow」を構築。拡張前の Llama2 のの高い言語処理能力を維持しながら日本語能力を強化するため、言語モデルに日本語の文字や単語などの語彙を追加したうえで、新たに開発した日本語デー... 続きを読む

日本語に強い大規模言語モデル「Swallow」　産総研と東工大が公開　事前学習用の日本語データに工夫

2023/12/20 17 users LLM Llama 米Meta 産総研 工夫

産業技術総合研究所と東京工業大学の研究チームは、日本語に強い大規模言語モデル（LLM）「Swallow」を公開した。 産業技術総合研究所と東京工業大学の研究チームは12月19日、日本語に強い大規模言語モデル（LLM）「Swallow」を公開した。米Metaが開発したLLM「Llama 2シリーズ」をベースに日本語能力を改善させたもの。... 続きを読む

日本語に強い大規模言語モデル「Swallow」を公開 英語が得意な大規模言語モデルに日本語を教える

2023/12/19 80 users 要点 生成AI技術 情報理工学院 利活用 東工大

要点 日本語能力に優れビジネスにも安心して活用できる大規模言語モデルを公開 継続事前学習により大規模言語モデルの日本語能力を改善 高度な日本語処理が求められる多くの場面で、生成AI技術の利活用を推進 概要 東京工業大学（以下、東工大） 情報理工学院 情報工学系の岡崎直観教授と横田理央教授らの研究チームと国... 続きを読む

Swallow: LLaMA-2 日本語継続事前学習モデル

2023/12/19 13 users

はじめに 東京工業大学 横田研究室の藤井です。 本日(2023/12/19)Llama 2から日本語継続事前学習を行ったSwallow-7B, Swallow-13B, Swallow-70Bをリリースさせて頂きました。 本モデルの開発は、産総研、東京工業大学 岡崎研究室、横田研究室の合同プロジェクトにて行われました。公式プロジェクトページはこちらです。 ... 続きを読む

Swallow – TokyoTech-LLM

2023/12/19 18 users

Swallow Llama 2の日本語能力を強化した大規模言語モデル (7B, 13B, 70B) です。モデルのパラメータ（重み）が公開されていますので、LLAMA 2 Community Licenseに従う限り、研究や商業利用など自由に利用できます。 View on HuggingFace 大規模言語モデルSwallowは東京工業大学情報理工学院の岡崎研究室と横田研究室、... 続きを読む