1兆 (1T) パラメータ規模のLLMの事前学習検証 - Preferred Networks Research & Development

2024/08/20 9 users LLM Gener Development 子会社 生成AI

Preferred Networksの子会社のPreferred Elements(以下PFE)では7月から約1ヶ月の間、1兆 (1T) パラメータ規模のLLMの事前学習について検証を行っていました。今回の記事ではこの取り組みとその結果について紹介します。 この検証は経済産業省が主導する国内の生成AIの開発力を強化するためのプロジェクト「GENIAC（Gener... 続きを読む

東大松尾研、日英対応の大規模言語モデル公開　100億パラメータ、精度は「国内オープンソース最高水準」

2023/08/18 27 users 東大松尾研 水準 精度 日英対応 言語モデル公開

東大松尾研が、日英の2カ国語に対応した100億パラメータサイズの大規模言語モデル（LLM）を、非商用のオープンソースで公開した。 東京大学院工学系研究科・松尾研究室（主宰：松尾豊教授）は8月18日、日英の2カ国語に対応した100億パラメータサイズの大規模言語モデル（LLM）「Weblab-10B」を、事前学習と事後学習（フ... 続きを読む

大規模言語モデル(LLM)の作り方 Megatron-DeepSpeed編 Part2

2023/07/24 13 users LLM Turing 藤井 大規模言語モデル 言語モデル

はじめに Turing 株式会社リサーチチームの藤井(@okoge_kaz)です。 Turingでは、自動運転を支える技術のひとつとして大規模言語モデル(Large Language Model: LLM)に注目しており、関連する技術の研究開発を行っています。 つい先日、大規模言語モデルの事前学習を行う際に用いられることが多いmicrosoft/Megatron-DeepS... 続きを読む

400億パラメータで日本語特化　NICT、独自の生成AIを試作　「GPT-3」と同規模のモデルも開発中

2023/07/04 18 users NICT Googl gpt-3 試作 生成AI

また、現在「GPT-3」と同規模となる1790億パラメータを持つモデルの事前学習をスタート。学習用テキストの大規模化にも取り組んでいるという。さらに、民間企業、大学、国立研究所などとの共同研究を拡大し、安全に活用できる大規模言語モデルの研究開発に産学官連携して取り組む予定としている。 NICTは、2018年にGoogl... 続きを読む

BERT以降の事前学習済みモデルのトレンドと主要モデルを紹介！ Part 1 学習方法編 - ELYZA Tech Blog

2021/03/25 15 users Transformer Bert トレンド 主要モデル 紹介

はじめまして，インターン生の三澤遼です。本記事では，BERT以降の事前学習済みモデルを体系化し，主要なモデルについて解説します。TransformerやBERTについて事前知識があると理解しやすいと思います。 BERT以降のNLP分野の発展 学習方法の改良について 事前学習 Masked Language Modeling 改良版Masked Language Mode... 続きを読む

画像認識の大革命。AI界で話題爆発中の「Vision Transformer」を解説！ - Qiita

2020/10/12 351 users Qiita Vision Transformer frac

0. 忙しい方へ 完全に畳み込みとさようならしてSoTA達成したよ Vision Transformerの重要なことは次の3つだよ 画像パッチを単語のように扱うよ アーキテクチャはTransformerのエンコーダー部分だよ 巨大なデータセットJFT-300Mで事前学習するよ SoTAを上回る性能を約$\frac{1}{15}$の計算コストで得られたよ 事前学習デ... 続きを読む

フィリピンに短期留学をして英語力を伸ばせるのか？【事前学習が必須】 | 外こもりブログ

2019/06/03 9 users フィリピン 外こもりブログ 短期留学 必須 キムラタクヤ

・短期間のフィリピン留学で英語力は伸びるのかな？ ・短期留学でかかる費用どれくらいだろう？ ・おすすめな学校も知りたいな こんな疑問にお答えします。 こんにちは、キムラタクヤです。 今回は、フィリピンに短期留学した際に英語力が伸びるのか否かについて話していきます。 まず結論からお伝えすると、短期間の留... 続きを読む

富士山を見て感じること。 - こたつ猫の森

2017/04/06 26 users 富士山 こたつ猫 皆無 カオス 象徴

2017 - 04 - 06 富士山を見て感じること。 私が「富士山」を最初に見たのは、中学生の時。 修学旅行でのことでした。 テレビや写真でしか見たことのない富士山を、同級生と一緒に見るのがとても楽しみだったことを覚えています。 当時の日本は今よりも子どもの数がずっと多く、しかも、中学校はどこも大荒れの時代でしたから、修学旅行なんてカオスの象徴、今のお子さんがするような事前学習なんてのも皆無、た... 続きを読む

台湾好物　旅で出会ったやわらかな台湾 - くらしのちえ

2017/01/04 76 users チェ 台湾 嗅覚 キャセイパシフィック航空 手持ち

2017 - 01 - 04 台湾好物　旅で出会ったやわらかな台湾 かんがえ 書籍での事前学習と台湾の友人からの情報。そして、最後は嗅覚に頼る年末年始４泊５日の台湾の旅です。 事前準備と旅のワクワクは書籍から （1）書籍６冊 （2）雑誌２冊 （3）いつもの手持ちの本１冊 １日目　 飛行機：キャセイパシフィック航空（成田ー桃園）ホテル：amba台北中山ホテル(amba TAIPEI ZHONGSHA... 続きを読む

中国・深圳で味わった挫折経験を糧に、5ヶ月の事前学習と2週間のフィリピン留学をしたYukoさん | フィリピン語学留学｜サウスピーク

2016/01/28 12 users 深圳 サウスピーク フィリピン語学留学 経緯 フィリピン留学

TOP > フィリピン留学体験談 > 中国・深圳で味わった挫折経験を糧に、5ヶ月の事前学習と2週間のフィリピン留学をしたYukoさん 名前 Yukoさん 職業／年齢 20代後半、会社員 留学期間 2週間 開始時の英語力 TOEIC620点(L340 :R280) →TOEIC820点(L430: R390)200点アップ！ Yukoさんのこれまでの経緯 2015年7月申込み ↓(5ヶ月間の事前学習... 続きを読む

Masato Kinugawa Security Blog: セキュリティ・キャンプ全国大会2015の資料を公開

2015/08/17 32 users 資料 セキュリティ・キャンプ全国大会 講義 公開 http

2015/08/18 セキュリティ・キャンプ全国大会2015の資料を公開 2015年8月11～15日の間行われたセキュリティ・キャンプ全国大会2015に、今年も講師として参加してきました。使用した資料を公開します。 1. 事前学習として用意した「簡単にSOP周辺を理解するページ」 http://vulnerabledoma.in/camp2015_sop/ 2. 講義に使用したスライド Secur... 続きを読む

Python - 【ディープラーニング】ChainerでAutoencoderを試して結果を可視化してみる。 - Qiita

2015/07/05 118 users Qiita Chainer Encode ニューラルネット

ChainerでAutoencoderを試してみる記事です。前回の記事、「【機械学習】ディープラーニング フレームワークChainerを試しながら解説してみる。」の続きとなります。ディープラーニングの事前学習にも使われる技術ですね。 1.最初に AutoencoderとはAuto(自己) encode(符号化)er(器)で、データを2層のニューラルネットに通して、自分自身のデータと一致する出力がさ... 続きを読む

アゴラの池田信夫氏へ、画像直リンクは迷惑だからやめましょう

2013/01/05 61 users アゴラ Togetter Garbagenews.com

ニュースサイト『アゴラ』を運営する池田信夫氏が、自身のブログに不破雷蔵氏が運営するニュースサイト『Garbagenews.com(旧)』のグラフを無断で転載したうえにそれが画像直リンクだったそうです。 詳しい流れを知りたい人は以下のリンクから事前学習どうぞ。 池田信夫さんのグラフ無断転載と不破雷蔵さんの反応 – Togetter 池田信夫氏が不破雷蔵氏のグラフを直リンクしたのは何が問題か – 最終... 続きを読む