OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ

2021/01/05 20 users OpenAI Transformer 変数 gpt-3 単体

OpenAIはGPT-3の次の研究を始めています． 世間がGPT-3のデモに湧き上がる中，OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました． Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです． Scaling Lawはそれ単体だけなら興味深い話で終わるか... 続きを読む

GPT-3の衝撃 - ディープラーニングブログ

2020/07/21 1527 users gpt-3 衝撃 Transformer OpenAI 勢い

この1週間はGPT-3のユースケースの広さに驚かされる毎日でした． シリコンバレーでは話題騒然ですが日本ではほとんど話題になっていないので，勢いで書くことにしました． GPT-3はOpenAIが開発した言語生成モデルです．名前の由来であるGenerative Pretrained Transformerの通り，自然言語処理で広く使われるTransformer... 続きを読む

メンヘラちゃんと学ぶディープラーニング最新論文 - ディープラーニングブログ

2018/11/24 530 users メンヘラちゃん Twitter ディープラーニング スライド

メンヘラちゃんがディープラーニングの最新論文をバリバリ語ってくれるシリーズです．Twitterに投稿したスライドをまとめました． サムネ画像 続きを読む

逆翻訳は機械翻訳の錬金術師か？ - ディープラーニングブログ

2018/11/17 238 users 翻訳 錬金術師 機械翻訳

逆翻訳 (Back-Translation) を用いた手法が驚くべき快挙を成し遂げました*1． 逆翻訳がヤバいスコアを叩き出しててびっくりした．おそらくAttention以降では最大の性能uphttps://t.co/ssaQw2s22f 深層学習はえげつない手法が突然ポッとでてくるからおもろい pic.twitter.com/RwyrjCn8Rx— Ryobot | りょぼっと (@_Ryobot)... 続きを読む

教師なし学習は機械翻訳に魔法をかけるか？ - ディープラーニングブログ

2018/04/28 382 users 機械翻訳 教師 魔法 学習 進展

2018 - 04 - 28 教師なし学習は機械翻訳に魔法をかけるか？ Deep Learning Neural Machine Translation Tweet つい先週， 機械翻訳 で驚くべき進展がありました． 教師なし 機械翻訳 がヤバい進化を遂げててびっくりした．たった半年でBLEUスコアを15から25に改善したのブレイクスルーでは？ https://t.co/SVQlYYu2Pt 教師... 続きを読む

論文解説 Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation (GNMT) - ディープラーニングブログ

2017/12/18 31 users GNMT Ryobot 論文解説

2017 - 12 - 18 論文解説 Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation (GNMT) Deep Learning Neural Machine Translation Tweet こんにちは Ryobot (りょぼっと) です． Go... 続きを読む

対話モデルの訓練/評価フレームワーク ParlAI がすごい - ディープラーニングブログ

2017/10/19 84 users TENS Chainer Ryobot 本稿 エージェント

2017 - 10 - 19 対話モデルの訓練/評価フレームワーク ParlAI がすごい Dialogue Natural Language Processing Deep Learning Tweet こんにちは， Ryobot です． 本稿では ParlAI の基本的な使用法やユーザーが独自に定義できるエージェントの実装方法を解説しました． 以下，PyTorch, Chainer, Tens... 続きを読む

論文解説 Memory Networks (MemNN) - ディープラーニングブログ

2017/05/25 115 users メモリモデル Ryobot インターン 本稿 選考

2017 - 05 - 25 論文解説 Memory Networks (MemNN) Deep Learning Memory Networks Tweet こんにちは， Ryobot (りょぼっと) です．最近は某 インターン 選考の某コーディング課題をやりました．楽しかったです． 概要 「メモリネットワーク」は代表的な記憶装置付き ニューラルネットワーク である． 本稿ではメモリモデル (記... 続きを読む

DeepMind の深層学習ライブラリ Sonnet を早速試してみた - ディープラーニングブログ

2017/04/11 45 users Sonnet TENS DeepMind Ryobot 季節

2017 - 04 - 11 DeepMind の深層学習ライブラリ Sonnet を早速試してみた Deep Learning Sonnet Tweet どうも， Ryobot です．夜桜を眺めながら酒を呑みたい季節になって参りました． Sonnet は 4月 7日に公開されたばかりの DeepMind 謹製の深層学習ライブラリである．もともと DeepMind の社内で使用されていた Tens... 続きを読む

【前編】深層学習による自然言語処理 - ニューラル機械翻訳の理論・実装・実験 - - ディープラーニングブログ

2017/02/16 173 users ニューラル機械翻訳 深層学習 実装 理論 実験

2017 - 02 - 16 【前編】深層学習による自然言語処理 - ニューラル機械翻訳の理論・実装・実験 - Deep Learning Neural Machine Translation Natural Language Processing Tweet こんにちは， Ryobot です．最近は卒論してました．今春から 慶應 青山研 => NAIST 中村研です． 概要 本稿は3部作になって... 続きを読む