GPT-3の衝撃 - ディープラーニングブログ

2020/07/21 1527 users gpt-3 衝撃 Transformer OpenAI 勢い

この1週間はGPT-3のユースケースの広さに驚かされる毎日でした． シリコンバレーでは話題騒然ですが日本ではほとんど話題になっていないので，勢いで書くことにしました． GPT-3はOpenAIが開発した言語生成モデルです．名前の由来であるGenerative Pretrained Transformerの通り，自然言語処理で広く使われるTransformer... 続きを読む

メンヘラちゃんと学ぶディープラーニング最新論文 - ディープラーニングブログ

2018/11/24 530 users メンヘラちゃん Twitter ディープラーニング スライド

メンヘラちゃんがディープラーニングの最新論文をバリバリ語ってくれるシリーズです．Twitterに投稿したスライドをまとめました． サムネ画像 続きを読む

逆翻訳は機械翻訳の錬金術師か？ - ディープラーニングブログ

2018/11/17 238 users 翻訳 錬金術師 機械翻訳

逆翻訳 (Back-Translation) を用いた手法が驚くべき快挙を成し遂げました*1． 逆翻訳がヤバいスコアを叩き出しててびっくりした．おそらくAttention以降では最大の性能uphttps://t.co/ssaQw2s22f 深層学習はえげつない手法が突然ポッとでてくるからおもろい pic.twitter.com/RwyrjCn8Rx— Ryobot | りょぼっと (@_Ryobot)... 続きを読む

教師なし学習は機械翻訳に魔法をかけるか？ - ディープラーニングブログ

2018/04/28 382 users 機械翻訳 教師 魔法 学習 進展

2018 - 04 - 28 教師なし学習は機械翻訳に魔法をかけるか？ Deep Learning Neural Machine Translation Tweet つい先週， 機械翻訳 で驚くべき進展がありました． 教師なし 機械翻訳 がヤバい進化を遂げててびっくりした．たった半年でBLEUスコアを15から25に改善したのブレイクスルーでは？ https://t.co/SVQlYYu2Pt 教師... 続きを読む

論文解説 Memory Networks (MemNN) - ディープラーニングブログ

2017/05/25 115 users メモリモデル Ryobot インターン 本稿 選考

2017 - 05 - 25 論文解説 Memory Networks (MemNN) Deep Learning Memory Networks Tweet こんにちは， Ryobot (りょぼっと) です．最近は某 インターン 選考の某コーディング課題をやりました．楽しかったです． 概要 「メモリネットワーク」は代表的な記憶装置付き ニューラルネットワーク である． 本稿ではメモリモデル (記... 続きを読む

【前編】深層学習による自然言語処理 - ニューラル機械翻訳の理論・実装・実験 - - ディープラーニングブログ

2017/02/16 173 users ニューラル機械翻訳 深層学習 実装 理論 実験

2017 - 02 - 16 【前編】深層学習による自然言語処理 - ニューラル機械翻訳の理論・実装・実験 - Deep Learning Neural Machine Translation Natural Language Processing Tweet こんにちは， Ryobot です．最近は卒論してました．今春から 慶應 青山研 => NAIST 中村研です． 概要 本稿は3部作になって... 続きを読む