【文系でもわかる】ChatGPTのキモ「Transformer」「Attention」のしくみ

2023/09/26 518 users Transformer GPT attention 文脈 根幹

第1回は、さまざまなタスクをこなす万能型ジェネレーティブAIツール「ChatGPT」の性能の鍵を握る「トークン長（GPTが文脈を意識できる過去の単語数）」やGPTの歴史的経緯について解説しました。第2回はGPTを支える自然言語処理 の分野で使用される深層学習モデル「Transformer」とその根幹となる「Attention機構（そのタ... 続きを読む

ディープフェイク映像を見抜く深層学習モデル、国内初の実用化

2023/01/16 8 users ディープフェイク映像 実用化 NII 国内初 真偽

国立情報学研究所（NII）の研究チームが開発した、人工知能（AI）が生成したディープフェイク顔映像の真偽を自動判定するプログラム「シンセティック・ビジョン（SYNTHETIQ VISION: Synthetic video detector）」をサイバーエージェントが採用。タレントなど著名人のディープフェイク映像検知で実用化することを明らかに... 続きを読む

写真内の不要な顔だけ“実在しない顔”に置き替えるAI　プライバシー保護に活用　Intelなどが開発

2022/12/01 19 users プライバシー保護 ディープフェイク 開発 写真内 研究報告

米ビンガムトン大学とIntel Labsに所属する研究者らは、写真内に写る指定した顔を実在しない偽の顔（ディープフェイク）に変換する深層学習モデルを提案した研究報告を発表した。 続きを読む

超高精度の言語AI「GPT-3」は何がスゴい？要約、小説、コーディングなど広がる可能性

2021/12/01 15 users コーディング gpt-3 要約 言語AI 小説

GPT-3とは？文章生成で何ができるのか GPT-3は「Generative Pre-trained Transformer - 3」の略で、OpenAIが開発した事前学習済み（Pre-trained）の文章生成型（Generative）の「Transformer」、その3番目のモデルを指します。この「Transformer」というのは自然言語処理向けの深層学習モデルのことで、「畳み込みネット... 続きを読む

深層距離学習(Deep Metric Learning)の基礎から紹介 - OPTiM TECH BLOG

2021/10/01 120 users deep metric learning 検知 河野 基礎

こんにちは、R&Dチームの河野です。深層学習モデルの開発を担当しております。 今回は、画像分類、画像検査、顔認識や異常検知など様々な分野に利用されている深層距離学習(Deep Metric Learning)について紹介したいと思います。 ※ 一部モバイル端末で式が崩れることがあるようです。その際はPC等での閲覧をお願いします... 続きを読む

Ubisoft、ゲームキャラを自然に動かせる低コストな深層学習モデルを開発：Innovative Tech - ITmedia NEWS

2021/03/23 22 users Ubisoft seamless ゲームキャラ 山下裕毅氏

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 仏Ubisoftと米コンコーディア大学による研究チームが開発した「Learned Motion Matching」は、ゲーム内キャラクターアニメーショ... 続きを読む

TPU VS GPU(日本語版) - Stockmark Tech Blog

2020/10/30 23 users Stockmark Tech Blog 日本語版 昨今 訓練

はじめに(この記事の英語版はTPU VS GPU(English Edition)にあります。) Machine Learning部門の江間見です。ストックマークでは、自然言語処理技術の研究開発を行っています。 昨今、大規模データでニューラルネットワークを訓練し良い結果を得ようとするならば、深層学習モデルの訓練にかかる時間の膨大さに誰もが悩ま... 続きを読む

【ポケモン剣盾】御三家分類を例に深層学習の判断根拠を可視化してみた - Qiita

2019/12/24 6 users Qiita AdventCalendar ポケモン剣盾 手法

はじめに みなさん、ポケモンやってますか？私は10年振りくらいに買いましたサンタさんにもらいました。 ガチ勢目指して、年末年始は家に引きこもって厳選予定です。 AdventCalendarはポケモンネタで何かできないかなーと思っていたので、最近気になっている深層学習モデルの判断根拠を示す手法を、ポケモン御三家分類を... 続きを読む

深層学習モデルを用いたノンパラメトリック回帰問題に関する最近の研究 | Preferred Research

2019/11/05 40 users Preferred Research 研究 近似 深層学習

図1：ReLU-MLPによる2次関数の近似．このネットワークを用いるとHölder関数を効率的に近似できる（[Yarotsky, 2017]より引用） 深層学習モデルはこれまで様々な機械学習タスクにおいて成功を収めてきています．それに触発され，深層学習モデルの成功要因を理論面から解明する試みが盛んに行われています．特に深層学習の... 続きを読む

OSSのPyTorchで深層学習モデルを作ってみたいなら 『現場で使える！PyTorch開発入門』発売：CodeZine（コードジン）

2018/09/19 20 users CodeZine ニューラルネットワーク PyTorch

OSSの深層学習フレームワークとして注目を集めるPyTorch。Pythonの関数を利用するのと同じ感覚でニューラルネットワークを構築できるのが特徴で、興味がある方も多いかもしれません。翔泳社では9月18日にPyTotchの入門書『現場で使える！PyTorch開発入門』を発売します。 『現場で使える！PyTorch開発入門 深層学習モデ... 続きを読む

グーグルの機械学習フレームワーク「TensorFlow」が「Raspberry Pi」を正式にサポート - ZDNet Japan

2018/08/07 77 users TensorFlow Linux グーグル コンピュータ

シングルボードのコンピュータ「Raspberry Pi」で、Googleの機械学習フレームワーク「TensorFlow」を利用するのがますます簡単になりそうだ。 開発者はすでに、Raspberry PiでTensorFlowをさまざまに活用し、深層学習モデルを追加して、画像分類などを行うことが可能だった。 TensorFlowは「Linux」「Windows」「Android... 続きを読む

AWS DeepLens の出荷開始 – ご注文をどうぞ! | Amazon Web Services ブログ

2018/06/18 12 users AWS DeepLens ハードウェア デバイス 出荷開始

Amazon Web Services ブログ AWS DeepLens の出荷開始 – ご注文をどうぞ! AWS DeepLens は外出先でデバイスに直接深層学習モデルを実行できるビデオカメラです。昨年、こちらの記事でそのハードウェアとシステムソフトウェアについて詳しく解説しましたが、簡単にまとめた内容がこちらです。 ハードウェア – 400 万画素... 続きを読む

AWSの深層学習向けビデオカメラ「DeepLens」、米国で一般提供開始 - ZDNet Japan

2018/06/15 21 users DeepLens CAFFE TensorFlow AWS

Amazon.comは、深層学習向けビデオカメラ「AWS DeepLens」の一般提供を米国で開始した。価格は249ドル（約2万8000円）。 Amazon Web Services（AWS）のDeepLens は、開発者が「TensorFlow」や「Caffe」を使い、深層学習モデルをわずかな時間で稼働できるように設計されている。 これは、機械学習ツールをこれまで以上に実環境で、また開発者が利用... 続きを読む

Preferred Networks、深層学習の学習速度において世界最速を実現 – Preferred Networks

2017/11/10 43 users Preferred Networks 深層学習 学習速度

大規模な並列コンピュータを活用し、分散学習パッケージChainerMNでImageNetの学習を15分で完了 株式会社Preferred Networks（本社：東京都千代田区、代表取締役社長：西川徹、プリファードネットワークス、以下、PFN）は、大規模な並列コンピュータ「MN-1 ※1 」を活用し、深層学習（ディープラーニング）の学習速度において世界最速を実現しました。 深層学習モデルの精度を向... 続きを読む

SONYの本気！AI開発ツール『Neural Network Console』が現場の常識をぶっ壊す - BITA デジマラボ

2017/08/17 267 users BITA CAFFE デジマラボ Theano Keras

SONYの本気！AI開発ツール『Neural Network Console』が現場の常識をぶっ壊す TOP AI:人工知能 SONYの本気！AI開発ツール『Neural Network Console』が現場の常識をぶっ壊す SONY『深層学習モデルの開発ハードル無くそう』 TensorFlow、Keras、Theano、Caffeなど。これまでディープラーニング向けライブラリといえば、海外勢が... 続きを読む

Facebook、機械学習の訓練時間を大幅に短縮――視覚的認識処理に大きな進歩 | TechCrunch Japan

2017/06/08 52 users Facebook ImageNet 進歩 短縮 機械学習

スピードが問題となる検索テクノロジーの世界では深層学習モデルの訓練に割く時間は1分ずつがきわめて貴重だ。今朝（米国時間6/8）、Facebookは論文を発表し、この問題に対する独自のアプローチを紹介した。Facebookによれば、ImageNetのResNet-50深層学習モデルの訓練時間を29時間から1時間に短縮することに成功したという。 Facebookがこのようにドラスティックな進歩を遂げる... 続きを読む

モデル圧縮 - nico-opendata

2017/05/19 62 users アプリケーション 精度 需要 従来 ネットワーク経由

深層学習モデルをアプリケーションなどに組み込む需要が増えてきています。 しかしながら、深層学習モデルは従来の機械学習モデルと比べデータサイズが巨大となることが多く、ネットワーク経由でアプリケーションを配布する場合などに問題となります。そのため、学習済みの深層学習モデルを精度を落とさないように圧縮し、データサイズを削減する モデル圧縮（Model Compression） [Bucilua2006]... 続きを読む

SSD: Single Shot MultiBox Detector 高速リアルタイム物体検出デモをKerasで試す - Qiita

2017/02/13 88 users Qiita Keras レポジトリ SSD 物体検出

リアルタイムに物体検出するのってどうやるんだろう？と思い調べてみたら、想像以上に高機能なモデルが公開されていたので試してみました。こんな感じです。 自動運転で良く見るようなリアルタイムの物体認識をしています。このモデルは「Single Shot MultiBox Detector（SSD）」という深層学習モデルで、Kerasで動いています。 環境さえ整えればレポジトリをクローンして簡単に実行できま... 続きを読む