数式を使わないTransformerの解説（前編） - conceptualization

2023/03/21 171 users Transformer Midjourney 主旨 数式 手法

最近話題のmidjourneyやDALL-E、凄いですよね。中身はディープラーニング（DNN）のようです。DNNといっても色んな技術がありますが、それらにはTransformerという手法が使われています。本記事は、その手法がどんなものであるかを数式を使わずに説明してみよう、という主旨になります。 ※なお本記事は機械学習のプロの研... 続きを読む

学習が何で律速してるか、把握してますか？ - arutema47's blog

2022/12/07 108 users arutema47's blog 学習 コンピューティング

はじめに どの処理で律速しているか調べる 各処理の速度改善方法 データ読み込み速度の改善 データ前処理速度の改善 GPU処理速度の改善 コンピューティングについての他記事 はじめに Kaggle Advent Calendar 2022 8日目です。 突然ですが、あなたはDNN学習時にどの処理で学習速度が律速しているか把握してますか？ DNN... 続きを読む

Pythonでニューラルネットワークを書いてみよう

2022/02/08 168 users ニューラルネットワーク ニューラルネット Python 他者

連載目次 本連載（基礎編）の目的 スクラッチ（＝他者が書いたソースコードを見たりライブラリーを使ったりせずに、何もないゼロの状態からコードを記述すること）でディープラーニングやニューラルネットワーク（DNN：Deep Neural Network、以下では「ニューラルネット」と表記）を実装して学ぶ系の書籍や動画講座、記... 続きを読む

代理モデルによる機械学習モデルの説明 - Qiita

2021/09/25 13 users Qiita GBDT 推論 機械学習モデル etc

はじめに 代理モデル (surrogate model) とは複雑な機械学習モデル（e.g., DNN, GBDT）を近似する簡単なモデル（e.g., パラメタ数の少ないDNN, 単純決定木, etc）のことを指します．代理モデルは推論の高速化・機械学習モデルの説明などさまざまな用途に使われています． この記事では代理モデルによる機械学習モデルの... 続きを読む

テスラがAI学習用怪物プロセッサーを独自開発、3000個でエクサ級 | 日経クロステック（xTECH）

2021/08/20 6 users xTech テスラ DoJo 日経クロステック プロセッサー

米Tesla（テスラ）は2021年8月19日（米国時間）、プライベートイベント「AI Day」を開催し、AI（人工知能）技術のトレーニング（学習）に用いる独自プロセッサー「D1」を発表した。自社スーパーコンピューター「Dojo」に利用する予定だ。自動運転機能に向けたDNN（Deep Neural Network）のトレーニング（学習）などに利... 続きを読む

BigQuery MLにAutoML Tables、XGBoost、DNNが来たのでおさらい - Qiita

2020/06/17 8 users Qiita xgboost AutoML Tables

Help us understand the problem. What is going on with this article? 続きを読む

第8回　分類問題をディープラーニング（基本のDNN）で解こう (1/3)：TensorFlow 2＋Keras（tf.keras）入門 - ＠IT

2020/06/08 9 users ニューラルネットワーク 連載目次 回帰問題 実装コード 前回

連載目次 本連載では、第1回～第3回で、ニューラルネットワークの仕組みと、TensorFlow 2.x（2.0以降）による基本的な実装コードを説明した。また、第4回～第6回で、TensorFlow 2の書き方をまとめた。さらに前回（第7回）では「回帰問題」についてあらためて取り上げ、これまでの連載記事で学んできた知識だけでも「基本... 続きを読む

不均衡データ分類問題をDNNで解くときの under sampling + bagging 的なアプローチ - BASE開発チームブログ

2020/02/29 11 users モデリング 論文 PDF アプローチ https

はじめに こんにちは、Data Strategy所属の岡です。グループ会社BASE BANKで分析/モデリングなども兼務しています。 テキストデータを特徴量にもつ不均衡データ分類問題をDNNで解きたくなった際、下記の論文を参考にしたのでその内容を紹介します。 https://users.cs.fiu.edu/~chens/PDF/ISM15.pdf 不均衡データ分類問題... 続きを読む

「AI美空ひばり」を支えた技術　「七色の声」どう再現？　ヤマハ技術者に詳しく聞いた (1/2) - ITmedia NEWS

2019/10/02 45 users 七色 再現 AI美空ひばり ITmedia News 技術

ヤマハは9月29日、NHK総合で放送されたドキュメンタリー番組「NHKスペシャル　AIでよみがえる　美空ひばり」の中で、AIの技術を活用して再現した美空ひばりさんの新規音声を披露した。 美空ひばりさんは1989年に亡くなった、昭和を代表する歌手の一人だ。ヤマハは機械学習の一種であるDNN（ディープニューラルネットワー... 続きを読む

ディープラーニングで音を認識　ほ乳類の脳に近い反応を示す - ITmedia NEWS

2019/07/10 48 users ほ乳類 ディープラーニング ITmedia News 認識

音を認識するために訓練したディープニューラルネットワーク（DNN）が、ほ乳類の脳と類似した反応を示す。NTTの研究は、進化の過程で脳が音の認識に適した性質を獲得してきた可能性を示した。 NTT（日本電信電話）は7月10日、音を認識するために訓練したディープニューラルネットワーク（DNN）が、ほ乳類の脳と類似した... 続きを読む

ep.14 フロントエンドでの Deep Learning 事情を聞いてみた | UIT INSIDE - LINE UIT室の開発者による「最新のフロントエンド」をキャッチアップできる Podcast

2019/05/23 36 users Podcast UIT INSIDE キャッチ 修士 事情

@potato4d が @spring_raining にフロントエンドにおける Deep Learning の利用について聞いてみました。 ゲスト紹介 @spring_raining UIT室 フロントエンドエンジニア 修士で Deep Learning の研究 未踏プロジェクトの一環 で DeepGlyph 開発中 クライアントにおける DNN の活用 モバイルだと割とすでに普及期の印象 Fi... 続きを読む

MKL-DNNで学ぶIntel CPUの最適化手法 - Cybozu Inside Out | サイボウズエンジニアのブログ

2019/04/15 56 users サイボウズエンジニア GPU Intel ライブラリ CPU

初めに サイボウズ・ラボの光成です。 DNN（deep neural network : 深層学習）といえばGPUや専用プロセッサを使うのが主流です。 しかしIntelはCPUで高速にDNNをするためのライブラリ MKL-DNN を提供しています。 MKL-DNNはIntelの最新CPUに対応したオープンソースソフトウェアなのでコードを見ると勉強になります。 こ... 続きを読む

コピペから脱却して自由に Deep Learning するための TensorFlow 再入門 - Qiita

2018/04/07 110 users Qiita TensorFlow コピペ MNIST 再入門

はじめに TensorFlow はなかなかとっつきにくい部分があるかと思います。書き方が独特なので、慣れるまでに時間がかかるかと思います。公式の MNIST は一通りやったけど、自分で考えたディープニューラルネットワーク (DNN) をどう書いたらいいかわからない……なんてこともあるのではないでしょうか。 この記事では、シンプルな問題を題材にして、 TensorFlow をコピペに頼らず、自分の書... 続きを読む

Webブラウザでディープニューラルネットワーク高速実行　東大、「WebDNN」開発 - ITmedia NEWS

2017/10/17 50 users 東大 ITmedia News Webブラウザ 開発 人工知能

「あなたのスマホへ最新の人工知能をお届け」――スマホのWebブラウザ上で、ディプニューラルネットワークを高速で実行できる「WebDNN」を東大が開発した。 「あなたのスマホへ最新の人工知能をお届けします」――東京大学は10月17日、スマートフォンやPCのWebブラウザ上で、ディプニューラルネットワーク（DNN）を高速で実行できるソフトウェアフレームワーク「WebDNN」を開発したと発表した。画像認... 続きを読む

PythonコードからFPGAを生成、深層学習したDNNをハードウェアに：機械学習／Deep Learningの仕事が増える2017年、ソフトウェアエンジニアがFPGAを学ぶべき理由 - ＠IT

2017/01/30 443 users FPGA 深層 ハードウェア ハードル 生成

PythonコードからFPGAを生成、深層学習したDNNをハードウェアに： 機械学習／Deep Learningの仕事が増える2017年、ソフトウェアエンジニアがFPGAを学ぶべき理由 ソフトウェアエンジニアがFPGAを使うハードルがさらに下がってきている。ソフトウェア開発者の立場でFPGAに取り組むイベント「FPGAエクストリーム・コンピューティング」を主宰する佐藤一憲氏、FPGAの高位合成によ... 続きを読む

Kaldiで音声を学習させる 〜ディープラーニングを用いた音声認識ツールキット〜  | ALGO GEEKS

2017/01/25 17 users KALDI ディープラーニング Ubuntu 音声 特長

Kaldiとは C++で書かれた音声認識ツールキットで、Apache Licence 2.0で公開されています。 音響モデルにDNN (Deep Neural Network) を用いているのが特長です。 http://kaldi-asr.org/ 今回はKaldiを動作させ、yesかnoの音声を判別するモデルを学習させてみます。 環境 Vagrant上のUbuntu 16.04 LTSを用いてい... 続きを読む

Android／iOS版Google翻訳、カメラでのリアルタイム英語←→日本語翻訳が可能に - ITmedia ニュース

2017/01/25 43 users Android カメラ ITmedia ニュース 日本語翻訳

米Googleは1月24日（現地時間）、AndroidおよびiOS版「Google翻訳」アプリをアップデートし、 リアルタイムカメラ翻訳 機能を英語・日本語間の翻訳でも可能にした。 リアルタイムカメラ翻訳は、2015年1月にまずは英語とフランス語、ドイツ語、イタリア語、ポルトガル語、ロシア語、スペイン語間で可能になった機能。ディープニューラルネットワーク（DNN）技術を採用しており、アプリのカメラ... 続きを読む

2015 08 survey

2015/08/16 15 users survey サーベイ 深層ニューラルネットワーク 分散表現

Transcript of "2015 08 survey" 1. Komachi Lab M1 宮崎亮輔 2015/08/16 前期サーベイまとめ 小町研究室 2. Komachi Lab これまで ✤ 先行研究のサーベイ
 （主に分散表現と深層ニューラルネットワーク (DNN)）! - 分散表現の学習! - 分散表現の構成性! - 分散表現を用いた極性解析! - RecursiveNN, Re... 続きを読む

最先端AI「ディープ・ニューラルネット」をロボットに搭載する動きが始まる　 | ＩＴトレンド・セレクト | 現代ビジネス [講談社]

2015/05/27 38 users ロボット 講談社 現代ビジネス ＩＴトレンド・セレクト 倉庫

次世代ロボットに「ディープ・ニューラルネット（DNN）」を搭載する動きが始まった。DNNは脳科学の研究成果を取り入れた最先端のAI（人工知能）で、これを搭載したロボットは人間のように器用で素早い動きができるようになる。このため工場や倉庫、流通など様々な職場で、人間に代わって（あるいは人間と共に）働くロボットの登場が一層現実味を帯びてきた。 ●"New Approach Trains Robots ... 続きを読む

ITpro Report - ［脳に挑む人工知能3］脳科学とのコラボで「人を超える知性」を目指す：ITpro

2014/10/02 28 users ITpro 知性 ITpro Report コラボ 脳科学

脳科学の成果を参考に考案されたディープ・ニューラル・ネットワーク（DNN）を使い、逆に人間の脳に宿る"知性"の秘密を解明できるかもしれない。そんな脳科学とコンピュータ科学のコラボレーションが始まっている。ディープラーニングの研究では出遅れた日本だが、脳科学との協調では大きな存在感を発揮できるかもしれない。 ディープラーニングの成果を脳科学に生かす――そんな興味深い研究が産業技術総合研究所で行われて... 続きを読む