PyTorchやPythonなしの純粋なC言語を使用した大規模言語モデルトレーニングツール「llm.c」がリリースされる

2024/04/11 11 users LLM Python C言語 GPT-2 実装

AIの本体と言える大規模言語モデル(LLM)のトレーニングはほとんどの場合PyTorchやPythonを使用して行われていますが、そうしたトレーニングを純粋なC言語のみで実装したツール「llm.c」が登場しました。まだ最適化が行われておらず従来の手法に速度面では敗北していますが、GPT-2のトレーニングを行う実装を約1000行のク... 続きを読む

PyTorchやTensorFlow互換のAI処理高速化プラットフォーム「MAX」プレビュー公開、Pythonを高速化した「Mojo」搭載

2024/03/07 16 users ｍｏｊｏ TensorFlow ONNX Modular社

Modular社がAI処理を高速化するプラットフォーム「MAX」をプレビュー公開。PyTorchやTensorFlow、ONNXなどのAIモデルと入れ替えるだけで処理が最大5倍高速になる。 Pythonの高速なスーパーセット「Mojo」言語を発表したことで話題となったModular社が、AI処理を高速化するプラットフォーム「MAX」（Modular Accelerated ... 続きを読む

PyTorchのnightlyに侵害　「すぐにアンインストールしてください」

2023/01/03 12 users Nightly アンインストール 侵害 Nightly版 対象

Python用深層学習用フレームワーク「PyTorch」のnightly版が侵害されたとして、プロジェクトがアンインストールを呼び掛けた。2022年25日から30日の間にインストールされたパッケージが対象だ。 Linux Foundationのプロジェクト、PyTorch Foundationは2022年12月31日（米国時間）、Python用深層学習用フレームワーク「Py... 続きを読む

PyTorch

2023/01/01 19 users

If you installed PyTorch-nightly on Linux via pip between December 25, 2022 and December 30, 2022, please uninstall it and torchtriton immediately, and use the latest nightly binaries (newer than Dec 30th 2022). $ pip3 uninstall -y torch torchvision torchaudio torchtriton $ pip3 cache purge PyTor... 続きを読む

ivy が面白い

2022/10/15 67 users Ivy JAX NumPy TensorFlow ペーパー

ivyとはなにか 機械学習の統一を目指すフレームワークです。現在、JAX, TensorFlow, PyTorch, Numpy をサポートしています。JAXはNumpy互換なので、実質的に Tensorflow&Pytorch の共通APIのフレームワーク(かなり乱暴なまとめ方)です。 研究のペーパーでよく見るのはPytorchですが、産業ではTensorflowがよく使われるよ... 続きを読む

Transformerを用いてオノマトペから環境音を合成する手法をPyTorchで実装した（Transformer版 Onoma-to-Wave） - 備忘録

2022/10/10 14 users Transformer Encoder RNN オノマトペ

はじめに 事前準備 実装の概要 環境音合成実験 実験条件 実験結果 実装の舞台裏など おわりに はじめに 以前、Onoma-to-Waveを実装した記事を書いたことがあった： tam5917.hatenablog.com Onoma-to-Waveとはオノマトペ（文字列）を環境音（スペクトログラム）に変換するモデルである。RNNに基づくencoderとdecoderから... 続きを読む

オノマトペ（擬音語）から環境音を合成するニューラルネットワーク（Onoma-to-Wave）をPyTorchで実装した - 備忘録

2022/07/01 13 users ニューラルネットワーク オノマトペ 備忘録 擬音語 環境音

はじめに 事前準備 ソースコード 実装の概要と動かし方 補助的に作成したモジュールの概要 おまけ：訓練済みモデルのリリース 環境音合成実験 音響イベントによる条件付けなし 音響イベントによる条件付けあり 実装の舞台裏とかTIPS おわりに 参考文献 はじめに 以下の雑誌論文が最近出版された。 Yuki Okamoto, Keisuke... 続きを読む

Tensorflow/Pytorch モデル移植のススメ - Speaker Deck

2021/08/17 19 users notebook torch TensorFlow 重み 論文

Transcript Tensorflow/Pytorch モデル移植のススメ 2021-08-17 第３回分析コンペLT会 presented by @rishigami_ こんな悩みありませんか？ ＼突然ですが／ 実装がtf/torchしかない 参考になりそうな論文/notebookを見つけたが… 重みがtf/torchしかない 実装はできるものの… フレームワークにまつわる困りごと →これらの... 続きを読む

連休のお供にいかが？　米Microsoftが「PyTorch」の初学者向け教材を無償公開中 - ITmedia NEWS

2021/07/21 20 users 米Facebook ディープラーニング お供 無償 教材

米Microsoftが、米Facebookの機械学習ライブラリ「PyTorch」を使った初学者向けのディープラーニングの教材を無償公開している。対応言語は英語のみだが、4時間13分で学べるという。 米Microsoftは、機械学習ライブラリ「PyTorch」を使った、初学者向けのディープラーニングの教材を公式Webサイトで無償公開している。対... 続きを読む

PyTorch の基礎 - Learn

2021/06/23 108 users module learn Frameworks We'll

In this module, you will get an introduction to Computer Vision using one of the most popular deep learning frameworks, PyTorch! We'll use image classification tasks to learn about convolutional neural networks, and then see how pre-trained networks and transfer learning can improve our models an... 続きを読む

つい最近まで、「PyTorch」を「パイタッチ」と見間違えてました…

2021/06/15 24 users ハイタッチ

つい最近まで、「PyTorch」を「パイタッチ」と見間違えてました… 続きを読む

PyTorchでGPUの計算時間を正しく計測する - まったり勉強ノート

2021/03/21 16 users FacebooktwitterHatenaPocket

FacebooktwitterHatenaPocket 今回の記事ではPyTorchでGPUで実行した関数の計算時間を正しく測定する方法とその後に詳しい説明をしていきます。 はじめに 仕事がらPyTorchで高速な学習方法をいろいろ調べることがよくあります。 その際、blog記事などで、Pythonの time() を利用して計算時間を測定して「こんなに速くな... 続きを読む

人気高まる機械学習ライブラリー「PyTorch」を学ぶには - ZDNet Japan

2020/05/23 11 users torch ZDNet Japan Python HTML

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 「PyTorch」はオープンソースの機械学習ライブラリーだ。PyTorchという名前は、その主要なプログラミング言語である「Python」と、PyTorchのベースとなっている「Torch」ライブ... 続きを読む

【PyTorch】サンプル⑥ 〜 nn パッケージ 〜 - 【初心者向け】基礎＆実践プログラミング

2020/05/02 14 users コマンドライン Python コマンド インストール サンプル

目的 PyTorch: nnを参考にPyTorchのnnパッケージを扱う。 nnパッケージの便利さを感じる。 前準備 PyTorchのインストールはこちらから。 初めて、Google Colaboratoryを使いたい方は、こちらをご覧ください。 コマンドラインの「>>>」の行がPythonで実行するコマンドです。 それ以外の行は、コマンドの実行結果です。 >>... 続きを読む

BERTを量子化して高速かつ軽量にする - moriyamaのエンジニアリング備忘録

2020/04/10 19 users Bert moriyama vimmode 推論速度 量子化

こんにちは、@vimmodeです。自然言語界隈ではBERTを始めとしたTransformerベースの手法の進化が目覚ましいですが、実運用されている話はあまり聞きません。 その理由としてモデルのサイズの大きさと推論速度の遅さに一定起因すると感じており、この記事はその解消になり得る量子化と呼ばれる手法の紹介とPyTorchで実装さ... 続きを読む

Pytorchでモデル構築するとき、torchsummaryがマジ使える件について - Qiita

2020/01/21 10 users Qiita print Model インプット 何者

はじめに 自分でモデルを構築していて、私はいつも全結合層につなぐ前に「あれ、インプットの特徴量っていくつだ?」ってなります。よくprint(model)と打つとモデルの構造は理解できるが、FeatureMapのサイズまでは確認出来ません。そこで便利なのがtorchsummaryというものです。 torchsummaryは何者か? 簡単に言うと、特... 続きを読む

Pythonのフレームワークを理解するために必要な知識メモ - Qiita

2020/01/05 29 users Qiita TensorFlow フレームワーク メモ 勉強中

Pythonの本を読んで学んだことをメモしてきます Pythonの勉強中です。読んだ本に関しては、以下ブログ記事参照下さい。 2020年版Pythonを学習するためのオススメ本10冊と学んだことのQiitaへのメモ 内容的には、この記事では、特にPythonで書かれたフレームワーク（具体的にはTensorFlow、PyTorch等のディープラーニング... 続きを読む

PFN、深層学習フレームワークを自社開発の「Chainer」から「PyTorch」に切り替え - PC Watch

2019/12/05 12 users pfn Chainer 深層学習フレームワーク 自社開発

続きを読む

Chainer を振り返って

2019/12/05 350 users Chainer 一線級 TensorFlow 最初 コード

2015 年 4 月 12 日に Chainer の最初のコードをコミットしてから，およそ 4 年半と少しが経ちました．はじめのはじめは軽い気持ちで書きはじめたコードでしたが，今では一線級の研究を立派に支えるまでになりました．深層学習フレームワークの世界も当時とは様変わりして（当時は TensorFlow も PyTorch もなかったわけ... 続きを読む

Preferred Networks、深層学習の研究開発基盤をPyTorchに移行 | 株式会社Preferred Networks

2019/12/05 241 users pfn Preferred Networks 深層学習 移行

PyTorch開発チームおよびオープンソースコミュニティと連携し、フレームワーク開発、MN-CoreプロセッサのPyTorchサポートなどを推進 株式会社Preferred Networks（本社：東京都千代田区、代表取締役社長：西川徹、プリファードネットワークス、以下、PFN）は、研究開発の基盤技術である深層学習フレームワークを、自社開... 続きを読む

UbuntuでのGPUディープラーニング環境の構築【Ubuntu 18.04 LTS対応】 (1/3)：機械学習＆ディープラーニング環境構築入門 - ＠IT

2019/08/28 76 users Ubuntu Chainer TensorFlow GPU

機械学習＆ディープラーニング環境構築入門：UbuntuでのGPUディープラーニング環境の構築【Ubuntu 18.04 LTS対応】 (1/3) GPUを活用したTensorFlow／PyTorch／Chainerなどによるディープラーニングを実践するための環境をUbuntu上に構築する際の選択ポイントと手順を説明する。 連載目次 0. ディープラーニングのOS環境... 続きを読む

pytorchでBERTの日本語学習済みモデルを利用する - 文章埋め込み編 - Out-of-the-box

2019/06/06 16 users Bert Out-of-the-box

概要 BERT (Bidirectional Encoder Representations from Transformers) は、NAACL2019で論文が発表される前から大きな注目を浴びていた強力な言語モデルです。これまで提案されてきたELMoやOpenAI-GPTと比較して、双方向コンテキストを同時に学習するモデルを提案し、大規模コーパスを用いた事前学習とタスク固有のfine... 続きを読む

Tensorコアを使った PyTorch の高速化について - Speaker Deck

2019/04/08 33 users Speaker Deck 高速化

All slide content and descriptions are owned by their creators. 続きを読む

Mask R-CNNでいちごを検出する話 - OPTiM TECH BLOG

2019/03/11 21 users イチゴ OPTiM TECH BLOG オプティム rust

Mask R-CNNでいちごを検出している様子 はじめまして、オプティムのR&Dチームの中村です。 R&Dチームの中でも実案件を多く担当している新卒2年目で、齋藤(Rust)と同期です。農業AI関連の見積りから開発あたりをやっています。好きな日本酒は紀土です。日本酒ではないですがPyTorchも好きです。 ちなみに学生時代は、もう... 続きを読む

PyTorchでAdversarial Attack. モルモットをインドゾウに誤認識させる - 油を売る

2019/01/02 76 users モルモット 標識 誘発 故意 いんどぞう

PyTorchを用いて分類器に対する攻撃手法であるAdversarial Attackを実装してみる． これは，分類器に対して故意に誤分類を誘発させるような画像を生成する攻撃手法である．例えば， 自動運転車に対する標識の誤検出の誘発 顔認識システムの第三者による誤認証 など，ニューラルネットの社会実装をする上で重要な問題であ... 続きを読む