中学生でもわかる深層学習

2024/03/29 508 users 深層学習 中学生 ニューラルネットワーク 勾配降下法 音声

第1章　理論編 ・深層学習とは (p.13-) ・ニューラルネットワークとは (p.31-) ・どうやって学習するか: 勾配降下法 (p.57-) ・深層学習の注意点 (p.91-) 第2章　応用編 ・分類問題 (p.110-) ・画像認識 (p.120-) ・音声認識／自然言語処理 (p.151-) ・講演のまとめ (p.167-) 続きを読む

GPTの仕組みをちゃんと勉強したい本 - きしだのHatena

2023/04/25 449 users GPT ニューラルネットワーク 概観 CNN 音声認識

やっぱGPTを仕組みから勉強したい、という本をいくつか見つけたのでまとめておきます。 まず理論的な概要。 機械学習からニューラルネットワーク、CNNでの画像処理、トランスフォーマーでの自然言語処理、音声認識・合成、そしてそれらを組み合わせたマルチモーダルと章が進むので、理論的な概観を得るのにいいと思いま... 続きを読む

[輪講資料] LoRA: Low-Rank Adaptation of
Large Language Models

2023/04/18 62 users LoRa Low-Rank Fine-tuning 変遷 論文

パラメータを固定した事前学習済みモデルに対して、ごく少数のパラメータからなる低ランク行列を導入・学習することで、モデル全体のfine-tuningと同等の性能を発揮できる手法であるLoRAと、その論文について解説した資料です。 深層学習を用いた自然言語処理の歴史的な変遷と周辺技術から、LoRAが必要とされるに至った... 続きを読む

【完全保存版】GPT を特定の目的に特化させて扱う (Fine-tuning, Prompt, Index, etc.) - Qiita

2023/03/30 804 users prompt LLM Fine-tuning GPT 過言

【完全保存版】GPT を特定の目的に特化させて扱う (Fine-tuning, Prompt, Index, etc.) ChatGPT に代表される今日の AI ブームを牽引しているのは 大規模言語モデル（Large-scale Language Model, LLM） と言っても過言ではないでしょう。LLM とは大量のテキストデータを使ってトレーニングされた自然言語処理のモデルで... 続きを読む

日本語に特化した13億パラメータのGPT言語モデルを公開｜rinna株式会社

2023/03/06 154 users rinna株式会社 GPT グリフ NLP 日本語

～商用利用可能なライセンスで日本語のNLPコミュニティに貢献～ rinna株式会社（本社：東京都渋谷区/代表取締役：ジャン"クリフ"チェン、以下rinna社）は、日本語に特化した13億パラメータのGPT言語モデルを開発し、公開しました。 ■背景 rinna社はこれまでに、日本語の自然言語処理 (NLP) に特化したGPT (3.3億パラメー... 続きを読む

東大松尾研究室、無料でディープラーニングや自然言語処理を学べる講座開講 松尾豊氏が講師を務める講座も | Ledge.ai

2021/02/01 338 users Ledge.ai ディープラーニング 人工知能 深層学習 講師

TOP > Article Theme > 人工知能（AI）ニュース > 東大松尾研究室、無料でディープラーニングや自然言語処理を学べる講座開講 松尾豊氏が講師を務める講座も 東京大学 松尾研究室は1月29日から、無料でディープラーニング（深層学習）や自然言語処理について学べる、短期間のオンライン講座の受講者を募集している。対象... 続きを読む

Wikipediaの前処理はもうやめて「Wiki-40B」を使う - Ahogrammer

2020/09/26 136 users 分量 単語 Ahogrammer 分散表現 テキスト

最近の自然言語処理では、大規模なテキストから単語の分散表現や言語モデルを学習させて使っています。学習する際のテキストとしては、分量や利用しやすさの都合からWikipediaが選ばれることが多いですが、その前処理は意外と面倒で時間のかかる作業です。そこで、本記事では比較的最近リリースされた前処理済みのデータ... 続きを読む

BERTのAttentionは何を見ているのか？

2020/09/24 89 users Bert SEP attention CLS 前書き

3つの要点 ✔️BERTのAttention機構の分析手法の提案 ✔️Attentin機構は全体的には区切り文字や[CLS]、[SEP]を見ている ✔️特定のAttention機構では「動詞とその目的語」、「名詞と修飾語」、「前置詞とその目的語」などの簡単な文法関係から、照応関係などの複雑な文法関係も獲得している 前書き 現在の自然言語処理ではTransf... 続きを読む

AI講座をYouTubeで無料公開｜株式会社フォーサイトのプレスリリース

2018/12/26 580 users YouTube 浩司 goo プレスリリース 山田

資格試験において高い合格率を実現する通信講座を提供する株式会社フォーサイト（東京都文京区／代表取締役社長：山田 浩司）は、2018年12月26日（水）にAI・自然言語処理・機械学習について学べるWeb動画19本（合計約3時間26分）をYouTubeで無料公開します。 フォーサイトYouTubeチャンネル内・再生リスト　https://goo... 続きを読む

機械学習を用いてユーザーのご意見分類業務を効率化した話 - クックパッド開発者ブログ

2018/08/08 149 users 機械学習 ユーザー クックパッド開発者ブログ 効率化 背景

こんにちは。研究開発部の @vanhuyz です。機械学習・自然言語処理を中心に研究開発しています。 今回は機械学習を活用してユーザーからのご意見を 81 のカテゴリーに自動分類し、ユーザーサポートスタッフによる手動分類の工数を半分にできた話を紹介したいと思います。 背景 クックパッドは現在約 5,500 万人の国内月... 続きを読む

ディープラーニングを用いた自然言語処理の今と、ビジネス面でのネガティブな事実 - ログミーTech（テック）

2018/07/18 64 users テック ディープラーニング ログミーTech 事実 ビジネス面

2018年4月20日、Deep Learning Labが主催するイベント「音声・言語ナイト」が開催されました。Chainerを提供するPreferred Networksと、Azureクラウドを提供するMicrosoftによる、エンジニアコミュニティDeep Learning Lab。今回は、自然言語処理や合成音声など、音声・言語×深層学習の最新事例や知見を発表しました。プ... 続きを読む

JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」

2018/06/06 70 users チュートリアル DISCLAIMER 深層学習時代 言語処理

JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」 1. "深層学習時代の" ゼロから始める自然言語処理 大阪大学大学院情報科学研究科 荒瀬由紀 1 2. Disclaimer 深層学習を使った自然言語処理に •初めてふれる方 •ざっくりと様子を知りたい方 が対象です。 ※詳細な技術的解説や最新モデルの紹介は ありません。 2 3. 自然言語処理でできること（代表例... 続きを読む

アイデミー、無料AIプログラミング学習サービス「Aidemy」をリリース：深層学習や自然言語処理、数値予測などを学習可能 - ＠IT

2017/12/21 215 users Aidemy Python入門 人工知能 プログラミング 学習

深層学習や自然言語処理、数値予測などを学習可能： アイデミー、無料AIプログラミング学習サービス「Aidemy」をリリース アイデミーは、オンラインでAIプログラミングが学習できるサービス「Aidemy」を公開した。Python入門の他、深層学習や自然言語処理、数値予測など全11講座を無料で利用できる。 アイデミーは2017年12月20日、技術者向けのAI（人工知能）プログラミングを無料で学べるサ... 続きを読む

社内でNLP2017 & DEIM2017読み会を開催しました - Hatena Developer Blog

2017/04/28 56 users NLP2017 DEIM2017読み会 社内 エンジニア 主催

2017 - 04 - 28 社内でNLP2017 & DEIM2017読み会を開催しました こんにちは。ウェブアプリケーションエンジニアの id:syou6162 です。 はてな社内で機械学習や自然言語処理に興味のあるエンジニアが集まる機械学習サブ会という技術グループがあるのですが、その機械学習サブ会が主催で 言語処理学会第23回年次大会(NLP2017) と 第9回データ工学と情報マネジメント... 続きを読む

TFUG#3 RettyにおけるDeep Learningの自然言語処理への応用事例 // Speaker Deck

2017/02/23 115 users Speaker Deck Deep learning

Rettyにおいて文字単位で学習するCNNを用いて分かち書き不要な口コミ分類器を構築した事例について紹介します。 続きを読む

自然言語処理における畳み込みニューラルネットワークを用いたモデルのまとめ - Qiita

2017/02/03 96 users ニューラルネットワーク RNN CNN GPU 言語処理

はじめに 最近、畳み込みニューラルネットワーク(CNN)を用いた自然言語処理が注目を集めています。CNNはRNNと比べて並列化しやすく、またGPUを使うことで畳み込み演算を高速に行えるので、処理速度が圧倒的に速いという利点があります。 この記事は、自然言語処理における畳み込みニューラルネットワークを用いたモデルをまとめたものです。CNNを用いた自然言語処理の研究の進歩を俯瞰するのに役立てば幸いです... 続きを読む

Word2Vecを用いた類義語の抽出が上手く行ったので、分析をまとめてみた - Qiita

2016/12/22 121 users Qiita Speee 類義語 コーディング ロジック

はじめに こんにちは、Speeeでデータサイエンティストをしている @To_Murakami と申します。エンジニアではないのですが、コーディングを含めた分析例を発信しようと思い、企業のAdvent Calendarに参加させていただきました。 12月も暮れに差し掛かってきましたね。本日は、Word2Vec(ワードトゥベック)という自然言語処理を活用した分析例を紹介します。 このロジックを実装した... 続きを読む

Google翻訳のAIは独自の「中間言語」を習得して「学習してない言語間の翻訳」すら可能な段階に突入 - GIGAZINE

2016/12/02 91 users GIGAZINE コーパス ニューラルネットワーク 翻訳 突入

By per egevad Googleが提供している「Google翻訳」は2016年で本格提供開始から10周年を迎えています。膨大な量のデータからなる コーパス をもとに翻訳を行ってきたのですが、2016年9月からは一部の言語で翻訳アルゴリズムを変更し、人工知能「ニューラルネットワーク」を用いることで、より人間に近い自然言語処理が行える「Google Neural Machine Transla... 続きを読む

講義まとめ：自然言語処理のための深層学習（CS224d） - Qiita

2016/08/22 177 users 演習 スタンフォード大 スライド 講義 講義資料

CS224d(自然言語処理のための深層学習)はスタンフォード大のRichard Socherが2015年から教えている講義で、 動画 や スライド などの講義資料と演習問題がウェブ上で無料で公開されています。 CS224d: Deep Learning for Natural Language Processing 会社の勉強会で週1回半年程度かけて講義動画と演習を終えたため、勉強したことを簡単に... 続きを読む

Deep Learningでスケジュール調整してみる、ための自然言語処理をしてみた | GREE Engineers' Blog

2015/11/30 158 users GREE Engineers Deep learning

GREE Advent Calendar 2015の1日目担当のふじもとです、グリー株式会社でCTOをしてます、もう10年目です。 今年もChristmasに向けてみんなで毎日更新していきますので、ぜひぜひよろしくおねがいします。 わりとどうでもよい序 去年、一昨年は25日担当だったんですが、今年は (なんでかは知らないけど) 1日目書くことになったので、ちょっと趣向を変えて技術的な内容にしてみた... 続きを読む

人工知能で“荒れない”コメント欄--「議論の場」醸成めざしメディアに無料提供 - CNET Japan

2015/07/07 72 users 人工知能 議論 CNET Japan クーロン コメント欄

人工知能や自然言語処理を活用したサービスを提供するクーロンは7月7日、機械学習や自然言語処理、行動分析にもとづく独自の人工知能を搭載した、読者が健全な議論を交わすための“荒れない”コメントシステム「QuACS（クアックス）」をウェブメディア向けに提供開始した。人工知能を活用したコメントシステムは世界で初めてだという。 ウェブサイトに数行のJavaScriptコードを埋め込むことで、読者が記事の内容... 続きを読む

Swift での自然言語処理 with Ayaka Nonaka (Video) — Realm is a mobile database: a replacement for SQLite & Core Data

2015/04/07 99 users Swift VIDEO iOS Venmo NLP

Apple は iOS5 からトークン分け、言語判定、品詞分解などの自然言語処理ができる API を開発者に公開しています。それに加わり Swift と PlayGrounds の登場により、Cocoa プラットフォームで自然言語処理が以前よりかなり快適にできるようになりました。今回は、Venmo の iOS チームである Ayaka Nonaka さんに Swift での NLP についてお話し... 続きを読む

大規模データ時代に求められる自然言語処理 -言語情報から世界を捉える-

2015/01/17 65 users 世界

Pornographic Defamatory Illegal/Unlawful Spam Other Violations Thanks for flagging this SlideShare! Oops! An error has occurred. 続きを読む

SmartNews小宮さんによるJavaでの統計・機械学習・自然言語処理ライブラリの紹介 | break the code!! | codebreak;

2014/10/24 383 users SmartNews codebreak インターフェース

今週の社内勉強会はSmartNewsの小宮さんにお越しいただき、Javaでの統計・機械学習・自然言語処理などを行う際に利用できるライブラリをご紹介いただきました。 今回紹介していただいたのは以下のようなライブラリです。 ・Trove（プリミティブ型に対応した高速コレクションライブラリ） ・fastutil（Troveと似ているけどJava標準コレクションのインターフェースを備えている） ・Kolo... 続きを読む

Python - Perl + Java = ？ はてなブログのデータとパソコン工房のPCを使って「word2vec」で遊んでみた - はてなブックマークニュース

2014/04/22 530 users perl BTOパソコン word2vec マシン Java

統計処理用のマシンを使って、自然言語処理で遊ぼう！ BTOパソコンで有名な「パソコン工房」から「統計処理用のPCを企画しているので、何かできないか」と相談された編集部は、はてなエンジニアと相談して「word2vec」を使って遊んでみることに。はてなブログのデータとかっこいいパソコンを使って、最新の自然言語処理で楽しむ様子をお楽しみください！ 記事の終わりには2TBの外付けHDDが当たるプレゼントの... 続きを読む