中学生でもわかる深層学習

2024/03/29 508 users 深層学習 中学生 ニューラルネットワーク 勾配降下法 音声

第1章　理論編 ・深層学習とは (p.13-) ・ニューラルネットワークとは (p.31-) ・どうやって学習するか: 勾配降下法 (p.57-) ・深層学習の注意点 (p.91-) 第2章　応用編 ・分類問題 (p.110-) ・画像認識 (p.120-) ・音声認識／自然言語処理 (p.151-) ・講演のまとめ (p.167-) 続きを読む

📞私「確定申告を修正したいです」📞税務署「LINEで来所予約できますので，まずは国税庁とお友達になっていただいて…」＼＼\\国税庁とお友達//／／

2024/03/28 8 users 国税庁 税務署 確定申告 line お友達

Yuta Nakamura🐠 @iBotamon Clinical NLP Researcher & Radiologist at the 22nd Century Medical and Research Center, UTokyo. 医療への自然言語処理の応用 (医療言語処理) を研究しています。 放射線診断専門医@東大病院22世紀医療センター。 researchmap.jp/yutanakamura Yuta Nakamura🐠 @iBotamon 📞私「確定申告... 続きを読む

Stability AI、ノートPCでも動作する大規模言語モデル（LLM）を発表

2023/10/03 27 users LLM CC-BY-SA Stability AI リリース

Stabilty.AIは10月3日、ノートPCなど計算能力のあまり高くないPCでも動作するように設計されたコンパクトな大規模言語モデル（LLM）「Stable LM 3B」のリリースを発表した。ライセンスは商用利用も可能なオープンソースの「CC-By-SA 4.0」となっている。 軽量・高速にもかかわらず高度な自然言語処理が可能 2023年4月20... 続きを読む

［CEDEC 2023］ゲームにおける自然言語処理が解説されたセッションをレポート。世界が変われば言葉も変わる

2023/08/24 5 users セッション 言語処理 レポート CEDEC 2023 言葉

［CEDEC 2023］ゲームにおける自然言語処理が解説されたセッションをレポート。世界が変われば言葉も変わる 編集部：荒井陽介 CEDEC開催初日の2023年8月23日，スクウェア・エニックスの森 友亮氏による講演「デジタルゲームのための自然言語処理（NLP） - ゲームの『ことば』のあそびかた」が行われた。 ChatGPTに代表さ... 続きを読む

高精度な生成系 AI アプリケーションを Amazon Kendra、LangChain、大規模言語モデルを使って作る | Amazon Web Services

2023/05/16 9 users LangChain LLM アプリケーション GenAI 従来

Amazon Web Services ブログ 高精度な生成系 AI アプリケーションを Amazon Kendra、LangChain、大規模言語モデルを使って作る Amazon Bedrock や Amazon Titan を通じて間もなく利用可能になるような生成系 AI（GenAI）と大規模言語モデル（LLM）は、開発者や企業が従来行っていた自然言語処理と自然言語理解に関連する... 続きを読む

GPTの仕組みをちゃんと勉強したい本 - きしだのHatena

2023/04/25 449 users GPT ニューラルネットワーク 概観 CNN 音声認識

やっぱGPTを仕組みから勉強したい、という本をいくつか見つけたのでまとめておきます。 まず理論的な概要。 機械学習からニューラルネットワーク、CNNでの画像処理、トランスフォーマーでの自然言語処理、音声認識・合成、そしてそれらを組み合わせたマルチモーダルと章が進むので、理論的な概観を得るのにいいと思いま... 続きを読む

[輪講資料] LoRA: Low-Rank Adaptation of
Large Language Models

2023/04/18 62 users LoRa Low-Rank Fine-tuning 変遷 論文

パラメータを固定した事前学習済みモデルに対して、ごく少数のパラメータからなる低ランク行列を導入・学習することで、モデル全体のfine-tuningと同等の性能を発揮できる手法であるLoRAと、その論文について解説した資料です。 深層学習を用いた自然言語処理の歴史的な変遷と周辺技術から、LoRAが必要とされるに至った... 続きを読む

【完全保存版】GPT を特定の目的に特化させて扱う (Fine-tuning, Prompt, Index, etc.) - Qiita

2023/03/30 804 users prompt LLM Fine-tuning GPT 過言

【完全保存版】GPT を特定の目的に特化させて扱う (Fine-tuning, Prompt, Index, etc.) ChatGPT に代表される今日の AI ブームを牽引しているのは 大規模言語モデル（Large-scale Language Model, LLM） と言っても過言ではないでしょう。LLM とは大量のテキストデータを使ってトレーニングされた自然言語処理のモデルで... 続きを読む

日本語に特化した13億パラメータのGPT言語モデルを公開｜rinna株式会社

2023/03/06 154 users rinna株式会社 GPT グリフ NLP 日本語

～商用利用可能なライセンスで日本語のNLPコミュニティに貢献～ rinna株式会社（本社：東京都渋谷区/代表取締役：ジャン"クリフ"チェン、以下rinna社）は、日本語に特化した13億パラメータのGPT言語モデルを開発し、公開しました。 ■背景 rinna社はこれまでに、日本語の自然言語処理 (NLP) に特化したGPT (3.3億パラメー... 続きを読む

知識ベースの自然言語処理への活用

2023/02/07 6 users 知識ベース 活用

Efficient Passage Retrieval with Hashing for Open-domain Question Answering (ACL 2021) 続きを読む

東京大学、強化学習と統計的自然言語処理の講義資料が無料公開 サイバーエージェントの講師ら担当 | Ledge.ai

2021/09/24 16 users サイバーエージェント Ledge.ai 講義資料 強化学習

「Summer School 数理物理」は1987年に第1回目を開催した、これから研究を始めようとしている大学院生や、数理物理の広い分野にわたる（専門外の）研究者を対象にした入門的な講義。主なターゲットは若手研究者や大学院生だが、学部学生や一般社会人を含む幅広い範囲の参加者が集まるという。 ＼資料公開／ Summer Schoo... 続きを読む

rinnaが日本語に特化したGPT-2とBERTの事前学習モデルを開発しオープンソース化 | TechCrunch Japan

2021/08/30 16 users Bert GitHub rinna MIT NLP

rinnaは8月25日、日本語に特化したGPT-2とBERTの事前学習モデルとその学習を再現するためのソースコードを、GitHubおよびNLPモデルライブラリーHuggingFaceにオープンソースソフトウェア（OSS）として公開したと発表した。ライセンスはMIT。製品開発のための実験過程で開発したもので、日本語の自然言語処理（NLP）の研... 続きを読む

rinna、日本語に特化した「GPT-2」「BERT」事前学習モデルを無償公開 75ギガバイトのデータを最大45日間で学習 | Ledge.ai

2021/08/25 28 users Bert GitHub rinna NLP GPT-2

元女子高生AI「りんな」などで知られるrinna株式会社は8月25日、製品開発のための実験過程で、日本語に特化した「GPT-2」と「BERT」の事前学習モデルを開発したと発表。 日本語の自然言語処理（NLP）の研究・開発コミュニティに貢献するために、開発した事前学習モデルとその学習を再現するためのソースコードを、GitHub... 続きを読む

コスメプラットフォームLIPSと広告クリエイティブ: 最新の研究事例から見る広告クリエイティブの作成支援と自動生成 - appbrew Tech Blog

2021/04/28 14 users shunk031 著者 機械学習 研究分野 以下

こんにちは @shunk031 です。 ご縁があって appbrew Tech Blog へ本記事を寄稿しました *1。 今回のお話は、私が取り組んでいる研究分野の 1 つである「機械学習と広告クリエイティブ *2」を特に評価していただき実現しました。 ここで簡単に、本記事の著者である私の自己紹介をします。私は以下のような自然言語処理の... 続きを読む

自然言語処理ライブラリをオープンソースで提供するHugging Faceが43.6億円調達 | TechCrunch Japan

2021/03/14 13 users Hugging Face 言語処理ライブラリ ソース NLP

Hugging FaceがシリーズBで4000万ドル（約43億6000万円）を調達した。Additionがラウンドをリードしている。同社は、オープンソースの自然言語処理（NLP）ライブラリを開発してきた。GitHubにそのTransformersライブラリはあり、4万2000のスターと1万のフォークがある。 米国時間3月11日に行われた投資にはLux Capitalや... 続きを読む

東大松尾研究室、無料でディープラーニングや自然言語処理を学べる講座開講 松尾豊氏が講師を務める講座も | Ledge.ai

2021/02/01 338 users Ledge.ai ディープラーニング 人工知能 深層学習 講師

TOP > Article Theme > 人工知能（AI）ニュース > 東大松尾研究室、無料でディープラーニングや自然言語処理を学べる講座開講 松尾豊氏が講師を務める講座も 東京大学 松尾研究室は1月29日から、無料でディープラーニング（深層学習）や自然言語処理について学べる、短期間のオンライン講座の受講者を募集している。対象... 続きを読む

自分だけのAIライフパートナーと対話できる「PATONA」アプリのCapexが総額1億円を調達 | TechCrunch Japan

2020/12/24 7 users UTEC 第三者割当増資 調達 融資 引受先

Capexは12月24日、第三者割当増資および融資による合計1億円の資金調達を2020年7月までに発表した。引受先は東京大学エッジキャピタル（UTEC）。借入先は日本政策金融公庫。調達した資金をもとに人材採用、プロダクト開発、および自然言語処理を活用した対話エンジンの研究開発を行っていく。 また、ライフパートナーア... 続きを読む

Wikipediaの前処理はもうやめて「Wiki-40B」を使う - Ahogrammer

2020/09/26 136 users 分量 単語 Ahogrammer 分散表現 テキスト

最近の自然言語処理では、大規模なテキストから単語の分散表現や言語モデルを学習させて使っています。学習する際のテキストとしては、分量や利用しやすさの都合からWikipediaが選ばれることが多いですが、その前処理は意外と面倒で時間のかかる作業です。そこで、本記事では比較的最近リリースされた前処理済みのデータ... 続きを読む

BERTのAttentionは何を見ているのか？

2020/09/24 89 users Bert SEP attention CLS 前書き

3つの要点 ✔️BERTのAttention機構の分析手法の提案 ✔️Attentin機構は全体的には区切り文字や[CLS]、[SEP]を見ている ✔️特定のAttention機構では「動詞とその目的語」、「名詞と修飾語」、「前置詞とその目的語」などの簡単な文法関係から、照応関係などの複雑な文法関係も獲得している 前書き 現在の自然言語処理ではTransf... 続きを読む

GiNZA version 4.0: 多言語依存構造解析技術への文節APIの統合 - Megagon Labs | リクルート AI研究機関

2020/09/11 6 users GINZA Megagon Labs リクルート 統合 隅々

Universal Dependenciesのもとで日本語文法に根ざした直感的な統語解析を可能にしたい。GiNZAが目指してきた自然言語処理のゴールにまた一歩近づきました。2020年8月16日にリリースした「GiNZA version 4.0」ですが、日本語の公式サポートが始まったspaCy version 2.3を土台とし、機能と性能を隅々までブラッシュアップ... 続きを読む

Raspberry Pi 3B + Webカメラを使って機械学習のためのロボット自動走行用データセット(画像＋ラベル)を用意しよう。 - Qiita

2020/05/17 8 users Qiita FPGA 手動 背景 ラベル付け

概要 さて、最近話題の機械学習ですが（多分）、画像認識や自然言語処理等、まだまだできることに限りがあるように思われます。すごい人、がんばれ！ 背景としまして、（長いので読まなくていいです）元々はFPGAにPcamを刺して画像収集をして手動でラベル付けを済ませて学習させたのですが、その学習済みモデルはなんと... 続きを読む

精度は8割程度。いまの自然言語処理では“できない”こと | Ledge.ai

2020/02/19 7 users Ledge.ai 精度 8割程度

レッジは2019年11月、「自然言語処理の活用トレンドとビジネス実装の勘所」というテーマで、AI TALK NIGHTを開催した。シリーズとしては、13回目の開催となる。 今回はライオンブリッジとベイシス・テクノロジーの2社が登壇。海外と日本の比較や、最新の事例を交え、自然言語処理のビジネス活用の裏側が語られた。本稿で... 続きを読む

忙しい人のための自然言語処理 - Qiita

2020/02/10 15 users Qiita 忙しい人

さすがに「来ねぇ」とかになったりはしないようですが、出現回数が多そうなところが出てて納得感(?)ありますね！ 環境 Python 3.6.9 実装 COTOHA APIの要約APIを利用して3行に要約します。 コードはほとんどゲンシジンの記事を参考に書いていますが、BASE_URL書き換えたり、要約用にパラメータ変えたりしています。また... 続きを読む

BERTはまだまだ進化する！軽くて強いALBERTが登場！ | AI-SCHOLAR

2019/10/08 37 users Bert elmo AI-SCHOLAR 要点 文法

3つの要点 BERTの構造に2つの改善を施し、大幅なパラメーター削減を実現 BERTで効果がないとされていた学習タスクを改善し、より文法を捉えた学習を実現 パラメーター削減による速度の向上だけでなく、性能の向上をも実現 現在の自然言語処理のトレンドの一つとして、ELMoやBERT、XLNetのような言語モデルベースの機構を... 続きを読む

AI記者、AI小説家、そしてAI作曲家も――創作する人工知能を支える技術 (1/5) - ITmedia NEWS

2019/10/06 49 users 人工知能 周囲 AI記者 機械 米国

画像認識や自然言語処理といった技術の進化で、機械は人間と同じように周囲の環境および言葉を認識できるようになってきている。最近では機械が文章を書いたり、絵を描いたりする例も出てきた。今回は、こうしたコンテンツ生成の事例や技術についてまとめた。 AIがスポーツ記事を作成 米国のローカルメディアRichland So... 続きを読む