中学生でもわかる深層学習

2024/03/29 508 users 深層学習 中学生 ニューラルネットワーク 勾配降下法 音声

第1章　理論編 ・深層学習とは (p.13-) ・ニューラルネットワークとは (p.31-) ・どうやって学習するか: 勾配降下法 (p.57-) ・深層学習の注意点 (p.91-) 第2章　応用編 ・分類問題 (p.110-) ・画像認識 (p.120-) ・音声認識／自然言語処理 (p.151-) ・講演のまとめ (p.167-) 続きを読む

Stability AI、ノートPCでも動作する大規模言語モデル（LLM）を発表

2023/10/03 27 users LLM CC-BY-SA Stability AI リリース

Stabilty.AIは10月3日、ノートPCなど計算能力のあまり高くないPCでも動作するように設計されたコンパクトな大規模言語モデル（LLM）「Stable LM 3B」のリリースを発表した。ライセンスは商用利用も可能なオープンソースの「CC-By-SA 4.0」となっている。 軽量・高速にもかかわらず高度な自然言語処理が可能 2023年4月20... 続きを読む

GPTの仕組みをちゃんと勉強したい本 - きしだのHatena

2023/04/25 449 users GPT ニューラルネットワーク 概観 CNN 音声認識

やっぱGPTを仕組みから勉強したい、という本をいくつか見つけたのでまとめておきます。 まず理論的な概要。 機械学習からニューラルネットワーク、CNNでの画像処理、トランスフォーマーでの自然言語処理、音声認識・合成、そしてそれらを組み合わせたマルチモーダルと章が進むので、理論的な概観を得るのにいいと思いま... 続きを読む

[輪講資料] LoRA: Low-Rank Adaptation of
Large Language Models

2023/04/18 62 users LoRa Low-Rank Fine-tuning 変遷 論文

パラメータを固定した事前学習済みモデルに対して、ごく少数のパラメータからなる低ランク行列を導入・学習することで、モデル全体のfine-tuningと同等の性能を発揮できる手法であるLoRAと、その論文について解説した資料です。 深層学習を用いた自然言語処理の歴史的な変遷と周辺技術から、LoRAが必要とされるに至った... 続きを読む

【完全保存版】GPT を特定の目的に特化させて扱う (Fine-tuning, Prompt, Index, etc.) - Qiita

2023/03/30 804 users prompt LLM Fine-tuning GPT 過言

【完全保存版】GPT を特定の目的に特化させて扱う (Fine-tuning, Prompt, Index, etc.) ChatGPT に代表される今日の AI ブームを牽引しているのは 大規模言語モデル（Large-scale Language Model, LLM） と言っても過言ではないでしょう。LLM とは大量のテキストデータを使ってトレーニングされた自然言語処理のモデルで... 続きを読む

日本語に特化した13億パラメータのGPT言語モデルを公開｜rinna株式会社

2023/03/06 154 users rinna株式会社 GPT グリフ NLP 日本語

～商用利用可能なライセンスで日本語のNLPコミュニティに貢献～ rinna株式会社（本社：東京都渋谷区/代表取締役：ジャン"クリフ"チェン、以下rinna社）は、日本語に特化した13億パラメータのGPT言語モデルを開発し、公開しました。 ■背景 rinna社はこれまでに、日本語の自然言語処理 (NLP) に特化したGPT (3.3億パラメー... 続きを読む

東京大学、強化学習と統計的自然言語処理の講義資料が無料公開 サイバーエージェントの講師ら担当 | Ledge.ai

2021/09/24 16 users サイバーエージェント Ledge.ai 講義資料 強化学習

「Summer School 数理物理」は1987年に第1回目を開催した、これから研究を始めようとしている大学院生や、数理物理の広い分野にわたる（専門外の）研究者を対象にした入門的な講義。主なターゲットは若手研究者や大学院生だが、学部学生や一般社会人を含む幅広い範囲の参加者が集まるという。 ＼資料公開／ Summer Schoo... 続きを読む

rinnaが日本語に特化したGPT-2とBERTの事前学習モデルを開発しオープンソース化 | TechCrunch Japan

2021/08/30 16 users Bert GitHub rinna MIT NLP

rinnaは8月25日、日本語に特化したGPT-2とBERTの事前学習モデルとその学習を再現するためのソースコードを、GitHubおよびNLPモデルライブラリーHuggingFaceにオープンソースソフトウェア（OSS）として公開したと発表した。ライセンスはMIT。製品開発のための実験過程で開発したもので、日本語の自然言語処理（NLP）の研... 続きを読む

rinna、日本語に特化した「GPT-2」「BERT」事前学習モデルを無償公開 75ギガバイトのデータを最大45日間で学習 | Ledge.ai

2021/08/25 28 users Bert GitHub rinna NLP GPT-2

元女子高生AI「りんな」などで知られるrinna株式会社は8月25日、製品開発のための実験過程で、日本語に特化した「GPT-2」と「BERT」の事前学習モデルを開発したと発表。 日本語の自然言語処理（NLP）の研究・開発コミュニティに貢献するために、開発した事前学習モデルとその学習を再現するためのソースコードを、GitHub... 続きを読む

コスメプラットフォームLIPSと広告クリエイティブ: 最新の研究事例から見る広告クリエイティブの作成支援と自動生成 - appbrew Tech Blog

2021/04/28 14 users shunk031 著者 機械学習 研究分野 以下

こんにちは @shunk031 です。 ご縁があって appbrew Tech Blog へ本記事を寄稿しました *1。 今回のお話は、私が取り組んでいる研究分野の 1 つである「機械学習と広告クリエイティブ *2」を特に評価していただき実現しました。 ここで簡単に、本記事の著者である私の自己紹介をします。私は以下のような自然言語処理の... 続きを読む

自然言語処理ライブラリをオープンソースで提供するHugging Faceが43.6億円調達 | TechCrunch Japan

2021/03/14 13 users Hugging Face 言語処理ライブラリ ソース NLP

Hugging FaceがシリーズBで4000万ドル（約43億6000万円）を調達した。Additionがラウンドをリードしている。同社は、オープンソースの自然言語処理（NLP）ライブラリを開発してきた。GitHubにそのTransformersライブラリはあり、4万2000のスターと1万のフォークがある。 米国時間3月11日に行われた投資にはLux Capitalや... 続きを読む

東大松尾研究室、無料でディープラーニングや自然言語処理を学べる講座開講 松尾豊氏が講師を務める講座も | Ledge.ai

2021/02/01 338 users Ledge.ai ディープラーニング 人工知能 深層学習 講師

TOP > Article Theme > 人工知能（AI）ニュース > 東大松尾研究室、無料でディープラーニングや自然言語処理を学べる講座開講 松尾豊氏が講師を務める講座も 東京大学 松尾研究室は1月29日から、無料でディープラーニング（深層学習）や自然言語処理について学べる、短期間のオンライン講座の受講者を募集している。対象... 続きを読む

Wikipediaの前処理はもうやめて「Wiki-40B」を使う - Ahogrammer

2020/09/26 136 users 分量 単語 Ahogrammer 分散表現 テキスト

最近の自然言語処理では、大規模なテキストから単語の分散表現や言語モデルを学習させて使っています。学習する際のテキストとしては、分量や利用しやすさの都合からWikipediaが選ばれることが多いですが、その前処理は意外と面倒で時間のかかる作業です。そこで、本記事では比較的最近リリースされた前処理済みのデータ... 続きを読む

BERTのAttentionは何を見ているのか？

2020/09/24 89 users Bert SEP attention CLS 前書き

3つの要点 ✔️BERTのAttention機構の分析手法の提案 ✔️Attentin機構は全体的には区切り文字や[CLS]、[SEP]を見ている ✔️特定のAttention機構では「動詞とその目的語」、「名詞と修飾語」、「前置詞とその目的語」などの簡単な文法関係から、照応関係などの複雑な文法関係も獲得している 前書き 現在の自然言語処理ではTransf... 続きを読む

忙しい人のための自然言語処理 - Qiita

2020/02/10 15 users Qiita 忙しい人

さすがに「来ねぇ」とかになったりはしないようですが、出現回数が多そうなところが出てて納得感(?)ありますね！ 環境 Python 3.6.9 実装 COTOHA APIの要約APIを利用して3行に要約します。 コードはほとんどゲンシジンの記事を参考に書いていますが、BASE_URL書き換えたり、要約用にパラメータ変えたりしています。また... 続きを読む

BERTはまだまだ進化する！軽くて強いALBERTが登場！ | AI-SCHOLAR

2019/10/08 37 users Bert elmo AI-SCHOLAR 要点 文法

3つの要点 BERTの構造に2つの改善を施し、大幅なパラメーター削減を実現 BERTで効果がないとされていた学習タスクを改善し、より文法を捉えた学習を実現 パラメーター削減による速度の向上だけでなく、性能の向上をも実現 現在の自然言語処理のトレンドの一つとして、ELMoやBERT、XLNetのような言語モデルベースの機構を... 続きを読む

AI記者、AI小説家、そしてAI作曲家も――創作する人工知能を支える技術 (1/5) - ITmedia NEWS

2019/10/06 49 users 人工知能 周囲 AI記者 機械 米国

画像認識や自然言語処理といった技術の進化で、機械は人間と同じように周囲の環境および言葉を認識できるようになってきている。最近では機械が文章を書いたり、絵を描いたりする例も出てきた。今回は、こうしたコンテンツ生成の事例や技術についてまとめた。 AIがスポーツ記事を作成 米国のローカルメディアRichland So... 続きを読む

AIにとって難しいクイズ問題を集めた新しい質問応答データセット | AI-SCHOLAR

2019/08/30 11 users 要点 タスク ディープラーニング AI-SCHOLAR 執筆

３つの要点 新しい早押しクイズ形式の質問応答データセットが登場 人間がAIを「騙そう」と試行錯誤しながら、クイズ問題を執筆 「人間には簡単だが、AIには難しい」新しい質問応答データセットが作成された ディープラーニングを用いた自然言語処理の手法によって、文書読解や自然言語理解などの様々なタスクで、AIのモ... 続きを読む

BERTは本当に人間を超えているのか？自然言語処理の実態と本当の活用方法 | 人工知能ニュースメディア AINOW

2019/05/31 33 users Bert AINOW タスク 質疑応答 実態

Google AI Languageチームが2018年10月に発表した自然言語処理のモデル「BERT」は、質疑応答や自然言語推論といったさまざまな自然言語処理のタスクにおいて先行する言語モデルを凌駕する性能を実現しました。 国内では、2019年2月にチャットボットシステムを展開する株式会社サイシードが、「BERT」を文章の類似度を算... 続きを読む

BERT解説：自然言語処理のための最先端言語モデル | 人工知能ニュースメディア AINOW

2019/05/21 41 users AINOW 人工知能ニュースメディア

著者のRani Horev氏はイスラエル出身で、イスラエル国防省のデータサイエンス・チームリーダーを務めたこともあるAI研究者です。同氏が英語長文記事メディアMediumに投稿した記事では、Googleが2018年10月に発表した自然言語処理モデルであるBERTの特徴が解説されています。 Google AI Languageチームが2018年10月に発表... 続きを読む

フォーサイト、AI・自然言語処理・機械学習について学べるWeb動画をYouTubeにて無料公開：EdTechZine（エドテックジン）

2018/12/26 28 users YouTube EdTechZine フォーサイト 第一人者

フォーサイトは、AI・自然言語処理・機械学習について学べるWeb動画19本（計約3時間26分）を、12月26日にYouTubeにて無料公開した。 今回、無料公開したWeb動画は、明治大学の高木友博教授をはじめとするAIの第一人者による講座で、専門知識がなくてもわかりやすいよう解説しているので、エンジニアでない人や文系の人で... 続きを読む

AI講座をYouTubeで無料公開｜株式会社フォーサイトのプレスリリース

2018/12/26 580 users YouTube 浩司 goo プレスリリース 山田

資格試験において高い合格率を実現する通信講座を提供する株式会社フォーサイト（東京都文京区／代表取締役社長：山田 浩司）は、2018年12月26日（水）にAI・自然言語処理・機械学習について学べるWeb動画19本（合計約3時間26分）をYouTubeで無料公開します。 フォーサイトYouTubeチャンネル内・再生リスト　https://goo... 続きを読む

はてなで合同論文読み会を開催しました - Hatena Developer Blog

2018/12/04 22 users はてな Hatena Developer Blog 推薦

こんにちは。ウェブアプリケーションエンジニアのid:syou6162です。 はてな社内では機械学習や自然言語処理、情報検索/推薦に関する論文読み会を定期的に行なっています。 社内で国際会議論文読み会を開催しました - Hatena Developer Blog 社内でNLP2017 & DEIM2017読み会を開催しました - Hatena Developer Blog 社内... 続きを読む

好きな品詞の組み合わせのフレーズを抜き出すPythonパッケージ「negima」を作った - ぴよぴよ.py

2018/08/20 28 users 形容詞 名詞 品詞 シチュエーション 抽出

日本語の自然言語処理が絡んだ作業をする際に、 名詞だけ抜き出したい 名詞だけ抜き出したいが、接頭詞の「未」「非」とかもくっつけて抜き出したい 形容詞を抜き出したいが、否定の「ない」もくっつけて抜き出したい みたいに形態素解析をしたあとに形態素同士をつなげてフレーズの抽出をしたいシチュエーションがよく... 続きを読む

機械学習を用いてユーザーのご意見分類業務を効率化した話 - クックパッド開発者ブログ

2018/08/08 149 users 機械学習 ユーザー クックパッド開発者ブログ 効率化 背景

こんにちは。研究開発部の @vanhuyz です。機械学習・自然言語処理を中心に研究開発しています。 今回は機械学習を活用してユーザーからのご意見を 81 のカテゴリーに自動分類し、ユーザーサポートスタッフによる手動分類の工数を半分にできた話を紹介したいと思います。 背景 クックパッドは現在約 5,500 万人の国内月... 続きを読む