LLMのRAG（外部知識検索による強化）をまとめた調査報告 | AIDB

2023/12/27 38 users LLM Rag AIDB 浮き彫り タスク

背景 大規模言語モデル（LLM）は、自然言語処理の多くのタスクで、人間の能力に匹敵するような成果を上げています。しかし、時には不正確な情報を生成したり、特定の分野や専門的な質問への対応力が不足したりするといった課題も浮き彫りになっています。現実世界でのアプリケーションにLLMを適用する際には解決すべきポ... 続きを読む

OpenAI の GPT-4-vision-preview (VLM) を利用した商品画像のタグ付け - DROBEプロダクト開発ブログ

2023/11/22 30 users プロンプト ケーススタディ DROBE VLM モチベーション

はじめに DROBE の課題と GPT-4-Vision-Preview を試すモチベーション ケーススタディ 入力するデータ 推論周辺部分のコード プロンプト 実験結果 おわりに 参考文献 はじめに OpenAIが Dev Day で発表したGPT-4-Vision-Previewは、画像処理と自然言語処理を組み合わせた最先端の技術です。 このモデルは、画像を理解し... 続きを読む

ChatGPTでデータベースに侵入　機密情報を漏えいさせるコードを生成　英国と中国の研究者らが実証

2023/11/05 17 users chatgpt セキュリティリスク NLP アルゴリズム 実証

自然言語処理（NLP）アルゴリズムが意図的な攻撃に対して脆弱であることはすでに実証されている。しかし、これらの脆弱性がソフトウェアのセキュリティリスクとしてどのように影響するかについては、十分に調査されていない。 この問題を解決するために、データベースと自然言語インタフェースを結び付けるためのText-to... 続きを読む

完全自動運転にLLMは必要か？

2023/10/17 93 users LLM Turing Chat-GPT 棚橋 きっかけ

この記事を3行でまとめると.. Turingでは1年以上前から完全自動運転に自然言語処理が必要と考えてきた 自動運転におけるロングテールなデータに対して、LLMの一般常識に基づく判断能力が必要 Chat-GPTをきっかけにLLMを自動運転に利用する研究が盛り上がってきている TuringのBrain Researchチームの棚橋です。Brain Res... 続きを読む

【文系でもわかる】ChatGPTのキモ「Transformer」「Attention」のしくみ

2023/09/26 518 users Transformer GPT attention 文脈 根幹

第1回は、さまざまなタスクをこなす万能型ジェネレーティブAIツール「ChatGPT」の性能の鍵を握る「トークン長（GPTが文脈を意識できる過去の単語数）」やGPTの歴史的経緯について解説しました。第2回はGPTを支える自然言語処理 の分野で使用される深層学習モデル「Transformer」とその根幹となる「Attention機構（そのタ... 続きを読む

RWKVについて解説

2023/08/17 14 users RWKV Transformer RNN アーキテクチャ 解説

本記事では、RWKVとよばれるモデルのアーキテクチャについて詳しく説明します。 はじめに 自然言語処理の分野において、Transformer[1]の登場以前に一般的に使用されてきたRNN[2]はいくつかの課題を抱えており、その課題を克服する新たな手法として、RNNとは完全に異なるアプローチを取るTransformerが登場しました。し... 続きを読む

生成型大規模言語モデルについての情報発信

2023/06/01 53 users 情報発信 chatgpt 沖縄コンベンションセンター 立場

言語処理学会ではChatGPTに代表される生成型大規模言語モデルについて自然言語処理の専門家の立場から情報発信しています。 緊急パネル：ChatGPTで自然言語処理は終わるのか？（言語処理学会理事会主催）2023年3月14日 沖縄コンベンションセンター また、下に掲載する言語処理の専門家の役割と責任に言及する会長メッセ... 続きを読む

算数や計算が苦手な対話型チャットAIに数学的推論を正しく行わせるには途中のステップをチェックしながら訓練するのがよいとOpenAIが提案

2023/06/01 12 users OpenAI GPT 推論 chatgpt 算数

ChatGPTやGoogle BardなどのチャットAIは、OpenAIのGPTやGoogleのPaLM 2などの大規模言語モデルをベースにしており、人間が書いたものと同じくらい自然な文章で対話を行うことが可能です。しかし、あくまでも言語処理のAIであるため、チャットAIに数学の問題をお願いすると、簡単な計算ミスをしてしまうことがよくありま... 続きを読む

犯人は“ヤツ”──「ポートピア連続殺人事件」が復活　自然言語処理の学習用ソフトとして無料配信へ

2023/04/21 24 users ポートピア連続殺人事件 犯人 ヤツ 復活 学習用

スクウェア･エニックスは、AI技術の学習用コンテンツ「SQUARE ENIX AI Tech Preview: THE PORTOPIA SERIAL MURDER CASE」を無料配信すると発表した。 スクウェア･エニックス（東京都新宿区）は4月21日、AI技術の学習用コンテンツ「SQUARE ENIX AI Tech Preview: THE PORTOPIA SERIAL MURDER CASE」を無料配信すると発表... 続きを読む

SQUARE ENIX AI Tech Preview: THE PORTOPIA SERIAL MURDER CASE

2023/04/21 10 users SERIAL MURDER CASE 堀井雄二 NLP 学習

SQUARE ENIX AI Tech Preview: 『THE PORTOPIA SERIAL MURDER CASE』とは 1983年に日本でリリースされたPC版「ポートピア連続殺人事件」（作：堀井雄二）を通して、 AI技術のひとつである「自然言語処理(NLP)」を学習・体験するソフトウェアです。 1980年頃のPCアドベンチャーゲームは主にキーボードのみで操作する時代... 続きを読む

『ポートピア連続殺人事件』にAIを搭載した技術デモが4月24日にPC（Steam）で無料配信決定。現在のNLP（自然言語処理）とはどのようなものかを体験できる内容に

2023/04/21 165 users NLP Steam アドベンチャー SQUARE ENIX

『ポートピア連続殺人事件』にAIを搭載した技術デモが4月24日にPC（Steam）で無料配信決定。現在のNLP（自然言語処理）とはどのようなものかを体験できる内容に スクウェア・エニックスは4月24日（月）にNLP（自然言語処理）アドベンチャー『SQUARE ENIX AI Tech Preview: THE PORTOPIA SERIAL MURDER CASE』を公開する... 続きを読む

AI搭載版『ポートピア連続殺人事件』が4月24日にSteamで無料配信決定、『THE PORTOPIA SERIAL MURDER CASE』として名作ADVが蘇る スクエニAI部に経緯を訊いた

2023/04/21 687 users Steam SERIAL MURDER CASE 題材 経緯

スクウェア・エニックスは、堀井雄二氏が手掛けた『ポートピア連続殺人事件』を題材に、先端AI技術を搭載したテックプレビュー『SQUARE ENIX AI Tech Preview: THE PORTOPIA SERIAL MURDER CASE』を2023年4月24日にSteamにて無料配信すると発表した。また公式サイトをオープンしている。 AIの一分野である自然言語処理（... 続きを読む

デザイナーの仕事は AI でラクになる？実際に試してみた｜Goodpatch Blog グッドパッチブログ

2023/04/08 23 users ラク デザイナー Goodpatch Blog 実際 金谷

こんにちは。Goodpatch UIデザイナーの金谷です。 最近、ChatGPTで話題沸騰のAI。機械学習、ディープラーニングなどの技術の進歩が著しく、自然言語処理、画像認識、音声認識などの分野で、驚異的な精度と高速な処理能力を発揮しています。 ChatGPTにいろいろな「仕事」をさせる実験が流行っていますが、私自身もAIに負... 続きを読む

ChatGPT と自然言語処理 / 言語の意味の計算と最適輸送

2023/03/18 340 users chatgpt スライド 最適輸送 言語 機械学習

Revisiting Over-smoothing in BERT from the Perspective of Graph 続きを読む

GPT-4との新たな開発体験: AIとペアプロを極める

2023/03/16 10 users GPT-4 okunokentaro 奥野賢太郎 ペアプロ

こんにちは、クレスウェア株式会社の奥野賢太郎 (@okunokentaro) です。本記事では、GPT-4を使った開発体験について語りたいと思います。 2023年3月14日、GPT-4が発表されました。GPT-4とは、OpenAI社が開発した最新のAI技術で、自然言語処理の能力が従来のGPT-3.5と比較して、さらに向上しています。これにより、文章生... 続きを読む

高性能・高速・軽量な日本語言語モデル LINE DistilBERTを公開しました

2023/03/13 20 users 高性能 日本語言語モデル 検知 NLPチーム 固有表現抽出

こんにちは。LINEの小林滉河(@kajyuuen)です。NLPチームで固有表現抽出、有害表現の検知、LINEスタンプ推薦の改善など自然言語処理に関する仕事をしています。 この記事ではLINEが公開した言語モデル「LINE DistilBERT」について紹介します。 https://huggingface.co/line-corporation/line-distilbert-base-japanese ht... 続きを読む

ChatGPTで自然言語処理のData Augmentationやってみた。｜tdual｜note

2023/02/07 28 users OpenAI tdual chatgpt import 返答

※ChatGPTと言っていますが、正確にはOpenAIの「code-davinci-003」というGPT-3のモデルを使っています。 ChatGPT、すごいですよね！ 質問すれば、ある程度のことはいい感じの返答をしてくれますね。 例えば「〜と似た文章を作って。」メッセージをChatGPTに投げることで、似たような文章を生成できます。 入力： import ... 続きを読む

「Skype」に「ほんやくコンニャク」機能？　音声認識＋自然言語処理で異言語対話を容易に／話した言葉を即座に翻訳して自分の声とテキストで伝達。2023年にリリースへ

2022/12/16 10 users ほんやくコンニャク Skype 即座 伝達 テキスト

続きを読む

音声認識モデル Whisper の推論をほぼ倍速に高速化した話 - Qiita

2022/12/05 10 users whisper ソースコ Qiita 推論 重み

本記事は MIXI DEVELOPERS Advent Calendar 2022 の4日目の記事です。 TL;DR Romi チームでは自然言語処理をメインでやりつつ、最近は音声系も手を出しつつあるよ 2022年末現在の音声認識最強モデル Whisper を高速化 重みの fp16 化 TorchScript 化 認識の長さを30秒ごとから10秒ごとに 結果処理速度が約2倍に ソースコ... 続きを読む

文章のなかの地理空間 － 地理空間情報科学(GIS)と自然言語処理(NLP)の融合へ向けて －

2022/09/12 113 users GIS NLP 融合 地理空間 なか

PLDI '21論文読み会: AKG: Automatic Kernel Generation for Neural Processing Units using Polyhedral Transformations 続きを読む

自然言語処理とVision-and-Language / A Tutorial on NLP & Vision-and-Language

2022/06/14 15 users Vision-and-Language

自然言語処理とVision-and-Language / A Tutorial on NLP & Vision-and-Language 続きを読む

東京大学深層学習（Deep Learning基礎講座2022）深層学習と自然言語処理

2022/06/02 625 users 深層学習 deeplearning.jp https

Transcript 深層学習/Deep Learning 基礎講座
 第7回(20220602) 深層学習と自然言語処理
 谷中　瞳
 東京大学大学院　情報理工学系研究科　コンピュータ科学専攻
 http://hitomiyanaka.strikingly.com/ hyanaka@is.s.u-tokyo.ac.jp Twitter: @verypluming 1 自己紹介
 • 東京大学大学院　情報理工学系研究科
 コンピュー... 続きを読む

BERTを活用して職務経歴書からスキルや経験を推察――マッチング精度向上を支援 - techtekt

2022/02/16 13 users Bert techtekt 推察 指標 マッチング

デジタルテクノロジー統括部で、自然言語処理モデル“BERT”を活用した新たなプロジェクトが始動しました。 本プロジェクトでは、企業と求職者様のマッチングにおいて重要な指標となる「スキル/経験」データに着目し、職務経歴書から自然言語処理によってスキル/経験を推察、提案するモデルを構築。本格実装に向けた準備を... 続きを読む

速度の高みを目指す：高速な単語分割器 Vaporetto の技術解説 - LegalForce Engineering Blog

2021/09/28 21 users rust アルゴリズム 弊チーム プログラミング言語 速度

こんにちは。LegalForce Research でエンジニアをしている赤部 (@vbkaisetsu) です。 今回は、弊チームが開発した新しい高速な単語分割器 Vaporetto（ヴァポレット）の技術解説を行います。Vaporetto はプログラミング言語 Rust で開発されています。想定する読者は、 自然言語処理のアルゴリズムに興味がある人 Rust に... 続きを読む

カナダで転職して、プロダクトマネージャーからソフトウェアエンジニアに戻った。 | takuti.me

2021/08/20 20 users takuti.me カナダ ソフトウェアエンジニア 修士課程

Tweet 修士課程修了から4年半の間働いたトレジャーデータ (Treasure Data; TD) を8月13日（金）に退職した。インターンから数えるとちょうど5年のお付き合いになる。 ソフトウェアエンジニアとして入社 (2017-2019) 修士課程で機械学習が専門ではない指導教員の下で機械学習を学ぶために Hivemall, Digdag, 自然言語処理... 続きを読む