LLMのRAG（外部知識検索による強化）をまとめた調査報告 | AIDB

2023/12/27 38 users LLM Rag AIDB 浮き彫り タスク

背景 大規模言語モデル（LLM）は、自然言語処理の多くのタスクで、人間の能力に匹敵するような成果を上げています。しかし、時には不正確な情報を生成したり、特定の分野や専門的な質問への対応力が不足したりするといった課題も浮き彫りになっています。現実世界でのアプリケーションにLLMを適用する際には解決すべきポ... 続きを読む

OpenAI の GPT-4-vision-preview (VLM) を利用した商品画像のタグ付け - DROBEプロダクト開発ブログ

2023/11/22 30 users プロンプト ケーススタディ DROBE VLM モチベーション

はじめに DROBE の課題と GPT-4-Vision-Preview を試すモチベーション ケーススタディ 入力するデータ 推論周辺部分のコード プロンプト 実験結果 おわりに 参考文献 はじめに OpenAIが Dev Day で発表したGPT-4-Vision-Previewは、画像処理と自然言語処理を組み合わせた最先端の技術です。 このモデルは、画像を理解し... 続きを読む

ChatGPTでデータベースに侵入　機密情報を漏えいさせるコードを生成　英国と中国の研究者らが実証

2023/11/05 17 users chatgpt セキュリティリスク NLP アルゴリズム 実証

自然言語処理（NLP）アルゴリズムが意図的な攻撃に対して脆弱であることはすでに実証されている。しかし、これらの脆弱性がソフトウェアのセキュリティリスクとしてどのように影響するかについては、十分に調査されていない。 この問題を解決するために、データベースと自然言語インタフェースを結び付けるためのText-to... 続きを読む

完全自動運転にLLMは必要か？

2023/10/17 93 users LLM Turing Chat-GPT 棚橋 きっかけ

この記事を3行でまとめると.. Turingでは1年以上前から完全自動運転に自然言語処理が必要と考えてきた 自動運転におけるロングテールなデータに対して、LLMの一般常識に基づく判断能力が必要 Chat-GPTをきっかけにLLMを自動運転に利用する研究が盛り上がってきている TuringのBrain Researchチームの棚橋です。Brain Res... 続きを読む

【文系でもわかる】ChatGPTのキモ「Transformer」「Attention」のしくみ

2023/09/26 518 users Transformer GPT attention 文脈 根幹

第1回は、さまざまなタスクをこなす万能型ジェネレーティブAIツール「ChatGPT」の性能の鍵を握る「トークン長（GPTが文脈を意識できる過去の単語数）」やGPTの歴史的経緯について解説しました。第2回はGPTを支える自然言語処理 の分野で使用される深層学習モデル「Transformer」とその根幹となる「Attention機構（そのタ... 続きを読む

［CEDEC 2023］ゲームにおける自然言語処理が解説されたセッションをレポート。世界が変われば言葉も変わる

2023/08/24 5 users セッション レポート CEDEC 2023 言葉 ゲーム

［CEDEC 2023］ゲームにおける自然言語処理が解説されたセッションをレポート。世界が変われば言葉も変わる 編集部：荒井陽介 CEDEC開催初日の2023年8月23日，スクウェア・エニックスの森 友亮氏による講演「デジタルゲームのための自然言語処理（NLP） - ゲームの『ことば』のあそびかた」が行われた。 ChatGPTに代表さ... 続きを読む

RWKVについて解説

2023/08/17 14 users RWKV Transformer RNN アーキテクチャ 解説

本記事では、RWKVとよばれるモデルのアーキテクチャについて詳しく説明します。 はじめに 自然言語処理の分野において、Transformer[1]の登場以前に一般的に使用されてきたRNN[2]はいくつかの課題を抱えており、その課題を克服する新たな手法として、RNNとは完全に異なるアプローチを取るTransformerが登場しました。し... 続きを読む

NVIDIAとSnowflake、生成AIで提携　企業にSaaS上のデータ利用の独自AIアプリ構築環境提供へ

2023/06/28 7 users NVIDIA Snowflake 生成AI 提携 企業

米NVIDIAは6月27日（現地時間）、SaaS型データウェアハウスを手掛ける米Snowflakeとの提携を発表した。顧客企業が独自のデータを使ってカスタマイズした生成AIアプリを開発するための環境の提供を目指す。 この提携により、Snowflakeの顧客は、NVIDIAの自動音声認識、自然言語処理、テキスト読み上げのAIモデルを構築・... 続きを読む

「オープンサイエンスとオープンソースAIは国益に合致する」とAIプラットフォーム・Hugging FaceのCEOが議会で証言

2023/06/29 7 users 国益 公聴会 証言 CEO 議会

Hugging Faceは主に自然言語処理を対象にしたオープンソースプラットフォームであり、さまざまなAI関連のライブラリやモデルが公開されています。そんなHugging Faceのクレメント・デラングCEOがアメリカ合衆国下院の公聴会に出席し、「オープンサイエンスとオープンソースAIは、アメリカの価値観と国益に合致している」... 続きを読む

生成型大規模言語モデルについての情報発信

2023/06/01 53 users 情報発信 chatgpt 沖縄コンベンションセンター 立場

言語処理学会ではChatGPTに代表される生成型大規模言語モデルについて自然言語処理の専門家の立場から情報発信しています。 緊急パネル：ChatGPTで自然言語処理は終わるのか？（言語処理学会理事会主催）2023年3月14日 沖縄コンベンションセンター また、下に掲載する言語処理の専門家の役割と責任に言及する会長メッセ... 続きを読む

算数や計算が苦手な対話型チャットAIに数学的推論を正しく行わせるには途中のステップをチェックしながら訓練するのがよいとOpenAIが提案

2023/06/01 12 users OpenAI GPT 推論 chatgpt 算数

ChatGPTやGoogle BardなどのチャットAIは、OpenAIのGPTやGoogleのPaLM 2などの大規模言語モデルをベースにしており、人間が書いたものと同じくらい自然な文章で対話を行うことが可能です。しかし、あくまでも言語処理のAIであるため、チャットAIに数学の問題をお願いすると、簡単な計算ミスをしてしまうことがよくありま... 続きを読む

犯人は“ヤツ”──「ポートピア連続殺人事件」が復活　自然言語処理の学習用ソフトとして無料配信へ

2023/04/21 24 users ポートピア連続殺人事件 犯人 ヤツ 復活 学習用

スクウェア･エニックスは、AI技術の学習用コンテンツ「SQUARE ENIX AI Tech Preview: THE PORTOPIA SERIAL MURDER CASE」を無料配信すると発表した。 スクウェア･エニックス（東京都新宿区）は4月21日、AI技術の学習用コンテンツ「SQUARE ENIX AI Tech Preview: THE PORTOPIA SERIAL MURDER CASE」を無料配信すると発表... 続きを読む

SQUARE ENIX AI Tech Preview: THE PORTOPIA SERIAL MURDER CASE

2023/04/21 10 users SERIAL MURDER CASE 堀井雄二 NLP 学習

SQUARE ENIX AI Tech Preview: 『THE PORTOPIA SERIAL MURDER CASE』とは 1983年に日本でリリースされたPC版「ポートピア連続殺人事件」（作：堀井雄二）を通して、 AI技術のひとつである「自然言語処理(NLP)」を学習・体験するソフトウェアです。 1980年頃のPCアドベンチャーゲームは主にキーボードのみで操作する時代... 続きを読む

『ポートピア連続殺人事件』にAIを搭載した技術デモが4月24日にPC（Steam）で無料配信決定。現在のNLP（自然言語処理）とはどのようなものかを体験できる内容に

2023/04/21 165 users NLP Steam アドベンチャー SQUARE ENIX

『ポートピア連続殺人事件』にAIを搭載した技術デモが4月24日にPC（Steam）で無料配信決定。現在のNLP（自然言語処理）とはどのようなものかを体験できる内容に スクウェア・エニックスは4月24日（月）にNLP（自然言語処理）アドベンチャー『SQUARE ENIX AI Tech Preview: THE PORTOPIA SERIAL MURDER CASE』を公開する... 続きを読む

AI搭載版『ポートピア連続殺人事件』が4月24日にSteamで無料配信決定、『THE PORTOPIA SERIAL MURDER CASE』として名作ADVが蘇る スクエニAI部に経緯を訊いた

2023/04/21 687 users Steam SERIAL MURDER CASE 題材 経緯

スクウェア・エニックスは、堀井雄二氏が手掛けた『ポートピア連続殺人事件』を題材に、先端AI技術を搭載したテックプレビュー『SQUARE ENIX AI Tech Preview: THE PORTOPIA SERIAL MURDER CASE』を2023年4月24日にSteamにて無料配信すると発表した。また公式サイトをオープンしている。 AIの一分野である自然言語処理（... 続きを読む

デザイナーの仕事は AI でラクになる？実際に試してみた｜Goodpatch Blog グッドパッチブログ

2023/04/08 23 users ラク デザイナー Goodpatch Blog 実際 金谷

こんにちは。Goodpatch UIデザイナーの金谷です。 最近、ChatGPTで話題沸騰のAI。機械学習、ディープラーニングなどの技術の進歩が著しく、自然言語処理、画像認識、音声認識などの分野で、驚異的な精度と高速な処理能力を発揮しています。 ChatGPTにいろいろな「仕事」をさせる実験が流行っていますが、私自身もAIに負... 続きを読む

ChatGPT と自然言語処理 / 言語の意味の計算と最適輸送

2023/03/18 340 users chatgpt スライド 最適輸送 言語 機械学習

Revisiting Over-smoothing in BERT from the Perspective of Graph 続きを読む

GPT-4との新たな開発体験: AIとペアプロを極める

2023/03/16 10 users GPT-4 okunokentaro 奥野賢太郎 ペアプロ

こんにちは、クレスウェア株式会社の奥野賢太郎 (@okunokentaro) です。本記事では、GPT-4を使った開発体験について語りたいと思います。 2023年3月14日、GPT-4が発表されました。GPT-4とは、OpenAI社が開発した最新のAI技術で、自然言語処理の能力が従来のGPT-3.5と比較して、さらに向上しています。これにより、文章生... 続きを読む

ChatGPTで自然言語処理は終わるのか？で始まった知性・感性の再定義｜ysk_moto｜note

2023/03/15 8 users chatgpt 所感 知性 Note 感性

言語処理学会第29回年次大会(NLP2023) に参加しています。 そこで、予定のプログラムの昼休みをつぶして緊急パネルディスカッションが開催されました。 「緊急パネル：ChatGPTで自然言語処理は終わるのか？」 https://www.anlp.jp/nlp2023/#special_panel 本投稿では、その内容を少しだけ振り返ると共に、私の所感も添え... 続きを読む

高性能・高速・軽量な日本語言語モデル LINE DistilBERTを公開しました

2023/03/13 20 users 高性能 日本語言語モデル 検知 NLPチーム 固有表現抽出

こんにちは。LINEの小林滉河(@kajyuuen)です。NLPチームで固有表現抽出、有害表現の検知、LINEスタンプ推薦の改善など自然言語処理に関する仕事をしています。 この記事ではLINEが公開した言語モデル「LINE DistilBERT」について紹介します。 https://huggingface.co/line-corporation/line-distilbert-base-japanese ht... 続きを読む

文章だけでなく視覚的なコンテンツも理解してIQクイズに答えられるAI「Kosmos-1」をMicrosoftが発表、汎用人工知能の開発に前進

2023/03/02 8 users 前進 Microsoft AGI 汎用人工知能 文章

近年では画像生成や人間との対話などの特定分野で優れた能力を発揮するAIが注目を集めていますが、一部のAI開発者は人間のように言語や視覚、聴覚などさまざまな情報をまとめて処理できる「Artificial General Intelligence(AGI)／汎用(はんよう)人工知能」の開発を目標としています。新たにMicrosoftが、言語処理だけで... 続きを読む

ChatGPTのビジネス利用検討 - Qiita

2023/02/09 7 users Qiita OpenAI chatgpt NLP 概説

記事の目的 この記事は、自然言語処理（NLP）に詳しくない方を主な対象として、ChatGPT について特にビジネスでの利用法という観点で概説するものです。ChatGPT の現在の提供内容や機能および利用例を紹介し、専門外の方の理解を助けることを目的としています。 ChatGPTとは ChatGPT とは、OpenAI が2022年11月に公開し... 続きを読む

ChatGPTで自然言語処理のData Augmentationやってみた。｜tdual｜note

2023/02/07 28 users OpenAI tdual chatgpt import 返答

※ChatGPTと言っていますが、正確にはOpenAIの「code-davinci-003」というGPT-3のモデルを使っています。 ChatGPT、すごいですよね！ 質問すれば、ある程度のことはいい感じの返答をしてくれますね。 例えば「〜と似た文章を作って。」メッセージをChatGPTに投げることで、似たような文章を生成できます。 入力： import ... 続きを読む

「Skype」に「ほんやくコンニャク」機能？　音声認識＋自然言語処理で異言語対話を容易に／話した言葉を即座に翻訳して自分の声とテキストで伝達。2023年にリリースへ

2022/12/16 10 users ほんやくコンニャク Skype 即座 伝達 テキスト

続きを読む

音声認識モデル Whisper の推論をほぼ倍速に高速化した話 - Qiita

2022/12/05 10 users whisper ソースコ Qiita 推論 重み

本記事は MIXI DEVELOPERS Advent Calendar 2022 の4日目の記事です。 TL;DR Romi チームでは自然言語処理をメインでやりつつ、最近は音声系も手を出しつつあるよ 2022年末現在の音声認識最強モデル Whisper を高速化 重みの fp16 化 TorchScript 化 認識の長さを30秒ごとから10秒ごとに 結果処理速度が約2倍に ソースコ... 続きを読む