日本語のAIで使う大規模言語モデル性能を評価する「オープン日本語LLMリーダーボード」公開

2024/11/26 15 users 日本語 公開 LLM LLM-jp NLP

16種類以上のNLP(自然言語処理)タスクを用いて日本語の大規模言語モデル(LLM)の性能評価と分析を行う「オープン日本語LLMリーダーボード」が公開されました。構築には国立情報学研究所をはじめとする日本語LLMの研究開発を行う組織横断プロジェクト「LLM-jp」が携わっています。 Open Japanese LLM Leaderboard - a Hugg... 続きを読む

自然言語処理を役立てるのはなぜ難しいのか

2024/10/18 70 users

PFNの海野裕也が2024/10/15に東大大学院「自然言語処理応用」にゲスト講師として登壇した際の講義資料です。 続きを読む

ACL2024 参加報告　前半（~3日目） - Taste of Tech Topics

2024/08/14 10 users 前半 Taste of Tech Topics 参加報告

こんにちは。タイの気温がほぼ日本と同じでちょっとげんなりしている@Ssk1029Takashiです。 私は自然言語処理の国際学会であるACL2024に参加するため、タイのバンコクに来ています。 2024.aclweb.org 今アクロクエストではRAGを用いたプロダクトを開発しており、LLMを含むNLPの最新の動向を追うためにACLに参加すること... 続きを読む

時系列データのための大規模言語モデル

2024/07/10 69 users 時系列データ 言語モデル LLM chatgpt NLP

近年の大規模言語モデル（LLM）の出現は、自然言語処理（NLP）においてパラダイムシフトをもたらし、ChatGPTをはじめとする様々な革新的サービスを生み出している。LLMの急速な進化は、NLPの領域を超えて、より広範なデータモダリティへのLLMの適用可能性を探る研究への発展を促している。その中で今回注目したのが、時... 続きを読む

超重要な基盤技術「Attention」、Transformerがなぜ画期的なのかを知る

2024/06/26 47 users Transformer RNN デコーダー エンコーダー 欠点

対話型AIサービス「ChatGPT」で使われている自然言語モデルの核になっている技術が「Transformer」だ。自然言語処理を例に、Transformerの仕組みを解説する。 実は、エンコーダーとデコーダーに用いられている「RNN」（Recurrent Neural Network）には、欠点があります。それは、長い文章が苦手だということです。 なぜ... 続きを読む

AIで働き方はどう変わる？LLMの未来を情報処理学会が解説｜noteエンジニアチームの技術記事

2024/06/24 7 users LLM Claude chatgpt NLP 生成AI

※ この対談は2024年2月頃に実施しました ChatGPTやClaudeなどの生成AIを仕事や日常で使うことが当たり前になってきました。この先数年で、働き方はますます変わっていくことが予想されます。 今回の記事では、自然言語処理（NLP）と大規模言語モデル（LLM）の専門家である関根聡さんと吉野幸一郎さんに、LLMがもたらす未... 続きを読む

GPTを生んだ先端技術「Transformer」、その基礎を正しく理解する

2024/06/24 7 users Transformer GPT chatgpt 先端技術 基礎

対話型AIサービス「ChatGPT」で使われている自然言語モデルの核になっている技術が「Transformer」だ。自然言語処理を例に、Transformerの仕組みを解説する。 すっかり市民権を得た対話型AIサービス「ChatGPT」。ChatGPTで用いられている自然言語モデルが「GPT」（Generative Pre-trained Transformer）です。いわゆる「... 続きを読む

LLMのRAG（外部知識検索による強化）をまとめた調査報告 | AIDB

2023/12/27 38 users LLM Rag AIDB 浮き彫り タスク

背景 大規模言語モデル（LLM）は、自然言語処理の多くのタスクで、人間の能力に匹敵するような成果を上げています。しかし、時には不正確な情報を生成したり、特定の分野や専門的な質問への対応力が不足したりするといった課題も浮き彫りになっています。現実世界でのアプリケーションにLLMを適用する際には解決すべきポ... 続きを読む

OpenAI の GPT-4-vision-preview (VLM) を利用した商品画像のタグ付け - DROBEプロダクト開発ブログ

2023/11/22 30 users プロンプト ケーススタディ DROBE VLM モチベーション

はじめに DROBE の課題と GPT-4-Vision-Preview を試すモチベーション ケーススタディ 入力するデータ 推論周辺部分のコード プロンプト 実験結果 おわりに 参考文献 はじめに OpenAIが Dev Day で発表したGPT-4-Vision-Previewは、画像処理と自然言語処理を組み合わせた最先端の技術です。 このモデルは、画像を理解し... 続きを読む

ChatGPTでデータベースに侵入　機密情報を漏えいさせるコードを生成　英国と中国の研究者らが実証

2023/11/05 17 users chatgpt セキュリティリスク NLP アルゴリズム 実証

自然言語処理（NLP）アルゴリズムが意図的な攻撃に対して脆弱であることはすでに実証されている。しかし、これらの脆弱性がソフトウェアのセキュリティリスクとしてどのように影響するかについては、十分に調査されていない。 この問題を解決するために、データベースと自然言語インタフェースを結び付けるためのText-to... 続きを読む

完全自動運転にLLMは必要か？

2023/10/17 93 users LLM Turing Chat-GPT 棚橋 きっかけ

この記事を3行でまとめると.. Turingでは1年以上前から完全自動運転に自然言語処理が必要と考えてきた 自動運転におけるロングテールなデータに対して、LLMの一般常識に基づく判断能力が必要 Chat-GPTをきっかけにLLMを自動運転に利用する研究が盛り上がってきている TuringのBrain Researchチームの棚橋です。Brain Res... 続きを読む

【文系でもわかる】ChatGPTのキモ「Transformer」「Attention」のしくみ

2023/09/26 518 users Transformer GPT attention 文脈 根幹

第1回は、さまざまなタスクをこなす万能型ジェネレーティブAIツール「ChatGPT」の性能の鍵を握る「トークン長（GPTが文脈を意識できる過去の単語数）」やGPTの歴史的経緯について解説しました。第2回はGPTを支える自然言語処理 の分野で使用される深層学習モデル「Transformer」とその根幹となる「Attention機構（そのタ... 続きを読む

［CEDEC 2023］ゲームにおける自然言語処理が解説されたセッションをレポート。世界が変われば言葉も変わる

2023/08/24 5 users セッション レポート CEDEC 2023 言葉 ゲーム

［CEDEC 2023］ゲームにおける自然言語処理が解説されたセッションをレポート。世界が変われば言葉も変わる 編集部：荒井陽介 CEDEC開催初日の2023年8月23日，スクウェア・エニックスの森 友亮氏による講演「デジタルゲームのための自然言語処理（NLP） - ゲームの『ことば』のあそびかた」が行われた。 ChatGPTに代表さ... 続きを読む

RWKVについて解説

2023/08/17 14 users RWKV Transformer RNN アーキテクチャ 解説

本記事では、RWKVとよばれるモデルのアーキテクチャについて詳しく説明します。 はじめに 自然言語処理の分野において、Transformer[1]の登場以前に一般的に使用されてきたRNN[2]はいくつかの課題を抱えており、その課題を克服する新たな手法として、RNNとは完全に異なるアプローチを取るTransformerが登場しました。し... 続きを読む

NVIDIAとSnowflake、生成AIで提携　企業にSaaS上のデータ利用の独自AIアプリ構築環境提供へ

2023/06/28 7 users NVIDIA Snowflake 生成AI 提携 企業

米NVIDIAは6月27日（現地時間）、SaaS型データウェアハウスを手掛ける米Snowflakeとの提携を発表した。顧客企業が独自のデータを使ってカスタマイズした生成AIアプリを開発するための環境の提供を目指す。 この提携により、Snowflakeの顧客は、NVIDIAの自動音声認識、自然言語処理、テキスト読み上げのAIモデルを構築・... 続きを読む

「オープンサイエンスとオープンソースAIは国益に合致する」とAIプラットフォーム・Hugging FaceのCEOが議会で証言

2023/06/29 7 users 国益 公聴会 証言 CEO 議会

Hugging Faceは主に自然言語処理を対象にしたオープンソースプラットフォームであり、さまざまなAI関連のライブラリやモデルが公開されています。そんなHugging Faceのクレメント・デラングCEOがアメリカ合衆国下院の公聴会に出席し、「オープンサイエンスとオープンソースAIは、アメリカの価値観と国益に合致している」... 続きを読む

生成型大規模言語モデルについての情報発信

2023/06/01 53 users 情報発信 chatgpt 沖縄コンベンションセンター 立場

言語処理学会ではChatGPTに代表される生成型大規模言語モデルについて自然言語処理の専門家の立場から情報発信しています。 緊急パネル：ChatGPTで自然言語処理は終わるのか？（言語処理学会理事会主催）2023年3月14日 沖縄コンベンションセンター また、下に掲載する言語処理の専門家の役割と責任に言及する会長メッセ... 続きを読む

算数や計算が苦手な対話型チャットAIに数学的推論を正しく行わせるには途中のステップをチェックしながら訓練するのがよいとOpenAIが提案

2023/06/01 12 users OpenAI GPT 推論 chatgpt 算数

ChatGPTやGoogle BardなどのチャットAIは、OpenAIのGPTやGoogleのPaLM 2などの大規模言語モデルをベースにしており、人間が書いたものと同じくらい自然な文章で対話を行うことが可能です。しかし、あくまでも言語処理のAIであるため、チャットAIに数学の問題をお願いすると、簡単な計算ミスをしてしまうことがよくありま... 続きを読む

犯人は“ヤツ”──「ポートピア連続殺人事件」が復活　自然言語処理の学習用ソフトとして無料配信へ

2023/04/21 24 users ポートピア連続殺人事件 犯人 ヤツ 復活 学習用

スクウェア･エニックスは、AI技術の学習用コンテンツ「SQUARE ENIX AI Tech Preview: THE PORTOPIA SERIAL MURDER CASE」を無料配信すると発表した。 スクウェア･エニックス（東京都新宿区）は4月21日、AI技術の学習用コンテンツ「SQUARE ENIX AI Tech Preview: THE PORTOPIA SERIAL MURDER CASE」を無料配信すると発表... 続きを読む

SQUARE ENIX AI Tech Preview: THE PORTOPIA SERIAL MURDER CASE

2023/04/21 10 users SERIAL MURDER CASE 堀井雄二 NLP 学習

SQUARE ENIX AI Tech Preview: 『THE PORTOPIA SERIAL MURDER CASE』とは 1983年に日本でリリースされたPC版「ポートピア連続殺人事件」（作：堀井雄二）を通して、 AI技術のひとつである「自然言語処理(NLP)」を学習・体験するソフトウェアです。 1980年頃のPCアドベンチャーゲームは主にキーボードのみで操作する時代... 続きを読む

『ポートピア連続殺人事件』にAIを搭載した技術デモが4月24日にPC（Steam）で無料配信決定。現在のNLP（自然言語処理）とはどのようなものかを体験できる内容に

2023/04/21 165 users NLP Steam アドベンチャー SQUARE ENIX

『ポートピア連続殺人事件』にAIを搭載した技術デモが4月24日にPC（Steam）で無料配信決定。現在のNLP（自然言語処理）とはどのようなものかを体験できる内容に スクウェア・エニックスは4月24日（月）にNLP（自然言語処理）アドベンチャー『SQUARE ENIX AI Tech Preview: THE PORTOPIA SERIAL MURDER CASE』を公開する... 続きを読む

AI搭載版『ポートピア連続殺人事件』が4月24日にSteamで無料配信決定、『THE PORTOPIA SERIAL MURDER CASE』として名作ADVが蘇る スクエニAI部に経緯を訊いた

2023/04/21 687 users Steam SERIAL MURDER CASE 題材 経緯

スクウェア・エニックスは、堀井雄二氏が手掛けた『ポートピア連続殺人事件』を題材に、先端AI技術を搭載したテックプレビュー『SQUARE ENIX AI Tech Preview: THE PORTOPIA SERIAL MURDER CASE』を2023年4月24日にSteamにて無料配信すると発表した。また公式サイトをオープンしている。 AIの一分野である自然言語処理（... 続きを読む

デザイナーの仕事は AI でラクになる？実際に試してみた｜Goodpatch Blog グッドパッチブログ

2023/04/08 23 users ラク デザイナー Goodpatch Blog 実際 金谷

こんにちは。Goodpatch UIデザイナーの金谷です。 最近、ChatGPTで話題沸騰のAI。機械学習、ディープラーニングなどの技術の進歩が著しく、自然言語処理、画像認識、音声認識などの分野で、驚異的な精度と高速な処理能力を発揮しています。 ChatGPTにいろいろな「仕事」をさせる実験が流行っていますが、私自身もAIに負... 続きを読む

ChatGPT と自然言語処理 / 言語の意味の計算と最適輸送

2023/03/18 340 users chatgpt スライド 最適輸送 言語 機械学習

Revisiting Over-smoothing in BERT from the Perspective of Graph 続きを読む

GPT-4との新たな開発体験: AIとペアプロを極める

2023/03/16 10 users GPT-4 okunokentaro 奥野賢太郎 ペアプロ

こんにちは、クレスウェア株式会社の奥野賢太郎 (@okunokentaro) です。本記事では、GPT-4を使った開発体験について語りたいと思います。 2023年3月14日、GPT-4が発表されました。GPT-4とは、OpenAI社が開発した最新のAI技術で、自然言語処理の能力が従来のGPT-3.5と比較して、さらに向上しています。これにより、文章生... 続きを読む