GoogleがLLMで「非構造化文書」高精度テキスト抽出OCR『LMDX』発表。Bardを強化する可能性 | AIDB

2023/09/28 12 users Bard AIDB OCR レシート テキスト

ホーム AI論文紹介, OCR, 大規模言語モデル GoogleがLLMで「非構造化文書」高精度テキスト抽出OCR『LMDX』発表。Bardを強化する可能性 マイページに保存最終更新日：2023/09/28 Googleは、非構造化文書（例えばレシートなど）から高精度にテキストを抽出するOCR（Optical Character Recognition）技術『LMDX（Language M... 続きを読む

【西川和久の不定期コラム】 340億パラメータのLLMは手元のPCで動く？Metaの「Code Llama 34B」を試してみた！

2023/09/28 10 users Meta 西川和久 Code Llama 不定期コラム 手元

続きを読む

セキュリティチェックシートに回答する“つらみ”はLLMで解消　セキュリティ担当者に「本格運用できるんじゃない？」と言わせた仕組み

2023/09/27 10 users セキュリ 知見 登壇 つらみ 実例

LLMを活用したサービスを社内外でリリース・運用した経験のある3社のエンジニアが登壇し、実運用を経たからこそ見えた課題やその解決策、運用を見据えた設計・実装の知見などについて語る「LLM in Practice -3社の実例から見るLLM活用サービスを運用した課題と学び -」。ここで株式会社LayerXの白井氏が登壇。「セキュリ... 続きを読む

Azure OpenAI Service リファレンスアーキテクチャからみる本番システムレベルの LLM アプリに必要な検討項目の解説 / From Azure OpenAI Reference Architecture to Production-Ready LLM Apps #serverlessdays #serverlesstokyo

2023/09/25 16 users ser ticket serverlessdays.io

ServerlessDays Tokyo 2023 で Azure OpenAI Service リファレンスアーキテクチャからみる、本番システムレベルの LLM アプリに必要な検討項目の解説 / From Azure OpenAI Reference Architecture to Production-Ready LLM Apps というタイトルで紹介しました HP: https://tokyo.serverlessdays.io/ Ticket: https://ser... 続きを読む

LLMを用いたLLMの自動評価について 〜可能性と注意点〜 - NTT Communications Engineers' Blog

2023/09/25 92 users イノベーションセンター GitHub 兼務 杉本 傍ら

こんにちは、イノベーションセンターの杉本（GitHub：kaisugi）です。普段はノーコードAI開発ツール Node-AI の開発に取り組む傍ら、兼務1で大規模言語モデル（LLM:Large Language Model）について調査を行なっています。特に、日本語を中心に学習された LLM への関心があり、awesome-japanese-llm という日本語 LLM を... 続きを読む

ChatGPTは史上最高の小説家になりうるーーSF作家 樋口恭介が考える、生成AIの知性

2023/09/23 12 users chatgpt 樋口恭介 知性 生成AI SF作家

樋口恭介『構造素子』（早川書房） 文章、画像、音楽、動画など幅広い分野の生成AIがあるなか、とりわけ昨今注目が集まっているのはChatGPTだ。インターネット上の大量のテキストデータを学習した、いわゆる大規模言語モデル（LLM）で、ユーザーがチャットで質問や指示を投げかけると、高精度の回答をまるで人間であるか... 続きを読む

RAG is more than just embedding search - Instructor (openai_function_call)

2023/09/22 13 users Rag search models topic stack

RAG is more than just embedding search With the advent of large language models (LLM), retrival augmented generation (RAG) has become a hot topic. However throught the past year of helping startups integrate LLMs into their stack I've noticed that the pattern of taking user queries, embedding the... 続きを読む

GPTなどの大規模言語モデルは脳科学・記号論・言語学の観点で驚くほど良くできている｜梶谷健人 / Kent Kajitani

2023/09/21 9 users GPT Kent Kajitani 比べ物 記号論 観点

大規模言語モデルの優秀さの秘訣ChatGPTなどに代表されるサービスで採用されている大規模言語モデル（LLM）によって、AIは今までとは比べ物にならないくらい自然な対話ができるようになった。 なぜLLMでは自然な対話ができるかというとその秘訣の1つは、LLMは大量のテキストを学習する際に、文章内の単語を「ベクトル（... 続きを読む

動き出した「日の丸LLM」研究開発プロジェクトの"中身"――日本学術会議の講演から探る

2023/09/19 11 users chatgpt 講演 中身 日本学術会議 前面

動き出した「日の丸LLM」研究開発プロジェクトの"中身"――日本学術会議の講演から探る：Weekly Memo（1/2 ページ） 生成AIの基盤技術であるLLMの開発競争が注目される中で、「日本語力」を前面に押し出す「日の丸LLM研究開発プロジェクト」が本格的に始動した。その中身と可能性は――。 「ChatGPT」に代表される生成AIの基... 続きを読む

「LLMはタスク処理エンジンにすぎない」　日本マイクロソフト・エバンジェリストが語る“生成AI時代のエンジニア”に求められる能力

2023/09/15 5 users エバンジェリスト エンジニア 生成AI時代 能力

「Generative AI 時代のサービス開発者への道」というタイトルで登壇したのは、日本マイクロソフト株式会社・大森彩子氏。Generative AIの歴史、サービス開発にGenerative AIを活用するための心構えとTipsを日本CTO協会が主催の「Developer eXperience Day 2023」で発表しました。全3回。3回目は、サービス開発におけるL... 続きを読む

えっ、まだChatGPT使ってんの？ - Qiita

2023/09/13 591 users Qiita chatgpt chat キャッチー 焦点

はじめに こんなキャッチーなタイトルをしていますが、私はChatGPTを悪く言う意図は全くありません。もちろん、ChatGPTは非常に優れた製品ですし、実際に、世界はChatGPTによって大きく変わりました。 LLMを大きく普及させたの先駆者として、とても偉大な存在です。 今回は、利用料金に焦点を当てた話になります。 Chat ... 続きを読む

LLMのファインチューニングで事実の学習ができないのは本当か？ちょっと実験してみた

2023/09/14 18 users ファインチューニング BOb シェイクスピア 実験 学習

三行要約 LLM のファインチューニングでは事実の学習ができないという話があったので、事実の学習の例として、シェイクスピアのRomeoをBobに置き換える実験を行った 実験では、訓練対象とする層による結果の違いを確認した。アテンション層のみを訓練した場合は、Bobへの置き換えはできなかった。一方、全結合層を含めて... 続きを読む

「ChatGPT-4」対応の仏教AIチャットボット「親鸞ボット」「世親ボット」開発--京都大学など

2023/09/13 15 users ChatGPT-4 仏陀 親鸞 ブッダ 仏教経典

京都大学とテラバースの研究チームは、仏教聖人である親鸞（しんらん）および世親（せしん）と対話できるAIボット「親鸞ボット」「世親ボット」を、Open AIの大規模言語モデル（LLM）「ChatGPT-4」を利用して開発した。 同研究チームは以前、仏教経典「スッタニパータ」と「ダンマパダ」を学習させた、「仏陀（ブッダ）... 続きを読む

LLMが巡回セールスマン問題などの最適化問題を解く〜自分自身で優れたプロンプトを作成＆活用〜 | AIDB

2023/09/12 6 users AIDB プロンプト 言語 手法 巡回セールスマン問題

マイページに保存最終更新日：2023/09/12 Google DeepMindの最新研究によれば、Large Language Models（LLM）が最適化問題を解決する新たな手法として利用できる可能性が示されました。この研究は、自然言語を用いて最適化タスクを説明し、それに基づいてLLMが新しい解を生成するという方法を提案しています。 さらに、L... 続きを読む

GitHubが「GitHub Copilot」開発で得た教訓、LLMアプリケーション開発のベストプラクティスとは

2023/09/12 6 users GitHub ベストプラクティス 教訓 開発 アプリケーション

GitHubが「GitHub Copilot」開発で得た教訓、LLMアプリケーション開発のベストプラクティスとは：開発から公開までに3年、何に取り組んでいたのか GitHubは、「GitHub Copilot」の開発から公開における同社の経験を振り返り、個人と企業の両方に大きな価値を提供するLLM（大規模言語モデル）アプリケーションの開発に役... 続きを読む

LLM で長文から構造化データを抽出する - DROBEプロダクト開発ブログ

2023/09/12 18 users DROBE 都筑 長文 手法 ユースケース

はじめに こんにちは、DROBE の都筑です。 みなさん LLM 使っていますか。今回は LLM を利用して長文から構造化データを抽出する手法について記載します。 構造化データの抽出 LLM を利用して構造化データを抽出することを Extraction と呼びます。 Extraction は以下のようなユースケースが考えられます。 テキスト情報... 続きを読む

FMOps/LLMOps：生成系 AI の運用と MLOps との違い | Amazon Web Services

2023/09/08 5 users MLOps 生成系 運用 ソリューション 言語モデル

Amazon Web Services ブログ FMOps/LLMOps：生成系 AI の運用と MLOps との違い 最近、多くのお客様は大規模言語モデル (Large Language Model: LLM) に高い期待を示しており、生成系 AI がビジネスをどのように変革できるか考えています。しかし、そのようなソリューションやモデルをビジネスの日常業務に持ち込むこと... 続きを読む

なぜ日本はGPUのない「富岳」でLLMを研究するのか　外国に後れを取らないための“現実的な理由”

2023/09/11 34 users GPU スパコン GPT-4 米OpenAI 富岳

日本では今、スパコン「富岳」を使ってLLMの研究・開発を進めている。深層学習においてはGPUを使うのが一般的だが、なぜGPUのない富岳を使うのか。そこには現実的な理由があった。 米OpenAIの大規模言語モデル（LLM）・GPT-4は今、世界を大きく塗り替え続けている技術の一つだ。世界各国の企業がこぞってLLMの開発を進め... 続きを読む

プロンプトエンジニアリングから始めるLangChain入門講座　大嶋勇樹氏が教える、OpenAIのモデルとAPIの使い方

2023/09/04 8 users OpenAI API プロンプトエンジニアリング 登壇 モデル

LLMに狙いどおりの動きをさせるために内部で使われているプロンプトエンジニアリングから、LangChainに入門する「プロンプトエンジニアリングから始めるLangChain入門」。ここで大嶋勇樹氏が登壇。まずは、LLM・OpenAIの概要と、文章生成のためのアプリケーションを開発する場合のAPIについて解説します。 大嶋氏の自己... 続きを読む

推論能力をさらに強める戦略『AoT』で、LLMが「直感」に似た能力を示すようになった | AIDB

2023/08/30 6 users ＤＦＳ アルゴリズム 探索アルゴリズム AOT AIDB

既存アルゴリズムの応用 AoTは、既存の探索アルゴリズムを巧妙に応用しています。具体的には、深さ優先探索（DFS）や幅優先探索（BFS）のようなアルゴリズムを模倣し、それを基に新しい探索戦略を構築しています。 これにより、AoTは問題解決において非常に柔軟なアプローチを取ることができます。例えば、DFSを用いるこ... 続きを読む

LLMのファインチューニング で 何ができて 何ができないのか｜npaka

2023/08/28 134 users ファインチューニング OpenAI npaka ファイン 出力

LLMのファインチューニングで何ができて、何ができないのかまとめました。 1. LLMのファインチューニングLLMのファインチューニングの目的は、「特定のアプリケーションのニーズとデータに基づいて、モデルの出力の品質を向上させること」にあります。 OpenAIのドキュメントには、次のように記述されています。 ファイン... 続きを読む

ゼロからはじめるPython(106) プログラム生成AIのCodeLlamaを手元のPCでも動かしてみよう

2023/08/26 14 users Python Meta プログラ chatgpt 手元

ChatGPTを筆頭にした「大規模言語モデル(LLM)」と呼ばれるAIが話題に上らない日はない。このAIが得意なタスクには「プログラムの自動生成」が挙げられるが、Metaからプログラム生成に特化したCodeLlamaが商用利用可能なオープンなライセンスでリリースされた。そこで実際に使ってみよう。 CodeLlamaで素数判定のプログラ... 続きを読む

Google、LLMの「PaLM 2」と「Codey」で日本語をサポート

2023/08/23 13 users Codey goo 年次カンファレンス 基調講演 言語モデル

米Googleは8月22日、東京で開催したイベント「Generative AI Summit」の基調講演で、大規模言語モデル（LLM）の「PaLM 2」を日本語で利用できるようにしたと発表した。 PaLM 2は、5月に開催された年次カンファレンス「Google I/O 2023」で発表され、日本でも利用可能になっていたが、日本語には対応していなかった。 Goo... 続きを読む

松尾研、公開したLLMの「オープンソース」記述を削除　X（Twitter）で指摘相次ぐ

2023/08/22 46 users 定義 主宰 言語モデル 松尾研究室 商用利用不可

東京大学院工学系研究科・松尾研究室は、「オープンソース」として8月18日に公開した大規模言語モデル「Weblab-10B」について、「商用利用不可のため定義に当てはまらない」としてオープンソースの記述を削除した。 東京大学院工学系研究科・松尾研究室（主宰：松尾豊教授）は8月22日、「オープンソース」として18日に公... 続きを読む

Googleが「大規模言語モデルに視覚を与える仕組み」について解説、メルカリと協力して作成したデモも公開

2023/08/22 9 users メルカリ 視覚 デモ 言語モデル Google

Googleが、大規模言語モデル(LLM)に「視覚」を持たせた「大規模視覚モデル(LVM)」のデモを公開すると同時に、LVMの仕組みについての解説記事を投稿しました。 Multimodal generative AI search | Google Cloud Blog https://cloud.google.com/blog/products/ai-machine-learning/multimodal-generative-ai-search?hl=en ... 続きを読む