LLMの要約結果を評価する

2024/12/10 16 users 躍進 Magic Moment 昨今 エージェント 研究

この記事は Magic Moment Advent Calendar 2024 7 日目の記事です。 Magic Moment の @tdoi です。 2024年1月にジョインし、Magic Moment の製品開発を担当しております。 学生時代に、マルチエージェントシステムに関する研究に従事していました。 昨今、LLM の躍進によって、エージェントという言葉を見聞きすることが... 続きを読む

UbieにおけるLLMを活用した不具合分析とテスト戦略立案プロセス

2024/12/09 9 users Ubie QAエンジニア スクラムマスター テスト戦略 アプリ

こんにちは、UbieでQAエンジニアをしている ackey です。 今年の10月からアプリチームのスクラムマスターとQAエンジニアを兼務していましたが、12月からアプリのテスト戦略&推進を進めるため、QAエンジニアに専念しています。 本記事では、LLMを活用した不具合分析とそれに基づくテスト戦略の立案プロセスについて紹介し... 続きを読む

LLMと数理最適化を組み合わせる

2024/12/09 7 users Ubie 生成AI Advent Calendar 進化 分野

本エントリは Ubie 生成AI Advent Calendar 2024 の9日目の記事です。LLMの進化が目覚ましいですが、現状ではLLM単体では対応が難しい課題も多く存在します。そこで重要になるのが、LLMと他のツールとの連携です。 本記事では、LLMで不得意な分野を埋めるツールの一つとして数理最適化との連携方法について、自分の試し... 続きを読む

「Xのアルゴリズム」は数日であなたの政治的意見を変えられる――米スタンフォード大が1000人以上で検証

2024/12/08 657 users アルゴリズム 米スタンフォード大 検証 あなた フィード

研究チームは、大規模言語モデル（LLM）を活用し、政治的に分極化をもたらす可能性のあるコンテンツへの影響を調べるため、リアルタイムでXのフィードを再ランク付けするアプローチを開発し、ユーザーへの影響を調査した。 実験では、Xのユーザー1256人の協力を得て10日間実施。ブラウザ拡張機能を使用してフィードをリ... 続きを読む

LLMを悩ませる"Excel文書"をうまく扱う方法

2024/12/08 97 users Rag シロクマ チャットボット Excel文書 ドキュメント

はじめに 株式会社ファースト・オートメーションCTOの田中(しろくま)です！ 弊社では製造業向けのRAGを使ったチャットボットの開発を行っていますが、 RAGで読み取りづらいなと感じているドキュメントが"Excel文書"です。 LLMを悩ませる"Excel文書"とは ここで"Excel文書"と呼んでいるドキュメントは、 「構造化されたテ... 続きを読む

OpenAIとApollo Research、「o1」は自分の目的のために嘘をつくと報告

2024/12/06 14 users OpenAI 推論タスク 米OpenAI 連鎖 目的

米OpenAIとAI安全性の研究組織である米Apollo Researchは12月5日（現地時間）、OpenAIが同日公式版をリリースしたLLMの「o1」についての考察を発表した。いずれも、o1に関して幾つかの懸念事項を指摘している。 o1は、OpenAIが9月に発表したLLM。回答を生成する前に思考の連鎖を生み出すことで、複雑な推論タスクを実行... 続きを読む

第841回　ローカルLLMの実行ツール「Ollama」のGUIフロントエンド、Alpacaを使用して生成AIを使用する | gihyo.jp

2024/12/04 11 users Alpaca Ollama ローカルLLM gihyo.jp

Ubuntu Weekly Recipe 第841回ローカルLLMの実行ツール「Ollama」のGUIフロントエンド⁠⁠、Alpacaを使用して生成AIを使用する 今回は、ローカルLLMの実行ツール「Ollama」のフロントエンド、Alpacaを紹介します。 Alpacaとは Ollamaに関しては第825回で紹介しました。そこではフロントエンドとして、Open WebUIを使いまし... 続きを読む

LLMの思考の性能をモンテカルロ木探索で引き上げる

2024/12/04 12 users 須藤英寿 タスク モンテカルロ木探索 数学 チャット

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しております。 今回は、推論ステップをモンテカルロ木探索を用いて導き出し、複雑なタスク(例えば、数学の問題を解くなど)での性能を大幅に引き上げる手法、「HiAR-ICL」について解説します。 ... 続きを読む

vLLMで独自実装モデルを高速推論させる

2024/12/04 9 users vLLM Llama Qwen サービング ライブラリ

はじめに チューリング生成AIチームの荒居です。 この記事は生成AIアドベントカレンダー2024の4日目の記事です。 この記事では、動画生成モデルを題材に、vLLMを用いて独自のマルチモーダルモデルを推論させる方法について解説します。vLLMはLLMの高速推論・サービングのライブラリで、LlamaやQwenなどの有名なモデルに... 続きを読む

突撃！隣のキーボード！〜 2024年冬 ニーリー Ver. 〜 - Nealle Developer's Blog

2024/12/03 22 users Nealle Developer 突撃 キーボード ニーリー

こんにちは！ニーリーアドベントカレンダー2024 3日目担当のSREチームの宮後(@miya10kei)です。 最近、LLMと格闘する日々を送っています🤼‍♀️ 企業テックブログで散々こすられた企画「突撃！隣のキーボード！ 」ですが、ニーリーもテックブログをはじめたのにまだこすってないではないか😤、、、ということに気づいたので今... 続きを読む

生成AIは「意味」を理解しているのか？「ノリ」で喋れるLLMに、決定的に欠けているものとは | レバテックラボ（レバテックLAB）

2024/12/03 72 users レバテックラボ レバテックLAB 谷口 生成AI 工学

生成AIは「意味」を理解しているのか？「ノリ」で喋れるLLMに、決定的に欠けているものとは 2024年12月3日 京都大学大学院情報学研究科教授／立命館大学総合科学技術研究機構　客員教授 谷口 忠大 1978年生まれ。京都大学工学研究科博士課程修了、博士（工学）。専門は人工知能、創発システム、認知発達ロボティクス、コ... 続きを読む

マルチモーダルLLMで複雑な画像を攻略：AOAIでGPT-4oをFine-tuning - Insight Edge Tech Blog

2024/12/02 13 users マルチモーダルLLM Fine-tuning 藤村 昨今 実務

はじめに Insight EdgeのLLM Engineerの藤村です。 昨今、企業のDX推進に伴い、社内に蓄積された大量の画像データや文書の効率的な活用が求められています。弊社では、実務でLLMを活用する際、画像や表形式、複雑な図を含むドキュメントの理解が大きな課題となっています。この課題は多くの企業でも同様に直面していると... 続きを読む

2.5兆トークンを学習したOSSのコード生成LLM「OpenCoder」公開　プロジェクトが明す、コードLLM構築に重要な3要素とは

2024/12/01 13 users OSS プロジェクト 再現 ３要素 性能

OpenCoderプロジェクトは2024年11月8日（米国時間）、オープンソースソフトウェア（OSS）のLLM（大規模言語モデル）、「OpenCoder」を公開した。同プロジェクトは以下のように説明している。 OpenCoderは、トップクラスのコード生成LLMの性能に匹敵する、オープンで再現可能なコードLLMファミリーだ。本プロジェクトでは... 続きを読む

日本語に特化したOCR、文書画像解析Pythonパッケージ「YomiToku」を公開しました｜Kotaro.Kinoshita

2024/11/26 1327 users YomiToku OCR Rag メインターゲット 記号

はじめに最近、LLMへのRAGを用いた文書データの連携等を目的に海外を中心にOCRや文書画像解析技術に関連する新しいサービスが活発にリリースされています。 しかし、その多くは日本語をメインターゲットに開発されているわけではありません。日本語文書は、英数字に加えて、ひらがな、漢字、記号など数千種類の文字を識... 続きを読む

日本語のAIで使う大規模言語モデル性能を評価する「オープン日本語LLMリーダーボード」公開

2024/11/26 15 users 日本語 公開 LLM-jp NLP タスク

16種類以上のNLP(自然言語処理)タスクを用いて日本語の大規模言語モデル(LLM)の性能評価と分析を行う「オープン日本語LLMリーダーボード」が公開されました。構築には国立情報学研究所をはじめとする日本語LLMの研究開発を行う組織横断プロジェクト「LLM-jp」が携わっています。 Open Japanese LLM Leaderboard - a Hugg... 続きを読む

LLMとコンピュータビジョンでブラウザベースのワークフローを自動化できる「Skyvern」を使ってみた、コードと違ってウェブサイトが変わる度に書き直す必要無し

2024/11/24 5 users ブラウザベース テキスト 構造 有料 ワークフロー

SkyvernはテキストでAIに指示することでブラウザを使用するワークフローを自動化してくれるツールです。コードで自動化する場合と異なり、多少ウェブサイトの構造が変わっても問題なく対応可能なのが特徴です。有料のサービスであるものの、記事作成時点ではアカウントを作成すると5ドル(約770円)分のクレジットが付与さ... 続きを読む

OpenAIの蒸留機能(Model Distillation)を使って運用中のLLMのコストを削減する取り組み

2024/11/19 11 users OpenAI コスト 運用中

私たちは以前にもGPT-4o-miniをファインチューニングして運用しているというお話をシェアして大きな反響いただきました。 上の記事では、GPT-4oの出力を人手で修正（アノテーション）して、GPT-4-miniをファインチューニングする運用をご紹介していますが、蒸留はGPT-4oの出力をそのまま使用するのが大きな違いです。 ま... 続きを読む

MicrosoftのGraphRAG+Neo4jで簡単にKnowledge Graphを可視化する - Taste of Tech Topics

2024/11/19 26 users Knowledge Graph Microsoft 可視化

こんにちは。データサイエンティストチームYAMALEXのSsk1029Takashiです。 LLMが広く使用されるようになってから、RAGに関する研究も増加し、RAGを拡張する手法の研究も多く出ました。 その中でもテキストをグラフデータとして扱いRAGの元データとする手法をGraphRAGと言います。 今回はその中の一つであるMicrosoftが提... 続きを読む

Large Vision Language Model (LVLM) に関する最新知見まとめ (Part 1)

2024/11/18 5 users 知見 続編 焦点 エンコード方法 Part 1

本資料では、大規模視覚言語モデル (LVLM) に関する最新の知見を包括的にまとめて紹介しています。 Part 1 では、「画像エンコーダ」と「大規模言語モデル (LLM)」の接続方法及び、画像のエンコード方法に焦点を当てて解説しています。 （続編の Part 2 では、学習データに焦点を当てて解説… 続きを読む

LLMの概念空間の構造解明：脳のような機能別「領域」仮説　MITの研究チームが発表 | Ledge.ai

2024/11/16 142 users Ledge.ai 領域 構造解明 研究チーム 発表

サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。 続きを読む

マルチモーダル / AI Agent / LLMOps 3つの技術トレンドで理解するLLMの今後の展望

2024/11/14 24 users agent マルチモーダル 登壇 見解 予測

最近登壇で使っていたLLM関連技術の今後について触れた50ページほどの資料を公開します。 (予測や展望は個人の見解を多分に含む点をご容赦ください。) 細かい技術説明というよりみんな気になるAgent、LLMOps周りの実際に立ち向かって死にかけた経験を赤裸々に書いた感じです。取り組む前にこの屍を… 続きを読む

AIへの「ビジュアルプロンプトインジェクション」攻撃とは何か？

2024/11/14 17 users 攻撃 プロンプトインジェクション チャットボットAI

大規模言語モデル(LLM)のセキュリティを研究するスタートアップ・Lakeraのエンジニアであるダニエル・ティンブレル氏が、画像認識も可能なチャットボットAIに対する「ビジュアルプロンプトインジェクション」攻撃について解説しています。 The Beginner's Guide to Visual Prompt Injections: Invisibility Cloaks, Cann... 続きを読む

オープンソースのコーディング支援AI「Qwen2.5-Coder」シリーズの性能はGPT-4oに匹敵、64GBのRAM＆M2搭載MacBook Proでもローカル実行可能

2024/11/14 15 users 匹敵 GPT-4o コーディング支援AI ローカル実行 性能

中国・Alibabaグループが開発する大規模言語モデル(LLM)「Qwen」の研究チームが、コード生成や補完、数学の推論タスクに特化したLLM「Qwen2.5-Coder」の新モデルを2024年11月12日にリリースしました。Qwen2.5-Coderのコーディング機能はGPT-4oに匹敵し、パラメータ数も最大320億で、M2搭載MacBook Pro上でも実行できたこ... 続きを読む

自治体を苦しめてきた「オープンデータ公開」　負担軽減へ生成AIが秘める可能性とは？

2024/11/13 8 users 生成AI 負担軽減 自治体 可能性 Anthropic

自治体を苦しめてきた「オープンデータ公開」　負担軽減へ生成AIが秘める可能性とは？（1/4 ページ） こんにちは。全国の自治体でデジタル化をサポートしている川口弘行です。 生成AIは大手3社（OpenAI、Google、Anthropic）の他にも、魅力的なAIサービスを提供している事業者が数多くあります。AIモデル（LLM）の開発で... 続きを読む

25グラムの「AIレコーダー」が“仕事”を激変させる？　サッと録音→GPT-4oですぐ要約　話題のガジェットを使ってみた

2024/11/13 18 users 要約 GPT-4o AIレコーダー ガジェット 録音

2024年12月、ウェアラブル型の“AIデバイス”が日本に上陸する。生成AIとボイスレコーダーを組み合わせた米Nicebuildの「PLAUD NotePin」（プラウド ノートピン）だ。本体価格は2万8600円。腕時計やピンバッジのように身に着けて会話を録音し、米OpenAIの大規模言語モデル（LLM）「GPT-4o」と連携して文字起こしや要約がで... 続きを読む