LLM にコードを「差分」で書き換えさせるためのアイデア

2024/06/11 11 users diff ワードカウント SourceMap column

既存の LLM コード生成の問題 LLM は行カウントやワードカウントが苦手。 例えば自分は SourceMap を扱うコードのテストを書かせようとしたが、モックデータの line:column がガバガバな位置を指してまともにテストにならない。行カウント/ワードカウントができないのはつまり diff がうまく生成できない。 これらの問題... 続きを読む

IQ100超えを達成したAIモデルのClaude 3は「いい性格」を持つようにトレーニングされている

2024/06/10 21 users Claude 3 AIモデル IQ100 Claude ベース

元OpenAIのエンジニアが設立したAIスタートアップのAnthropicは、大規模言語モデル(LLM)ベースのチャットAIである「Claude」を開発しており、2024年3月にリリースされた「Claude 3」は推定IQが人間の基準値である「100」を上回ったとして注目を集めています。そんなAnthropicが、「AIモデルに有益な性格特性を持つように... 続きを読む

LayerX、エンタープライズ企業のドキュメントワークを効率化する生成AIプラットフォーム「Ai Workforce」をリリース。日本マイクロソフトと開発・営業で連携

2024/06/10 9 users LayerX エンタープライズ企業 リリース 連携 効率化

LayerX、エンタープライズ企業のドキュメントワークを効率化する生成AIプラットフォーム「Ai Workforce」をリリース。日本マイクロソフトと開発・営業で連携 すべての経済活動のデジタル化を目指す株式会社LayerXは、AI・LLM事業部において、大規模言語モデル（LLM）を用いてドキュメントワークを効率化する、ノーコード... 続きを読む

LLMにまつわる"評価"を整理する

2024/06/06 7 users プロンプト GPT-4o フレーズ 大半 アレ

「LLMの評価」というフレーズを見て、どんなことを思い浮かべるでしょうか？ おそらく大半はLLMモデル自体の評価のことを思い浮かべると思います。新しいモデルが出てきた時に𝕏で見かける「GPT-4o のMMLUベンチマークは89%!」みたいなアレ。 ですが、プロダクト開発にLLMを使っている人の間では、プロンプト等が十分な品... 続きを読む

「大規模言語モデルの開発」に関するまとめ資料　東工大・岡崎教授が公開　全85ページ

2024/05/31 14 users 言語モデル 東工大 開発 まとめ資料 公開

岡崎教授率いる岡崎研究室と、東京工業大学学術国際情報センターの横田理央教授が率いる横田研究室、産業技術総合研究所による合同研究チームは23年12月、LLM「Swallow」を発表。この開発を通して得たノウハウなども紹介している。 関連記事 生成AIを巡る日本の現状は？　東大・松尾教授の考察資料が無料公開　「1年間、... 続きを読む

生成AIを賢くするには「メガプロンプト」がお勧め、ファインチューニングは有害？

2024/05/30 17 users ファインチューニング プロンプト 米OpenAI 生成AI

生成AI（人工知能）の活用においては、大規模言語モデル（LLM）に与えるプロンプト（指示文）の工夫が重要だ。最新の研究で、プロンプトは長く詳細であるほど良好な結果が得られることが分かっており「メガプロンプト（巨大プロンプト）」という言葉すら登場しているほどだ。 LLMに与えるプロンプトというと、米OpenAI（... 続きを読む

【西川和久の不定期コラム】 初心者も簡単！ついにPCで104BのLLMも動かせるようになった！そして巷を騒がせるマルチモーダルも試した

2024/05/29 128 users マルチモーダル 西川和久 不定期コラム 初心者

続きを読む

オープンソースのRAGアプリ「RAGFlow」を試す

2024/05/27 11 users RAGアプリ Rag オープンソース フォーマット 根拠

かなり新し目のフレームワークRAGプラットフォームアプリ RAGFlowとは？ RAGFlowは、深い文書理解に基づいたオープンソースのRAG（Retrieval-Augmented Generation）エンジンである。LLM（大規模言語モデル）を組み合わせることで、様々な複雑なフォーマットのデータから根拠のある引用に裏打ちされた、真実味のある質問... 続きを読む

ゼロからLLMつくりたくなったときに参考になりそうなサイト

2024/05/27 6 users 備忘録 参考 評価 時間

はじめに 「ゼロからLLMつくりたいなー」と思っていますが、なかなか時間がとれないので、いざというとき（？）のために、参考になりそうなサイトをまとめておきます。 個人的な備忘録です。まだ全然作れていないので、どれが良いという評価もできません。 NLP2024チュートリアル 良さそう。 NLP2024-チュートリアル３-... 続きを読む

GPT-4は財務諸表から将来の収益の伸びを予測する点で人間のアナリストよりも優れていることが研究により明らかに

2024/05/27 34 users GPT-4 アナリスト 収益 財務諸表 将来

OpenAIが開発する大規模言語モデル(LLM)の「GPT-4」は、道徳テストで人間の大学生より優れたスコアをたたき出したり、セキュリティ勧告を読むことで実際の脆弱性を悪用できたりと、すでに一部の分野で人間の能力を超えることが示されています。そんなGPT-4が、プロのアナリストに匹敵する精度の財務諸表分析を行えること... 続きを読む

Zodスキーマでプロンプト生成を行い構造化データを自由自在に扱えて、LLMプロダクト開発が圧倒的に効率化した話 - Algomatic Tech Blog

2024/05/23 13 users LLMプロダクト開発 erukiti 構造化データ 効率化

最近はAIエンジニアを名乗ってるerukitiです。フロントエンドもバックエンドも、LLMを触るあれこれもやってるので、「AIエンジニア」くらいを名乗るとちょうどよさそうだなと思ってます。いずれLLM自体の開発なんかもやってるかもしれません。 LLMプロダクトを開発していると、構造化データを作りたいのに、Anthropic Cl... 続きを読む

中国が「習近平思想」に基づいて訓練されたAIモデルを開発

2024/05/23 25 users 習近平思想 AIモデル 中国 開発 sure

中国でインターネットの規制を行っている中国サイバースペース管理局の研究所が、習近平国家主席の政治哲学に基づいた「安全で信頼できる」大規模言語モデル(LLM)を開発しました。 China’s latest answer to OpenAI is ‘Chat Xi PT’ https://www.ft.com/content/43378c6e-664b-4885-a255-31325d632ee9 Sure, why not: Ch... 続きを読む

ファッションドメインにおけるLLMの未知の知識獲得可能性 - DROBEプロダクト開発ブログ

2024/05/23 6 users ハルシネーション 定量 未知 考察 定義

概要 背景・目的 関連研究 事後学習を通じた知識の獲得 未知の知識をどう定義するか 実験 ある情報がLLMにとって新知識であるかの確認 QAデータセット 実験の設定 結果 自作したQAデータセットでの結果 相対的な汎化性能（定量） 相対的な汎化性能（定性） 考察 未知の知識の定義の難しさ ハルシネーションの対策の難し... 続きを読む

AIの仕組みであるLLMの「ブラックボックス」の内部を見てどのニューラルネットワークが特定の概念を呼び起こすかを知る試みをAnthropicが解説

2024/05/22 12 users Claude Research ニューラルネットワーク 本体

チャットAI「Claude」などを開発するAI企業「Anthropic」がAIモデルの内部動作について、何百万もの概念がどのように表現されているかという研究結果を報告しました。 Mapping the Mind of a Large Language Model \ Anthropic https://www.anthropic.com/research/mapping-mind-language-model AIモデルの本体である大... 続きを読む

GPT-4oとPhi-3でLLMとSLMの双方を取り込むMicrosoftのAI戦略

2024/05/21 18 users SLM Phi-3 GPT-4o Microsoft 双方

続きを読む

M1MacでOllamaを試したら爆速で驚いた

2024/05/18 158 users Ollama 爆速 CUDA MacOS 推論

はじめに いつもNVIDIAが載っているWindowsで楽しくLLMを動かしたり生成AIライフを楽しんでいますが、今回はMacOSでOllamaを入れてLlama3を動かしてみました。 スペック： Apple M1 Pro(16 GB) 少し前だとCUDAのないMacでは推論は難しい感じだったと思いますが、今ではOllamaのおかげでMacでもLLMが動くと口コミを見かけ... 続きを読む

1000億パラメータのLLM、AIスタートアップが公開　フルスクラッチで開発　「ハルシネーションを大幅抑止」

2024/05/16 9 users フルスクラッチ ハルシネーション ウソ 現象 言語モデル

AIスタートアップ企業のストックマーク（東京都港区）は5月16日、1000億パラメータ規模の大規模言語モデル（LLM）を開発したと発表した。「Stockmark-LLM-100b」と名付けられたこのLMは、同社がフルスクラッチで開発したものでハルシネーション（AIがもっともらしいうそをつく現象）を大幅に抑えているのが特徴という。 ... 続きを読む

新しい「ChatGPT」はココがすごい　解説「GPT-4o」

2024/05/15 8 users chatgpt オンラインプレゼンテーション GPT-4o

OpenAIは5月13日（現地時間）、「Spring Update」と題したをオンラインプレゼンテーションを配信。新しい大規模言語モデル（LLM）「GPT-4o（オー）」お披露目のほか、mac OS用デスクトップアプリや各種無料化施策なども発表した。 テキスト理解力は過去最高 GPT-4oは、これまでのフラッグシップモデル「GPT-4 Turbo」と... 続きを読む

GoogleのAIに匹敵するオープンソースのAIモデル「Falcon 2」をUAEがリリース

2024/05/14 6 users UAE Meta リリース AIモデル オープンソース

アラブ首長国連邦の政府系研究機関であるテクノロジーイノベーション研究所(TII)が2024年5月13日に、MetaのLlama 3 8Bを上回り、GoogleのGemma 7Bと同等のパフォーマンスを持つオープンソースの大規模言語モデル(LLM)の「Falcon 2」を発表しました。 Falcon 2: UAE’s Technology Innovation Institute Releases New AI M... 続きを読む

OpenAI が新たな無料モデル GPT-4o とデスクトップ版 ChatGPT を発表ーーアプリはまるで人間と会話するような反応速度に - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報

2024/05/13 11 users OpenAI chatgpt Bridge Windo ＣＴＯ

本日、OpenAIの最高技術責任者（CTO）であるMira Murati（ミラ・ムラティ）氏は、Spring Updatesイベントで、新しい強力なマルチモーダル基礎大規模言語モデル（LLM）であるGPT-4o（GPT-4 Omniの略）を発表した。これは今後数週間で全ての無料ChatGPTユーザーに提供され、MacOS用のChatGPTデスクトップアプリ（後にWindo... 続きを読む

オープンＡＩ、新たな旗艦ＡＩモデル発表-「ＧＰＴ－４Ｏ」

2024/05/13 10 users GPT-4o オープンAI chatgpt GPT-4モデル

対話型人工知能（ＡＩ）「ChatGPT」を開発した米オープンＡＩは、ＧＰＴ－４モデルをアップデートした「ＧＰＴ－４Ｏ（オー）」を発表した。スピードアップと低価格を実現したという。 13日のライブ配信イベントで披露された新しい大規模言語モデル（ＬＬＭ）、ＧＴＰー４Ｏは膨大な量のデータをインターネットから取り... 続きを読む

まるで“いけない話ができるChatGPT”　ローカルAI「Command R+」の爆発的な可能性 (1/5)

2024/05/12 306 users chatgpt ローカルAI Command R GPT-4

筆者の環境で、LM StudioでCommand R+を動作させている様子。会話相手は自作キャラクターの「明日来子（あすきこ）さん」 PCローカル環境で動作する大規模言語モデル（LLM）「Command R+」を使っていますが、相当優秀ですね。体感ではChatGPT（GPT-4）と変わらないレベル。さらに、ChatGPTが回答を拒絶するような会話も... 続きを読む

まるで“いけない話ができるChatGPT”　ローカルAI「Command R+」の爆発的な可能性（アスキー） - Yahoo!ニュース

2024/05/12 21 users chatgpt アスキー ローカルAI Yahoo GPT-4

PCローカル環境で動作する大規模言語モデル（LLM）「Command R+」を使っていますが、相当優秀です。体感ではChatGPT（GPT-4）と変わらないレベル。さらに、ChatGPTが回答を拒絶するような会話もできてしまいます。 【もっと写真を見る】 PCローカル環境で動作する大規模言語モデル（LLM）「Command R+」を使っていますが... 続きを読む

Fugaku-LLMをollamaで利用する

2024/05/11 8 users Fugaku-LLM Ollama 国産LLM WSL上 手順

国産LLMであるFugaku-LLMが2024-05-10に公開されました。 LLMのチャットアプリとしてインストールが簡単で人気のollamaに、Fugaku-LLMのモデルを登録して使うことができたので、その手順を紹介します。 動作確認環境 OS Ubuntu 22.04 Desktop および WSL上のUbuntu-22.04 ollama v0.1.34 （2024-05-10時点の最新バージョ... 続きを読む

15歳の高校生、「日本語能力最強」のAIモデル開発　AITuber向けに設計

2024/05/10 15 users 設計 高校生 15歳 AITuber 最強

15歳で現役高校生の開発者「Holy-fox/子狐」氏は5月9日、パラメーター数7Bクラスとしては日本語能力が最強となる大規模言語モデル（LLM）「ArrowPro-7B-KUJIRA」を公開した。 「AItuberの魂」になることを想定 7Bにおいて日本語能力最強のモデル、ArrowPro-7B-KUJIRAができました。Elyza-task100においては約3.8をマーク... 続きを読む