Apple、iPhoneでも稼働するオープンな言語モデル「OpenELM」を公開

2024/04/25 16 users iPhone ELM Apple パラメータ パラメータ数

米Appleの研究者らは4月24日（現地時間）、オープンソースの言語モデル「OpenELM」（ELMはEfficient Language Model、効率的な言語モデルの略）をHugging Faceで公開した。 パラメータ数の異なる4つのモデルがある。小さいものから、2億7000万、4億5000万、11億、30億（パラメータとは、意思決定でモデルがトレーニング... 続きを読む

LEIA: 言語間転移学習でLLMを賢くする新しい方法

2024/04/24 18 users LLM Studio Ousia 訓練 言語 理化学研究所

Studio Ousiaと理化学研究所に所属している山田育矢です。 この記事では、大規模言語モデル（LLM）の性能を向上させる新しい方法であるLEIA（Lightweight Entity-based Inter-language Adaptation）を紹介します。 LLMは言語によって性能に顕著な差があり、訓練に使われるテキストが最も多い英語において特に性能が高い... 続きを読む

言語モデルを高位合成でFPGAに実装してみた

2024/04/24 10 users FPGA LLM 高位合成 内山 Generative AI

言語モデルを高位合成でFPGAに実装してみた Turing株式会社のリサーチチームでインターンしているM1の内山です。 Turing株式会社では大規模基盤モデルによる完全自動運転を目指しており、その実現に欠かせない技術として大規模言語モデルの研究開発を行っています。 Generative AI LLMの広範な知識と思考能力に加え、視... 続きを読む

NEC、世界トップレベル性能の高速な大規模言語モデル (LLM) cotomi Pro / cotomi Light を開発

2024/04/24 11 users LLM cotomi アーキテクチャ NEC 生成AI

NECは、LLM(Large Language Model：大規模言語モデル)「cotomi(注1)」のラインアップ拡充のため、学習データやアーキテクチャを刷新した「cotomi Pro」「cotomi Light」を開発しました。 昨今の生成AIの急速な発展に伴い、様々な企業や公共機関が、LLMを活用した業務変革の検討・検証を進めています。具体的な活用シーン... 続きを読む

経済情報特化の生成AI、日経が開発　40年分の記事学習 - 日本経済新聞

2024/04/24 34 users 生成AI 指標 パラメーター数 人工知能 日経

日本経済新聞社は24日、経済情報に特化した生成AI（人工知能）の基盤技術を開発したと発表した。大規模言語モデルと呼ばれるもので、約40年分の日経グループの新聞や雑誌の記事を学習させた。記事の要約機能などで活用を見込む。大規模言語モデルの名称は「NIKKEI Language Model」。性能の指標となる「パラメーター数」... 続きを読む

NEC、クラウド不要の生成AI提供　機密情報を社内で管理　【イブニングスクープ】 - 日本経済新聞

2024/04/23 16 users イブニングスクープ NEC クラウド LLM 機密情報

NECは企業向けに新たな生成AI（人工知能）サービスを6月に始める。NEC製のサーバーとセットで提供することで、機密性の高いデータを社外に出さず、社内で運用を完結できるようにする。個人情報を扱う金融機関やコンタクトセンターなどの需要を見込む。生成AIの基盤となる新型の大規模言語モデル（LLM）「cotomi Light（... 続きを読む

「GPT-4」を上回る性能で、グラフィカルな文書を読解するLLM技術

2024/04/23 10 users GPT-4 文書 LLM 性能 tsuzumi

「GPT-4」を上回る性能で、グラフィカルな文書を読解するLLM技術：NTTの「tsuzumi」にも採用 NTTは2024年4月12日、大規模言語モデル（LLM）の活用により、文書に含まれる図表やグラフなども含めて理解し、自然言語での指示に従って読解／応答する「視覚読解技術」を実現したと発表した。 NTTは2024年4月12日、大規模言語... 続きを読む

OpenAIのGPT-4はCVEのセキュリティ勧告を読むことで実際の脆弱性を悪用できることが明らかに

2024/04/22 14 users CVE OpenAI LLM abs GPT-4

OpenAIが開発する大規模言語モデル(LLM)のGPT-4は、一般公開されている脆弱(ぜいじゃく)性を悪用してサイバー攻撃を成功させることが可能であることが最新の研究により明らかになりました。 [2404.08144] LLM Agents can Autonomously Exploit One-day Vulnerabilities https://arxiv.org/abs/2404.08144 GPT-4 can expl... 続きを読む

陰謀論者 vs. 生成AI──大規模言語モデルは陰謀論を説得できるか？　米MITなどが2000人以上で検証

2024/04/19 29 users 陰謀論者 生成AI 米MIT 陰謀論 反証

陰謀論は一度信じ始めると、反証によって覆すのが非常に難しい信念だと考えられている。しかし、この研究では従来の陰謀論に対する反証の試みが失敗してきたのは、単に各陰謀論者に合わせた説得力のある反証が不足していたためではないかという可能性を検討した。陰謀論者は自分の関心のある陰謀について非常に詳しいこ... 続きを読む

GoogleがAIに無限の長さのテキストを処理できる能力を与える技術を発表

2024/04/15 17 users テキスト 能力 Google 技術 発表

Googleの研究者が、大規模言語モデル(LLM)に無限の長さのテキストを処理させる手法だという「Infini-attention」に関する論文を発表しました。 [2404.07143] Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention https://arxiv.org/abs/2404.07143 Google’s new technique gives L... 続きを読む

GPT-4に日本語特化モデル　OpenAI Japan始動会見で発表

2024/04/15 169 users GPT-4 プレビューリリース 発表 カスタムモデル API

米OpenAIは4月15日、大規模言語モデル「GPT-4」について、日本語に最適化したカスタムモデルを発表した。日本語のテキストを記述する能力が向上しており、「GPT-4 Turbo」より最大3倍高速とうたっている。今後数カ月以内にAPIをリリースするという。 関連記事 OpenAI、“怠けにくい”「GPT-4 Turbo」プレビューリリースや... 続きを読む

小さなゲーム作りでLLMができること、できないこと - ABAの日誌

2024/04/14 20 users LLM Aba chatgpt ChatGP 日誌

前にChatGPTなどのLLM（大規模言語モデル）を使って小さなゲームを作るのはまだ難しいのでは、という記事を書いた。 ChatGPT を用いたゲーム考案の方法はいくつか考えられるが、ChatGPT に新しいゲームを考えさせ、それを実装させることは難しい。少なくとも現状の ChatGPT には、以下の課題があるように思える。 ChatGP... 続きを読む

NTT、大規模言語モデルを使った視覚読解技術を実現、図表などを含む「文書」を読めるAIに　

2024/04/12 16 users 図表 NTT 文書 実現

続きを読む

イーロン・マスクのチャットAI「Grok」は爆弾の作り方や麻薬の調合方法をジェイルブレイクしなくても教えてくるという指摘

2024/04/11 11 users Grok XAI ジェイル イーロン ジェイルブレイク

生成AIが発達する中で、危険な情報や非倫理的な文章・画像を生成しない安全機能がほとんどのAIには備わっています。一方で、安全機能を解除する「ジェイルブレイク」により規制を回避する方法も発見されています。イーロン・マスク氏が設立したAI企業のxAIが2023年11月に発表した独自の言語モデル「Grok」は、悪意のある... 続きを読む

PyTorchやPythonなしの純粋なC言語を使用した大規模言語モデルトレーニングツール「llm.c」がリリースされる

2024/04/11 11 users PyTorch LLM Python C言語 GPT-2

AIの本体と言える大規模言語モデル(LLM)のトレーニングはほとんどの場合PyTorchやPythonを使用して行われていますが、そうしたトレーニングを純粋なC言語のみで実装したツール「llm.c」が登場しました。まだ最適化が行われておらず従来の手法に速度面では敗北していますが、GPT-2のトレーニングを行う実装を約1000行のク... 続きを読む

LLMを活用した大規模商品カテゴリ分類への取り組み | メルカリエンジニアリング

2024/04/11 16 users LLM メルカリエンジニアリング chatgpt メルカリ

こんにちは、メルカリの生成AIチームで ML Engineer をしている ML_Bear です。 以前の記事[1]では商品レコメンド改善のお話をさせていただきましたが、今回は、大規模言語モデル (LLM) やその周辺技術を活用して30億を超える商品のカテゴリ分類を行なった事例を紹介します。 ChatGPTの登場によりLLMブームに火がついた... 続きを読む

Microsoftも出資するAI企業Mistral、オープンソースLLM「Mixtral 8x22B」リリース

2024/04/11 12 users オープンソースLLM Microsoft リリース LLM

仏新興AI企業のMistral AIは4月10日、オープンソースLLM（大規模言語モデル）の「Mixtral」の新版「Mixtral 8x22B」をリリースしたとXの公式アカウントでポストした。 このポストはファイルをTorrentでダウンロードできることを示しているが、本稿執筆現在、このLLMのレビューなどはまだ出ていないようだ。 先代のMixtra... 続きを読む

Googleがオープンかつ商用利用可能な大規模言語モデル「Gemma」ファミリーにコード補完・生成・命令フォローを強化した「CodeGemma」と効率を最適化した「RecurrentGemma」を追加すると発表

2024/04/10 14 users Gemma コード補完 ファミリー Google 効率

Googleが2月に公開したオープンかつ商用利用可能な大規模言語モデル「Gemma」ファミリーに、新たなモデルとして「CodeGemma」と「RecurrentGemma」の2つを追加すると発表しました。 Gemma Family Expands with Models Tailored for Developers and Researchers - Google for Developers https://developers.googleblog.c... 続きを読む

GPT-4レベルの衝撃 PC内で使えるオープンLLM「Command R+」

2024/04/08 221 users オープンLLM LLM Command R 衝撃 need

カナダのAIスタートアップCohereは4月4日（現地時間）、ビジネス向けに最適化された最新の大規模言語モデル（LLM）「Command R+」を発表した。 高度なRAG技術を採用 Cohereは、AI業界に変革をもたらしたTransformerモデルを提唱した論文「Attention is All You Need」の共同執筆者として知られるトロント大学の研究者Aid... 続きを読む

「Opera」がローカル大規模言語モデルを統合、AIをオフラインで使える初のWebブラウザーに／「Opera One developer」で実験的にサポート

2024/04/04 21 users Opera Webブラウザー 統合 オフライン サポート

続きを読む

コマンド不要でLLMのダウンロードから会話までを実行できる無料チャットAIアプリ「Jan」を使ってみた

2024/03/31 15 users LLM Jan 手順 会話 ダウンロード

「Jan」は、大規模言語モデル(LLM)のダウンロードからローカルで動作させて実際にチャットするまでの流れをすべてGUIで実行できるアプリです。便利そうだったので、実際にPCにJanをインストールしてLLMとチャットするまでの手順を確かめてみました。 Jan | Rethink the Computer https://jan.ai/ JanはLLMをダウンロード... 続きを読む

「Transformer」後継と期待される「RetNet」活用　PKSHAが日英対応の独自LLMを開発　日本MSも協力

2024/03/28 11 users LLM Transformer PKSHA 生成AI 日英

AIベンチャー・PKSHA Technology（東京都文京区）は3月28日、「RetNet」技術を活用した日英大規模言語モデル（LLM）を開発したと発表した。RetNetを使用した日英モデルは世界初で、日本マイクロソフトの技術支援により実現。PKSHA Technologyの上野山勝也代表は「これによって生成AIの活用が一段前に進む」と自信を見せ... 続きを読む

Anthropic「Claude 3 Opus」がLLM評価指標「Chatbot Arena」で初めてOpenAI「GPT-4」のパフォーマンスを上回る快挙を達成

2024/03/28 21 users OpenAI Anthropic LLM 快挙 GPT-4

2024年3月に発表されたAnthropicの大規模言語モデル(LLM)「Claude 3」は、20万トークンまでのコンテキスト長に対応しているほか、わずか2つのプロンプトから量子アルゴリズムを設計可能との報告も挙がっています。今回、AI研究者が大規模言語モデルの相対的な能力を測定するために使用する「Chatbot Arena」において、Cl... 続きを読む

NTT、大規模言語モデル「tsuzumi」を提供開始　“鼓”奏者も演奏で祝福　LLM開発競争をどう戦う？

2024/03/25 13 users tsuzumi LLM NTT 演奏 同日

NTTは3月25日、独自の大規模言語モデル（LLM）「tsuzumi」の商用提供を始めた。さまざまな業種・業界の企業に提供し、2027年度までに1000億円の売り上げ創出を目指す。同日に開催した記者発表会には、その名の由来である楽器“鼓”の奏者も駆け付け、祝言の演奏を披露した。 tsuzumiはNTTが独自開発したLLMで、まずは70億... 続きを読む

NTT、国産の生成AI「tsuzumi」サービス開始--「2027年に売上1000億円」と島田社長

2024/03/25 192 users tsuzumi LLM 生成AI NTT 島田社長

日本電信電話（NTT）は3月25日、独自に開発した大規模言語モデル（LLM）「tsuzumi」の商用提供を企業向けに開始した。代表取締役社長を務める島田明氏は「2027年までに売上1000億円を目指す」と述べた。 tsuzumiは、NTTが2023年11月に発表した国産LLMだ。特徴の1つはモデルを大幅に軽量化した点で、パラメーター数は軽量... 続きを読む