無料で商用利用可能なSQL生成・コーディング・命令フォローなどのエンタープライズタスクに最適化された大規模言語モデル「Snowflake Arctic」が登場

2024/04/26 6 users コーディング 大規模言語モデル 商用利用 LLM 登場

クラウドベースのデータウェアハウスサービスを展開する企業のSnowflakeが、トップレベルのエンタープライズ向け大規模言語モデル(LLM)として「Snowflake Arctic」をリリースしました。Apacheライセンス バージョン2.0で提供されるオープンなモデルとなっており、無料で商用利用も可能です。 Snowflake Arctic - LLM for... 続きを読む

AppleがiPhoneやiPadでローカルに動作するオープンソースの言語モデル「OpenELM」をリリース

2024/04/25 6 users iPhone Appleデバイス iPad Apple コード

Appleの研究チームが、オープンソースの言語モデル「OpenELM(Open-source Efficient Language Models)」を公開しました。公開されたモデルにはAppleデバイスで動作できるように変換するコードも用意されており、「言語モデルをAppleデバイス上でローカルに実行させる」ことが可能になっています。 [2404.14619] OpenELM:... 続きを読む

Apple、iPhoneでも稼働するオープンな言語モデル「OpenELM」を公開

2024/04/25 16 users iPhone ELM Apple パラメータ パラメータ数

米Appleの研究者らは4月24日（現地時間）、オープンソースの言語モデル「OpenELM」（ELMはEfficient Language Model、効率的な言語モデルの略）をHugging Faceで公開した。 パラメータ数の異なる4つのモデルがある。小さいものから、2億7000万、4億5000万、11億、30億（パラメータとは、意思決定でモデルがトレーニング... 続きを読む

LEIA: 言語間転移学習でLLMを賢くする新しい方法

2024/04/24 18 users LLM Studio Ousia 訓練 言語 理化学研究所

Studio Ousiaと理化学研究所に所属している山田育矢です。 この記事では、大規模言語モデル（LLM）の性能を向上させる新しい方法であるLEIA（Lightweight Entity-based Inter-language Adaptation）を紹介します。 LLMは言語によって性能に顕著な差があり、訓練に使われるテキストが最も多い英語において特に性能が高い... 続きを読む

言語モデルを高位合成でFPGAに実装してみた

2024/04/24 10 users FPGA LLM 高位合成 内山 Generative AI

言語モデルを高位合成でFPGAに実装してみた Turing株式会社のリサーチチームでインターンしているM1の内山です。 Turing株式会社では大規模基盤モデルによる完全自動運転を目指しており、その実現に欠かせない技術として大規模言語モデルの研究開発を行っています。 Generative AI LLMの広範な知識と思考能力に加え、視... 続きを読む

NEC、世界トップレベル性能の高速な大規模言語モデル (LLM) cotomi Pro / cotomi Light を開発

2024/04/24 11 users LLM cotomi アーキテクチャ NEC 生成AI

NECは、LLM(Large Language Model：大規模言語モデル)「cotomi(注1)」のラインアップ拡充のため、学習データやアーキテクチャを刷新した「cotomi Pro」「cotomi Light」を開発しました。 昨今の生成AIの急速な発展に伴い、様々な企業や公共機関が、LLMを活用した業務変革の検討・検証を進めています。具体的な活用シーン... 続きを読む

Microsoftがコスト効率の高い小さめの言語モデル「Phi-3」をリリース、オープンモデルで商用利用可能

2024/04/24 8 users Phi-3 Microsoft 規模 ファミリー リリース

Microsoftが小さい規模で大きな性能を発揮する言語モデルとして「Phi-3」ファミリーをリリースしました。ファミリーの中でも一番小さなサイズのモデルであるPhi-3-miniはオープンモデルとなっており、無料で商用利用が可能です。 Introducing Phi-3: Redefining what's possible with SLMs | Microsoft Azure Blog https... 続きを読む

経済情報特化の生成AI、日経が開発　40年分の記事学習 - 日本経済新聞

2024/04/24 34 users 生成AI 指標 パラメーター数 人工知能 日経

日本経済新聞社は24日、経済情報に特化した生成AI（人工知能）の基盤技術を開発したと発表した。大規模言語モデルと呼ばれるもので、約40年分の日経グループの新聞や雑誌の記事を学習させた。記事の要約機能などで活用を見込む。大規模言語モデルの名称は「NIKKEI Language Model」。性能の指標となる「パラメーター数」... 続きを読む

NEC、クラウド不要の生成AI提供　機密情報を社内で管理　【イブニングスクープ】 - 日本経済新聞

2024/04/23 16 users イブニングスクープ NEC クラウド LLM 機密情報

NECは企業向けに新たな生成AI（人工知能）サービスを6月に始める。NEC製のサーバーとセットで提供することで、機密性の高いデータを社外に出さず、社内で運用を完結できるようにする。個人情報を扱う金融機関やコンタクトセンターなどの需要を見込む。生成AIの基盤となる新型の大規模言語モデル（LLM）「cotomi Light（... 続きを読む

「GPT-4」を上回る性能で、グラフィカルな文書を読解するLLM技術

2024/04/23 10 users GPT-4 文書 LLM 性能 tsuzumi

「GPT-4」を上回る性能で、グラフィカルな文書を読解するLLM技術：NTTの「tsuzumi」にも採用 NTTは2024年4月12日、大規模言語モデル（LLM）の活用により、文書に含まれる図表やグラフなども含めて理解し、自然言語での指示に従って読解／応答する「視覚読解技術」を実現したと発表した。 NTTは2024年4月12日、大規模言語... 続きを読む

OpenAIのGPT-4はCVEのセキュリティ勧告を読むことで実際の脆弱性を悪用できることが明らかに

2024/04/22 14 users CVE OpenAI LLM abs GPT-4

OpenAIが開発する大規模言語モデル(LLM)のGPT-4は、一般公開されている脆弱(ぜいじゃく)性を悪用してサイバー攻撃を成功させることが可能であることが最新の研究により明らかになりました。 [2404.08144] LLM Agents can Autonomously Exploit One-day Vulnerabilities https://arxiv.org/abs/2404.08144 GPT-4 can expl... 続きを読む

陰謀論者 vs. 生成AI──大規模言語モデルは陰謀論を説得できるか？　米MITなどが2000人以上で検証

2024/04/19 29 users 陰謀論者 生成AI 米MIT 陰謀論 反証

陰謀論は一度信じ始めると、反証によって覆すのが非常に難しい信念だと考えられている。しかし、この研究では従来の陰謀論に対する反証の試みが失敗してきたのは、単に各陰謀論者に合わせた説得力のある反証が不足していたためではないかという可能性を検討した。陰謀論者は自分の関心のある陰謀について非常に詳しいこ... 続きを読む

GoogleがAIに無限の長さのテキストを処理できる能力を与える技術を発表

2024/04/15 17 users テキスト 能力 Google 技術 発表

Googleの研究者が、大規模言語モデル(LLM)に無限の長さのテキストを処理させる手法だという「Infini-attention」に関する論文を発表しました。 [2404.07143] Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention https://arxiv.org/abs/2404.07143 Google’s new technique gives L... 続きを読む

GPT-4に日本語特化モデル　OpenAI Japan始動会見で発表

2024/04/15 169 users GPT-4 プレビューリリース 発表 カスタムモデル API

米OpenAIは4月15日、大規模言語モデル「GPT-4」について、日本語に最適化したカスタムモデルを発表した。日本語のテキストを記述する能力が向上しており、「GPT-4 Turbo」より最大3倍高速とうたっている。今後数カ月以内にAPIをリリースするという。 関連記事 OpenAI、“怠けにくい”「GPT-4 Turbo」プレビューリリースや... 続きを読む

小さなゲーム作りでLLMができること、できないこと - ABAの日誌

2024/04/14 20 users LLM Aba chatgpt ChatGP 日誌

前にChatGPTなどのLLM（大規模言語モデル）を使って小さなゲームを作るのはまだ難しいのでは、という記事を書いた。 ChatGPT を用いたゲーム考案の方法はいくつか考えられるが、ChatGPT に新しいゲームを考えさせ、それを実装させることは難しい。少なくとも現状の ChatGPT には、以下の課題があるように思える。 ChatGP... 続きを読む

イーロン・マスク氏のLLM「Grok」、1.5更新で画像認識可能に

2024/04/13 9 users LLM スクリ Grok マルチモーダルモデル 手書き

イーロン・マスク氏の米AI企業xAIは4月12日（現地時間）、昨年11月に発表した独自LLM（大規模言語モデル）「Grok」の更新版「Grok-1.5V」を発表した。同社初のマルチモーダルモデルで、画像を認識する。既存のGrokユーザーに間もなく提供される予定。 1.5Vの最大の特徴は画像認識能力だ。手書きのフローチャートやスクリ... 続きを読む

NTT、大規模言語モデルを使った視覚読解技術を実現、図表などを含む「文書」を読めるAIに　

2024/04/12 16 users 図表 NTT 文書 実現

続きを読む

イーロン・マスクのチャットAI「Grok」は爆弾の作り方や麻薬の調合方法をジェイルブレイクしなくても教えてくるという指摘

2024/04/11 11 users Grok XAI ジェイル イーロン ジェイルブレイク

生成AIが発達する中で、危険な情報や非倫理的な文章・画像を生成しない安全機能がほとんどのAIには備わっています。一方で、安全機能を解除する「ジェイルブレイク」により規制を回避する方法も発見されています。イーロン・マスク氏が設立したAI企業のxAIが2023年11月に発表した独自の言語モデル「Grok」は、悪意のある... 続きを読む

PyTorchやPythonなしの純粋なC言語を使用した大規模言語モデルトレーニングツール「llm.c」がリリースされる

2024/04/11 11 users PyTorch LLM Python C言語 GPT-2

AIの本体と言える大規模言語モデル(LLM)のトレーニングはほとんどの場合PyTorchやPythonを使用して行われていますが、そうしたトレーニングを純粋なC言語のみで実装したツール「llm.c」が登場しました。まだ最適化が行われておらず従来の手法に速度面では敗北していますが、GPT-2のトレーニングを行う実装を約1000行のク... 続きを読む

LLMを活用した大規模商品カテゴリ分類への取り組み | メルカリエンジニアリング

2024/04/11 16 users LLM メルカリエンジニアリング chatgpt メルカリ

こんにちは、メルカリの生成AIチームで ML Engineer をしている ML_Bear です。 以前の記事[1]では商品レコメンド改善のお話をさせていただきましたが、今回は、大規模言語モデル (LLM) やその周辺技術を活用して30億を超える商品のカテゴリ分類を行なった事例を紹介します。 ChatGPTの登場によりLLMブームに火がついた... 続きを読む

Microsoftも出資するAI企業Mistral、オープンソースLLM「Mixtral 8x22B」リリース

2024/04/11 12 users オープンソースLLM Microsoft リリース LLM

仏新興AI企業のMistral AIは4月10日、オープンソースLLM（大規模言語モデル）の「Mixtral」の新版「Mixtral 8x22B」をリリースしたとXの公式アカウントでポストした。 このポストはファイルをTorrentでダウンロードできることを示しているが、本稿執筆現在、このLLMのレビューなどはまだ出ていないようだ。 先代のMixtra... 続きを読む

Googleがオープンかつ商用利用可能な大規模言語モデル「Gemma」ファミリーにコード補完・生成・命令フォローを強化した「CodeGemma」と効率を最適化した「RecurrentGemma」を追加すると発表

2024/04/10 14 users Gemma コード補完 ファミリー Google 効率

Googleが2月に公開したオープンかつ商用利用可能な大規模言語モデル「Gemma」ファミリーに、新たなモデルとして「CodeGemma」と「RecurrentGemma」の2つを追加すると発表しました。 Gemma Family Expands with Models Tailored for Developers and Researchers - Google for Developers https://developers.googleblog.c... 続きを読む

GPT-4レベルの衝撃 PC内で使えるオープンLLM「Command R+」

2024/04/08 221 users オープンLLM LLM Command R 衝撃 need

カナダのAIスタートアップCohereは4月4日（現地時間）、ビジネス向けに最適化された最新の大規模言語モデル（LLM）「Command R+」を発表した。 高度なRAG技術を採用 Cohereは、AI業界に変革をもたらしたTransformerモデルを提唱した論文「Attention is All You Need」の共同執筆者として知られるトロント大学の研究者Aid... 続きを読む

「Llama 2-7B」の1万分の1以下の学習コストなのにLlama 2-7Bを上回る大規模言語モデル「JetMoE-8B」が登場

2024/04/05 6 users 学習コスト Meta 登場 Git １以下

数千億円をかけた訓練リソースを用いるMetaの「Llama 2-7B」を上回る性能を持ちながら、学習コストは1000万円以下に抑えられるという大規模言語モデル「JetMoE-8B」が登場しました。 JetMoE https://research.myshell.ai/jetmoe GitHub - myshell-ai/JetMoE: Reaching LLaMA2 Performance with 0.1M Dollars https://git... 続きを読む

「Opera」がローカル大規模言語モデルを統合、AIをオフラインで使える初のWebブラウザーに／「Opera One developer」で実験的にサポート

2024/04/04 21 users Opera Webブラウザー 統合 オフライン サポート

続きを読む