iPhoneでも動作する日本語AIモデル「TinySwallow-1.5B」を日本に拠点を置くSakana AIがリリース、大規模言語モデルから知識蒸留して小規模かつ高性能なAIモデルを実現

2025/01/31 13 users iPhone AIモデル Sakana AI ローカル実行

日本に拠点を置くAI企業の「Sakana AI」が小規模日本語言語モデル「TinySwallow-1.5B」を2025年1月30日(木)に発表しました。TinySwallow-1.5Bは小規模かつ高性能なAIモデルを実現する知識蒸留手法「Temporally Adaptive Interpolated Distillation(TAID)」を用いて開発されており、iPhone 14でのローカル実行も可能です... 続きを読む

DeepSeek推しのローカルLLM勢から見るDeepSeek｜Holy_fox

2025/01/30 120 users DeepSeek LLM ローカルLLM 生業 視点

はじめに初めまして、ほーりふぉっくすと申します。 この記事ではDeepSeekがなぜここまで流行り、選べられているのかを大規模言語モデル(LLM)の開発を生業としてる人がローカルLLM勢の視点から説明します。 ※ローカルLLMとは自分のデバイス上で動く大規模言語モデルのことです。 自己紹介ローカルLLM開発をしているほー... 続きを読む

DeepSeek、機密情報漏えいか　チャット履歴含む100万件超のログが閲覧できた可能性　米セキュリティ企業

2025/01/30 34 users DeepSeek LLM Wiz 機密情報漏えい ロク

Wizは「組織は増加するスタートアップやプロバイダーのAIツールやサービスの導入を急いでいるが、同時にこれらの企業に機密データを託していることを忘れてはならない」と指摘している。 DeepSeekは21日、米OpenAIのハイエンドモデル「o1」と同レベルの性能をうたう大規模言語モデル（LLM）「DeepSeek-R1」を公開。高性... 続きを読む

iPhone 14で高速動作する軽量AIモデル、Sakana AIが開発　知識蒸留の新手法「TAID」採用

2025/01/30 20 users LLM SLM Sakana AI iPhone 14 新手法

iPhone 14で高速動作する軽量AIモデル、Sakana AIが開発　知識蒸留の新手法「TAID」採用 AIベンチャーのSakana AI（東京都港区）は1月30日、小規模言語モデル（SLM）「TinySwallow-1.5B」を開発したと発表した。大規模言語モデル（LLM）の知識を効率的にSLMに転移できる新技術「TAID」（Temporally Adaptive Interpolate... 続きを読む

目的に合ったAIモデルを探せるツール「Lumigator」をMozilla.aiがリリース

2025/01/30 11 users Mozilla Mozilla.ai 発達 特定 ユースケース

AIの急速な発達により、さまざまな分野において高度なパフォーマンスを発揮する言語モデルがいくつも誕生しています。しかし、言語モデルには得意、不得意があるため、特定のユースケースに適したモデルを選択することは、開発者にとって困難な課題となっています。新たに、MozillaのAI部門であるMozilla.aiが、機械学習... 続きを読む

DeepSeekのジェイルブレークにセキュリティー企業が成功、「ChatGPTより脆弱」

2025/01/29 29 users chatgpt DeepSeek LLM セキュリティー企業

中国DeepSeek（ディープシーク）が開発したLLM（大規模言語モデル）の「DeepSeek R1」に注目が集まっている。 費用対効果に優れているとして話題になっているが、セキュリティー企業などはそのセキュリティーを厳しく評価し始めた。米OpenAI（オープンAI）の「ChatGPT」が登場したときと同じような状況といえるだろう。 ... 続きを読む

サイバーエージェントが「DeepSeek-R1」の派生モデルをベースに日本語で追加学習したモデルを公開

2025/01/28 7 users サイバーエージェント DeepSeek 派生モデル ベース

日本の大手IT企業であるサイバーエージェントが2025年1月27日、AI開発企業のDeepSeekがリリースしたオープンソースの推論モデル「DeepSeek R1」の蒸留モデルをベースに、日本語データで追加学習を行った大規模言語モデルを公開しました。 【モデル公開のお知らせ】 DeepSeek-R1-Distill-Qwen-14B/32Bをベースに日本語デ... 続きを読む

中国DeepSeekのAIアプリ、アメリカで首位に　市場に警戒感 - 日本経済新聞

2025/01/27 33 users 中国DeepSeek 首位 DeepSeek AIアプリ 市場

中国の人工知能（AI）開発企業、DeepSeek（ディープシーク）の生成AIアプリが米国のアプリストアで一時首位に立った。低コストで開発した大規模言語モデルの性能が米国製の競合モデルを上回ったと主張し、消費者らが注目している。米国のAI産業の優位性が揺らぐとの警戒感から、株式市場も反応した。ほぼ無名だった中国... 続きを読む

中国製の格安AI「DeepSeek」が話題に　コスパ競争は始まるか #専門家のまとめ（山口健太） - エキスパート - Yahoo!ニュース

2025/01/27 12 users OpenAI DeepSeek DeepSeek-R 米国

中国のスタートアップ企業による大規模言語モデル「DeepSeek」が米国のテック業界で大きな話題になっています。1月20日に登場した「DeepSeek-R1」は、OpenAIの「o1」に匹敵する性能を低コストで実現したとされ、評価が高まっています。 米国ではソフトバンクグループがOpenAIと組んで4年で5000億ドル（78兆円）を投資す... 続きを読む

OpenAIの「o1」と同レベルうたうLLM「R1」登場、中国DeepSeekから　商用利用可

2025/01/21 22 users OpenAI LLM 中国DeepSeek MITライセンス

中国のAI企業DeepSeekは1月20日（日本時間）までに、米OpenAIの「o1」と同レベルの性能をうたう大規模言語モデル（LLM）「DeepSeek-R1」を公開した。いずれもオープンソースで、MITライセンスのため、商業利用なども認めている。 大規模な強化学習のみでトレーニングしたという「DeepSeek-R1-Zero」、教師あり微調整を行... 続きを読む

iOSやmacOS、visionOSに対応したオープンソースのローカルLLMクライアント「fullmoon」がリリース。

2025/01/15 6 users iOS visionOS MacOS LLM iPhone

オープンソースのローカルLLMクライアント「Fullmoon for iOS/macOS/visionOS」がリリースされています。詳細は以下から。 元MetaのShivkanth Bagavathyさんらが設立したMainframe Computer, Inc.は現地時間2025年01月14日、iPhoneやMac、Vision Pro上でプライベート＆ローカルに大規模言語モデル(LLM)を動作させること... 続きを読む

Microsoft、小規模言語モデル（SLM）の「Phi-4」をMITライセンスで公開

2025/01/08 7 users SLM MIT パラメータ MITライセンス 重み

米Microsoftは1月7日（現地時間）、昨年12月に発表した小規模言語モデル（SLM）の「Phi-4」をHugging Faceで公開したと発表した。ライセンスはMITなので、商用アプリを含むモデルを自由に使用、変更、構築できる。モデルの重みも公開されており、開発者は基礎となるパラメータに直接アクセスして変更可能だ。 Phi-4は、P... 続きを読む

ChatGPTライクなUIのローカルLLMを構築できるGPT4Allとは？

2025/01/06 30 users ローカルLLM LLM ユーザーインタフェース 手元 心配

GPT4AllでChatGPTライクなユーザーインタフェースで使える大規模言語モデルを構築する ChatGPTやMicrosoft Copilotなどの生成AIサービスは「情報漏えいなどが心配」と感じているのならば、手元のWindows 10／11上でLLM（大規模言語モデル）を構築すればよい。ChatGPTライクなユーザーインタフェースを持つ「GPT4All」を... 続きを読む

LLMがオワコン化した2024年

2025/01/05 514 users LLM SaaS 生成AI 未知数 オワコン化

当ニュースレターは2023年を「SaaSがオワコン化した年」と位置づけたが、2024年は早くもAIが終わった一年であった。少なくとも大規模言語モデル（LLM）そのものの発展を、物珍しそうに追いかける時期は過ぎた。生成AIが今後どこまで賢くなるかはもちろん未知数である。しかし、既に業務で十分に役立つレベルにある現行モ... 続きを読む

研究者にとってo1Proは3万円課金する価値があるか？｜genkAIjokyo|ChatGPT/Claudeで論文作成と科研費申請

2025/01/03 138 users Claude LLM chatgpt genkAIjokyo

研究者が論文執筆や助成金の申請書を書く際、近年は大規模言語モデル（LLM）を活用するケースが増えています。確かにo1proの書く文章はAI臭さが無いですし、その知識や発想力に驚かさせる事は多いです。ただo1proをアカデミック関連の業務に試してきましたが、その経験から言えば、3万円を払ってo1Proを使う必要性は低い... 続きを読む

さよならClaude、こんにちはGemini 〜Claude愛用者がGeminiに乗り換えた理由〜｜genkAIjokyo|ChatGPT/Claudeで論文作成と科研費申請

2024/12/31 302 users Claude GEMINI chatgpt 後ろ髪 愛着

大規模言語モデルの進化は目覚ましく、新しいモデルが次々と登場する中、Gemini 2.0シリーズに注目しています。 上記記事を出してから私は1年弱ほど、Claude 3.5をメイン使用してきました。Claudeは「いいヤツ」で個人的にも愛着があったのですが、後ろ髪を引かれつつ最近Geminiに乗り換えました。（Claude 3.5Opusが出... 続きを読む

AIの思考を少しずつずらしてAIに催眠をかけるように「ジェイルブレイク」した具体例

2024/12/24 17 users ジェイルブレイク 催眠 思考 LLM 具体例

大規模言語モデル(LLM)を用いたAIは、驚くほど自然な文章やリアルな画像を生成できる能力を備えている一方で、危険なことに回答したり不適切な画像を生成したりできないように、セキュリティロックがかかっていることがほとんどです。しかし、意図的にLLMをだまそうと試みてロックを回避するジェイルブレイク(脱獄)の方... 続きを読む

2024年最新LLM技術まとめ｜大規模言語モデルの研究動向とトレンド(随時更新予定) - Qiita

2024/12/24 5 users Qiita トレンド 研究動向 随時更新予定

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 本記事は「LLM・LLM活用 Advent Calendar 2024」の記事となります。 はじめまして、株式会社Algomaticのsergicalsix(@sergicalsix)です。 大学修士までニューラルネットワ... 続きを読む

AppleがNVIDIAとの共同研究で大規模言語モデルのパフォーマンス高速化の成果を発表

2024/12/19 6 users NVIDIA Apple LLM 成果 共同研究

Appleは、NVIDIAとの共同研究による大規模言語モデル(LLM)の推論処理高速化についての研究成果を2024年12月18日に発表しました。Appleが独自に開発した「ReDrafter」技術をNVIDIAのGPU向け推論フレームワーク「TensorRT-LLM」に統合することで、処理速度を最大2.7倍に向上させることに成功し、消費電力とGPU使用量の削減... 続きを読む

Microsoftの検索エンジンBingがTransformerからLLMとSLMの組み合わせに移行＆TensorRT-LLMの統合を発表

2024/12/18 12 users Transformer LLM SLM Bing NVIDIA

Microsoftは検索エンジンのBingで、これまでGoogleが開発した機械学習モデルの「Transformer」を採用してきました。しかし、Transformerに限界が訪れたとして、大規模言語モデル(LLM)と小規模言語モデル(SLM)の組み合わせに移行すると発表しています。さらに、ワークフローにNVIDIAが開発している「TensorRT-LLM」を統合... 続きを読む

Microsoftが軽量なのにGPT-4oを圧倒的に上回る数学性能を発揮するAIモデル「Phi-4」をリリース

2024/12/13 5 users GPT-4o Microsoft Reasoning 性能

Microsoftが言語モデル「Phi-4」を2024年12月13日にリリースしました。Phi-4のパラメーター数は140億で主要な大規模言語モデルと比べると小規模ですが、数学性能では最上位クラスの性能を発揮します。 Introducing Phi-4: Microsoft’s Newest Small Language Model Specializing in Complex Reasoning | Microsoft Commu... 続きを読む

生成AIサービスに個人情報をアップロードしたくない!！　Windowsローカルで大規模言語モデル（LLM）を利用する

2024/12/13 15 users LLM Microsoft Copilot 手元 情報漏えい

生成AIサービスに個人情報をアップロードしたくない!！　Windowsローカルで大規模言語モデル（LLM）を利用する：Tech TIPS ChatGPTやMicrosoft Copilotなどの生成AIサービスが便利なのは分かるが、いざ使おうと思うと「情報漏えいなどが心配」と感じていないだろうか。そんな心配がある場合、手元のWindows 10／11上でLL... 続きを読む

Midjourneyが画像生成AIや文章生成AIを組み合わせて創作できる巨大なキャンバスツール「Patchwork」を開発

2024/12/12 9 users Midjourney 文章生成AI 画像生成AI 共同作業

画像生成AIを提供するMidjourneyが、マルチプレイヤーワールド構築ツールの「Patchwork」を公開したと発表しました。このPatchorkは、言語モデルと画像生成モデルを組み合わせることで、複数人による共同作業で1つの世界を作り出すことができます。 Patchwork Research Preview https://updates.midjourney.com/patchwor... 続きを読む

「Xのアルゴリズム」は数日であなたの政治的意見を変えられる――米スタンフォード大が1000人以上で検証

2024/12/08 657 users アルゴリズム 米スタンフォード大 検証 LLM あなた

研究チームは、大規模言語モデル（LLM）を活用し、政治的に分極化をもたらす可能性のあるコンテンツへの影響を調べるため、リアルタイムでXのフィードを再ランク付けするアプローチを開発し、ユーザーへの影響を調査した。 実験では、Xのユーザー1256人の協力を得て10日間実施。ブラウザ拡張機能を使用してフィードをリ... 続きを読む

2.5兆トークンを学習したOSSのコード生成LLM「OpenCoder」公開　プロジェクトが明す、コードLLM構築に重要な3要素とは

2024/12/01 13 users OSS LLM プロジェクト 再現 ３要素

OpenCoderプロジェクトは2024年11月8日（米国時間）、オープンソースソフトウェア（OSS）のLLM（大規模言語モデル）、「OpenCoder」を公開した。同プロジェクトは以下のように説明している。 OpenCoderは、トップクラスのコード生成LLMの性能に匹敵する、オープンで再現可能なコードLLMファミリーだ。本プロジェクトでは... 続きを読む