タグ 言語モデル
人気順 10 users 50 users 100 users 500 users 1000 usersiPhoneでも動作する日本語AIモデル「TinySwallow-1.5B」を日本に拠点を置くSakana AIがリリース、大規模言語モデルから知識蒸留して小規模かつ高性能なAIモデルを実現
日本に拠点を置くAI企業の「Sakana AI」が小規模日本語言語モデル「TinySwallow-1.5B」を2025年1月30日(木)に発表しました。TinySwallow-1.5Bは小規模かつ高性能なAIモデルを実現する知識蒸留手法「Temporally Adaptive Interpolated Distillation(TAID)」を用いて開発されており、iPhone 14でのローカル実行も可能です... 続きを読む
DeepSeek推しのローカルLLM勢から見るDeepSeek|Holy_fox
はじめに初めまして、ほーりふぉっくすと申します。 この記事ではDeepSeekがなぜここまで流行り、選べられているのかを大規模言語モデル(LLM)の開発を生業としてる人がローカルLLM勢の視点から説明します。 ※ローカルLLMとは自分のデバイス上で動く大規模言語モデルのことです。 自己紹介ローカルLLM開発をしているほー... 続きを読む
DeepSeek、機密情報漏えいか チャット履歴含む100万件超のログが閲覧できた可能性 米セキュリティ企業
Wizは「組織は増加するスタートアップやプロバイダーのAIツールやサービスの導入を急いでいるが、同時にこれらの企業に機密データを託していることを忘れてはならない」と指摘している。 DeepSeekは21日、米OpenAIのハイエンドモデル「o1」と同レベルの性能をうたう大規模言語モデル(LLM)「DeepSeek-R1」を公開。高性... 続きを読む
iPhone 14で高速動作する軽量AIモデル、Sakana AIが開発 知識蒸留の新手法「TAID」採用
iPhone 14で高速動作する軽量AIモデル、Sakana AIが開発 知識蒸留の新手法「TAID」採用 AIベンチャーのSakana AI(東京都港区)は1月30日、小規模言語モデル(SLM)「TinySwallow-1.5B」を開発したと発表した。大規模言語モデル(LLM)の知識を効率的にSLMに転移できる新技術「TAID」(Temporally Adaptive Interpolate... 続きを読む
目的に合ったAIモデルを探せるツール「Lumigator」をMozilla.aiがリリース
AIの急速な発達により、さまざまな分野において高度なパフォーマンスを発揮する言語モデルがいくつも誕生しています。しかし、言語モデルには得意、不得意があるため、特定のユースケースに適したモデルを選択することは、開発者にとって困難な課題となっています。新たに、MozillaのAI部門であるMozilla.aiが、機械学習... 続きを読む
DeepSeekのジェイルブレークにセキュリティー企業が成功、「ChatGPTより脆弱」
中国DeepSeek(ディープシーク)が開発したLLM(大規模言語モデル)の「DeepSeek R1」に注目が集まっている。 費用対効果に優れているとして話題になっているが、セキュリティー企業などはそのセキュリティーを厳しく評価し始めた。米OpenAI(オープンAI)の「ChatGPT」が登場したときと同じような状況といえるだろう。 ... 続きを読む
サイバーエージェントが「DeepSeek-R1」の派生モデルをベースに日本語で追加学習したモデルを公開
日本の大手IT企業であるサイバーエージェントが2025年1月27日、AI開発企業のDeepSeekがリリースしたオープンソースの推論モデル「DeepSeek R1」の蒸留モデルをベースに、日本語データで追加学習を行った大規模言語モデルを公開しました。 【モデル公開のお知らせ】 DeepSeek-R1-Distill-Qwen-14B/32Bをベースに日本語デ... 続きを読む
中国DeepSeekのAIアプリ、アメリカで首位に 市場に警戒感 - 日本経済新聞
中国の人工知能(AI)開発企業、DeepSeek(ディープシーク)の生成AIアプリが米国のアプリストアで一時首位に立った。低コストで開発した大規模言語モデルの性能が米国製の競合モデルを上回ったと主張し、消費者らが注目している。米国のAI産業の優位性が揺らぐとの警戒感から、株式市場も反応した。ほぼ無名だった中国... 続きを読む
中国製の格安AI「DeepSeek」が話題に コスパ競争は始まるか #専門家のまとめ(山口健太) - エキスパート - Yahoo!ニュース
中国のスタートアップ企業による大規模言語モデル「DeepSeek」が米国のテック業界で大きな話題になっています。1月20日に登場した「DeepSeek-R1」は、OpenAIの「o1」に匹敵する性能を低コストで実現したとされ、評価が高まっています。 米国ではソフトバンクグループがOpenAIと組んで4年で5000億ドル(78兆円)を投資す... 続きを読む
OpenAIの「o1」と同レベルうたうLLM「R1」登場、中国DeepSeekから 商用利用可
中国のAI企業DeepSeekは1月20日(日本時間)までに、米OpenAIの「o1」と同レベルの性能をうたう大規模言語モデル(LLM)「DeepSeek-R1」を公開した。いずれもオープンソースで、MITライセンスのため、商業利用なども認めている。 大規模な強化学習のみでトレーニングしたという「DeepSeek-R1-Zero」、教師あり微調整を行... 続きを読む
iOSやmacOS、visionOSに対応したオープンソースのローカルLLMクライアント「fullmoon」がリリース。
オープンソースのローカルLLMクライアント「Fullmoon for iOS/macOS/visionOS」がリリースされています。詳細は以下から。 元MetaのShivkanth Bagavathyさんらが設立したMainframe Computer, Inc.は現地時間2025年01月14日、iPhoneやMac、Vision Pro上でプライベート&ローカルに大規模言語モデル(LLM)を動作させること... 続きを読む
Microsoft、小規模言語モデル(SLM)の「Phi-4」をMITライセンスで公開
米Microsoftは1月7日(現地時間)、昨年12月に発表した小規模言語モデル(SLM)の「Phi-4」をHugging Faceで公開したと発表した。ライセンスはMITなので、商用アプリを含むモデルを自由に使用、変更、構築できる。モデルの重みも公開されており、開発者は基礎となるパラメータに直接アクセスして変更可能だ。 Phi-4は、P... 続きを読む
ChatGPTライクなUIのローカルLLMを構築できるGPT4Allとは?
GPT4AllでChatGPTライクなユーザーインタフェースで使える大規模言語モデルを構築する ChatGPTやMicrosoft Copilotなどの生成AIサービスは「情報漏えいなどが心配」と感じているのならば、手元のWindows 10/11上でLLM(大規模言語モデル)を構築すればよい。ChatGPTライクなユーザーインタフェースを持つ「GPT4All」を... 続きを読む
LLMがオワコン化した2024年
当ニュースレターは2023年を「SaaSがオワコン化した年」と位置づけたが、2024年は早くもAIが終わった一年であった。少なくとも大規模言語モデル(LLM)そのものの発展を、物珍しそうに追いかける時期は過ぎた。生成AIが今後どこまで賢くなるかはもちろん未知数である。しかし、既に業務で十分に役立つレベルにある現行モ... 続きを読む
研究者にとってo1Proは3万円課金する価値があるか?|genkAIjokyo|ChatGPT/Claudeで論文作成と科研費申請
研究者が論文執筆や助成金の申請書を書く際、近年は大規模言語モデル(LLM)を活用するケースが増えています。確かにo1proの書く文章はAI臭さが無いですし、その知識や発想力に驚かさせる事は多いです。ただo1proをアカデミック関連の業務に試してきましたが、その経験から言えば、3万円を払ってo1Proを使う必要性は低い... 続きを読む
さよならClaude、こんにちはGemini 〜Claude愛用者がGeminiに乗り換えた理由〜|genkAIjokyo|ChatGPT/Claudeで論文作成と科研費申請
大規模言語モデルの進化は目覚ましく、新しいモデルが次々と登場する中、Gemini 2.0シリーズに注目しています。 上記記事を出してから私は1年弱ほど、Claude 3.5をメイン使用してきました。Claudeは「いいヤツ」で個人的にも愛着があったのですが、後ろ髪を引かれつつ最近Geminiに乗り換えました。(Claude 3.5Opusが出... 続きを読む
AIの思考を少しずつずらしてAIに催眠をかけるように「ジェイルブレイク」した具体例
大規模言語モデル(LLM)を用いたAIは、驚くほど自然な文章やリアルな画像を生成できる能力を備えている一方で、危険なことに回答したり不適切な画像を生成したりできないように、セキュリティロックがかかっていることがほとんどです。しかし、意図的にLLMをだまそうと試みてロックを回避するジェイルブレイク(脱獄)の方... 続きを読む
2024年最新LLM技術まとめ|大規模言語モデルの研究動向とトレンド(随時更新予定) - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 本記事は「LLM・LLM活用 Advent Calendar 2024」の記事となります。 はじめまして、株式会社Algomaticのsergicalsix(@sergicalsix)です。 大学修士までニューラルネットワ... 続きを読む
AppleがNVIDIAとの共同研究で大規模言語モデルのパフォーマンス高速化の成果を発表
Appleは、NVIDIAとの共同研究による大規模言語モデル(LLM)の推論処理高速化についての研究成果を2024年12月18日に発表しました。Appleが独自に開発した「ReDrafter」技術をNVIDIAのGPU向け推論フレームワーク「TensorRT-LLM」に統合することで、処理速度を最大2.7倍に向上させることに成功し、消費電力とGPU使用量の削減... 続きを読む
Microsoftの検索エンジンBingがTransformerからLLMとSLMの組み合わせに移行&TensorRT-LLMの統合を発表
Microsoftは検索エンジンのBingで、これまでGoogleが開発した機械学習モデルの「Transformer」を採用してきました。しかし、Transformerに限界が訪れたとして、大規模言語モデル(LLM)と小規模言語モデル(SLM)の組み合わせに移行すると発表しています。さらに、ワークフローにNVIDIAが開発している「TensorRT-LLM」を統合... 続きを読む
Microsoftが軽量なのにGPT-4oを圧倒的に上回る数学性能を発揮するAIモデル「Phi-4」をリリース
Microsoftが言語モデル「Phi-4」を2024年12月13日にリリースしました。Phi-4のパラメーター数は140億で主要な大規模言語モデルと比べると小規模ですが、数学性能では最上位クラスの性能を発揮します。 Introducing Phi-4: Microsoft’s Newest Small Language Model Specializing in Complex Reasoning | Microsoft Commu... 続きを読む
生成AIサービスに個人情報をアップロードしたくない!! Windowsローカルで大規模言語モデル(LLM)を利用する
生成AIサービスに個人情報をアップロードしたくない!! Windowsローカルで大規模言語モデル(LLM)を利用する:Tech TIPS ChatGPTやMicrosoft Copilotなどの生成AIサービスが便利なのは分かるが、いざ使おうと思うと「情報漏えいなどが心配」と感じていないだろうか。そんな心配がある場合、手元のWindows 10/11上でLL... 続きを読む
Midjourneyが画像生成AIや文章生成AIを組み合わせて創作できる巨大なキャンバスツール「Patchwork」を開発
画像生成AIを提供するMidjourneyが、マルチプレイヤーワールド構築ツールの「Patchwork」を公開したと発表しました。このPatchorkは、言語モデルと画像生成モデルを組み合わせることで、複数人による共同作業で1つの世界を作り出すことができます。 Patchwork Research Preview https://updates.midjourney.com/patchwor... 続きを読む
「Xのアルゴリズム」は数日であなたの政治的意見を変えられる――米スタンフォード大が1000人以上で検証
研究チームは、大規模言語モデル(LLM)を活用し、政治的に分極化をもたらす可能性のあるコンテンツへの影響を調べるため、リアルタイムでXのフィードを再ランク付けするアプローチを開発し、ユーザーへの影響を調査した。 実験では、Xのユーザー1256人の協力を得て10日間実施。ブラウザ拡張機能を使用してフィードをリ... 続きを読む
2.5兆トークンを学習したOSSのコード生成LLM「OpenCoder」公開 プロジェクトが明す、コードLLM構築に重要な3要素とは
OpenCoderプロジェクトは2024年11月8日(米国時間)、オープンソースソフトウェア(OSS)のLLM(大規模言語モデル)、「OpenCoder」を公開した。同プロジェクトは以下のように説明している。 OpenCoderは、トップクラスのコード生成LLMの性能に匹敵する、オープンで再現可能なコードLLMファミリーだ。本プロジェクトでは... 続きを読む