OpenAI o1の開発者がo1の仕組みなどについて語るインタビュー（日本語訳と感想）｜IT navi

2024/10/20 137 users インタビュー IT navi OpenAI o1 感想 開発者

ソーニャ・ホアン: 本日はノーム、ハンター、イルゲをお迎えしました。3人はOpenAIのプロジェクト・ストロベリー、別名o1の研究者です。o1はOpenAIが初めて本格的に取り組んだ汎用推論時計算で、推論、思考連鎖、推論時スケーリング則などについてチームと話し合うのを楽しみにしています。 o1への確信ソーニャ・ホアン:... 続きを読む

「現在のLLMに真の推論は困難」──Appleの研究者らが論文発表

2024/10/12 522 users LLM 論文 Apple 限界 米Apple

米AppleのAI研究者らは10月7日（現地時間）、「GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models」（LLMにおける数学的推論の限界を理解する）という論文を発表した。 この論文は、LLM（大規模言語モデル）が、本当に人間のように論理的に考えて問題を解けるのか、とい... 続きを読む

LLMの論理的推論を強化する新技術「Logic-of-Thought（LoT）」　従来のChain-of-Thought（思考の連鎖）の「不忠実な推論」問題解決を目指す | Ledge.ai

2024/10/12 10 users LLM LOT Chain-of-Thought 連鎖 TOP

Top > 学術＆研究 > LLMの論理的推論を強化する新技術「Logic-of-Thought（LoT）」　従来のChain-of-Thought（思考の連鎖）の「不忠実な推論」問題解決を目指す 続きを読む

RAG-LLMシステムへのユーザークエリは4つのレベルに分類できる 最も複雑なのは「隠れた根拠からの推論が必要なクエリ」Microsoftによる研究 | AIDB

2024/09/27 30 users AIDB クエリ 文書 Microsoft 課題

以下では、クエリのタイプ別に、概要と課題そして解決策を列挙していきます。 クエリタイプ1. 明示的事実クエリ 明示的事実クエリは、質問の中で最も簡単なタイプです。与えられた文書や文書の一部から直接答えを見つけることができます。多くの場合、答えは文書の中にはっきりと書かれていて、難しい推論をしなくても答... 続きを読む

OpenAIが新モデル「o1-preview」の思考内容を出力させようとしたユーザーに警告

2024/09/19 13 users OpenAI o1-preview 連鎖 警告 精度

複雑な推論を行えるOpenAIのモデル「o1-preview」では「思考の連鎖(chain of thought)」プロセスを挟むことで推論の精度を高めています。思考の連鎖プロセスの中身は非公開ですが、ユーザーの中には何とかして中身を出力させようとする人もいます。OpenAIがそうしたユーザーに対し警告を行っていることが明らかになりま... 続きを読む

LLMエージェントの設計16パターン | AIDB

2024/05/29 16 users ハルシネーション AIDB LLMエージェント 道筋 生成

LLMエージェントの設計は課題が多い上に分類が整理されていません。なお課題としてはハルシネーション（誤った情報の生成）の存在や推論の道筋が不明瞭な点などが挙げられています。 今回研究者らは、基盤モデルを使ったエージェントの設計パターン16種類をまとめました。例えば、エージェントが目標をどうやって設定す... 続きを読む

明示的な型注釈によって推論コストを下げるというアプローチ

2024/05/29 15 users 型注釈 アプローチ JSR TypeScript deno

近年、TypeScript を取り巻くエコシステムでは、ユーザーに明示的な型注釈を求めることで、推論や型生成のコストを下げるというアプローチが注目されています。TypeScript 5.5 beta で　発表された --isolatedDeclarations オプションはその代表的な機能ですし、Deno の提供する新しいパッケージレジストリ JSR が提唱し... 続きを読む

M1MacでOllamaを試したら爆速で驚いた

2024/05/18 158 users Ollama LLM 爆速 CUDA MacOS

はじめに いつもNVIDIAが載っているWindowsで楽しくLLMを動かしたり生成AIライフを楽しんでいますが、今回はMacOSでOllamaを入れてLlama3を動かしてみました。 スペック： Apple M1 Pro(16 GB) 少し前だとCUDAのないMacでは推論は難しい感じだったと思いますが、今ではOllamaのおかげでMacでもLLMが動くと口コミを見かけ... 続きを読む

ChatGPTを10倍以上高速化、秒速1,000兆回の演算ができるAIチップを開発 シリコンバレーで注目されるAIスタートアップGroqとは | AMP[アンプ] - ビジネスインスピレーションメディア

2024/04/27 19 users chatgpt AMP 演算 アンプ LLM

NVIDIAに対抗するAIスタートアップGroqとは？ NVIDIAが驚異的な決算を記録する中、シリコンバレーで密かに注目を集めているスタートアップがある。大規模言語モデル（LLM）の推論に特化したAIチップ「言語処理ユニット（LPU）」を開発するGroqだ。 VentureBeat（2024年2月23日）の報道によると、Groqは「年末までに、（... 続きを読む

飲み屋で隣の席にいる、おそらくまだ付き合っていないカップルの男性「この前は酔って電話しちゃってごめんね」→女性の反応がえっち過ぎた

2024/03/24 152 users 飲み屋 ごめん 数理 カップル 反応

sho_yokoi @sho_yokoi (理解|納得)のための(説明|正当化|推論|議論)を担う(言語|知識)の数理と上達の方法論とインセンティブデザインとアナログゲームに興味があります。En: @sho_yokoi_ cl.ecei.tohoku.ac.jp/~yokoi/ sho_yokoi @sho_yokoi 飲み屋で隣の席にいる、おそらくまだ付き合っていないカップルの男性「この前... 続きを読む

1ビットLLMの衝撃! 70Bで8.9倍高速　全ての推論を加算のみで!GPU不要になる可能性も

2024/02/28 645 users 春節 1ビットLLM 怒涛 GPU不要 加算

1ビットLLMの衝撃! 70Bで8.9倍高速　全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信... 続きを読む

Appleは大規模言語モデルをiPhone上でローカルに動作させることを目指している

2023/12/22 15 users iPhone上 Apple 言語モデル プレプリントサーバー

Appleの研究者が「LLM in a flash: Efficient Large Language Model Inference with Limited Memory」と題した論文をプレプリントサーバーのarXivに公開しました。この論文では「メモリが限られたデバイス上で大規模言語モデル(LLM)の推論を効果的に行う道を開く解決策」、すなわちiPhoneなどのデバイス上でLLMを動作さ... 続きを読む

LINEの3.6B言語モデルで遊んだら爆笑した｜shi3z

2023/08/15 680 users shi3z 言語モデル line LLM prompt

LINEから36億(3.6B)パラメータの大規模言語モデル(LLM)が公開されたので早速遊んでみた。正確には遊んだのは昨日のデイリーAIニュースなのだが、面白かったのでこちらにも転載する。 細かいやり方は大先生のページを参照のこと。 例によってこんな関数を書いた def line(prompt): # 推論の実行 input_ids = tokenizer.en... 続きを読む

Windows 11 の WSL で GPU を使って rinna InstructGPT - nownab.log

2023/06/25 15 users WSL GPU LLM nownab.log CUDA

はじめに 最近、念願のつよつよ GPU がついた PC を新調して WSL で環境構築を頑張っている。今回は GPU を使った LLM の推論を試した。 ここでの GPU は NVIDIA のもので、GPU の環境構築は WSL で CUDA を使えるようにすることを意味する。また、WSL の Distribution は Ubuntu-22.04。 LLM としては rinna 社の日本語... 続きを読む

Azure OpenAI Service の REST API リファレンス - Azure OpenAI

2023/06/20 12 users リファレンス ヘッダー Azure OpenAI API 認証

この記事では、Azure OpenAI の推論 REST API エンドポイントについて詳しく説明します。 認証 Azure OpenAI には、2 つの認証方法が用意されています。 API キーまたは Azure Active Directory のいずれかを使用できます。 API キー認証: この種類の認証の場合、すべての API 要求で、api-key HTTP ヘッダーに API キー... 続きを読む

Googleの生成型AI「Bard」、論理と推論で機能向上　スプレッドシートへのエクスポートも可能に

2023/06/08 13 users Bard スプレッドシート エクスポート コーディング タスク

Googleは、チャットAI「Bard」の数学的なタスクの処理機能を向上させた。従来より30％精度が上がったとしている。また、Bardで作成した表組みをGoogleスプレッドシートにエクスポートできるようになった。 米Googleは6月7日（現地時間）、チャットAI「Google Bard」の数学的なタスク、コーディング、文字列操作の機能を... 続きを読む

算数や計算が苦手な対話型チャットAIに数学的推論を正しく行わせるには途中のステップをチェックしながら訓練するのがよいとOpenAIが提案

2023/06/01 12 users OpenAI GPT chatgpt 算数 対話型チャットAI

ChatGPTやGoogle BardなどのチャットAIは、OpenAIのGPTやGoogleのPaLM 2などの大規模言語モデルをベースにしており、人間が書いたものと同じくらい自然な文章で対話を行うことが可能です。しかし、あくまでも言語処理のAIであるため、チャットAIに数学の問題をお願いすると、簡単な計算ミスをしてしまうことがよくありま... 続きを読む

AIの「学習」と「推論」って何が違うの？　“ハコ”に例えてカンタン解説

2023/05/16 16 users はご 生成AI クリエイター 議論 画像生成AI

AIの「学習」と「推論」は何が違うのか。この違いを押さえておくことで、AIに関する議論をする際にもポイントが分かりやすくなるはずだ。 生成AI、特に画像生成AIを巡ってはクリエイターの権利や利益と相反するのではないかと議論になっている。こうした議論では、例えば「学習に使われる著作物について許可は不要」など... 続きを読む

「WebGPU」をサポートした「Google Chrome 113」が正式版に ～脆弱性の修正は15件／グラフィックスの描画や機械学習モデルの推論に大きなメリット

2023/05/07 13 users WebGPU グラフィックス 描画 脆弱性 正式版

続きを読む

エネルギー最小点で動作するAI半導体（ニューラルネットワーク・アクセラレータ）技術の開発に成功 モバイルエッジ高性能AI技術

2023/04/26 18 users AI半導体 PIM 成功 ニューラルネットワーク 開発

要点 エネルギー最小点におけるSRAM動作と、超低電圧リテンションによるパワーゲーティングの両方を実現できる新たなSRAM技術を用いて、プロセッシング・イン・メモリ（PIM）型のニューラルネットワーク（NN）アクセラレータのマクロを開発。 動作時電力を99%、待機時電力を84%削減し、推論のエネルギー効率の飛躍的な増... 続きを読む

Transformerに自分の好みのDLsite音声作品を学習させて、癖に刺さる新作を毎日通知するシステムを作った話 - Qiita

2023/02/18 163 users Transformer クローリング Qiita 精度向上

Transformerに自分の好みのDLsite音声作品を学習させて、癖に刺さる新作を毎日通知するシステムを作った話 作ったもの DLsiteの新作音声作品をクローリング -> 好みかどうか推論 -> 好みならSlack通知をするシステムを完全サーバーレス（AWS SAM）で構築しました。さらなる精度向上のため、Slackメッセージのボタンをも... 続きを読む

Colabo関係の監査結果への違和感の検討

2023/01/09 94 users Colabo関係 違和感 監査結果 検討 元増田

Colabo関係の住民監査請求監査結果を読む② https://anond.hatelabo.jp/20230105011337 この元増田です。 前回で最後の投稿と言いながら申し訳ありません、今度こそこれで最後です。 前回までで書いた監査結果の違和感、多分これが答えかな、という推論が自分の中でまとまったので記録しておきます。 結論結論から先に書... 続きを読む

広く表現の自由を守るオタク連合 on Twitter: "この手の陰謀論がくだらないの、宮台「ごとき」を襲撃できるなら住所割れてる暇空を直にぶっ◯した方が早いという推論が出来てないところに

2022/12/22 52 users ごとき くだらない 陰謀論 オタク連合 on Twitter

この手の陰謀論がくだらないの、宮台「ごとき」を襲撃できるなら住所割れてる暇空を直にぶっ◯した方が早いという推論が出来てないところにある。 https://t.co/f2q0B8obqA 続きを読む

音声認識モデル Whisper の推論をほぼ倍速に高速化した話 - Qiita

2022/12/05 10 users whisper ソースコ Qiita 重み 認識

本記事は MIXI DEVELOPERS Advent Calendar 2022 の4日目の記事です。 TL;DR Romi チームでは自然言語処理をメインでやりつつ、最近は音声系も手を出しつつあるよ 2022年末現在の音声認識最強モデル Whisper を高速化 重みの fp16 化 TorchScript 化 認識の長さを30秒ごとから10秒ごとに 結果処理速度が約2倍に ソースコ... 続きを読む

クラウドサーバー不要でリアルタイムの故障予知 オンデバイス学習AIチップ開発 ローム

2022/10/11 12 users ローム センサ モーター リアルタイム クラウドサーバー

ロームは、AIにより、モーターやセンサなどを搭載する電子機器の故障予知をリアルタイムで実現できる、オンデバイス学習AIチップを開発しました。 このAIニュースのポイント 学習可能な従来AIチップ比で1000分の1程度の超低消費電力で学習・推論が可能 クラウドサーバーとの連携なしで使える、エンドポイントデバイス向... 続きを読む