OpenAI o1の開発者がo1の仕組みなどについて語るインタビュー（日本語訳と感想）｜IT navi

2024/10/20 137 users インタビュー IT navi OpenAI o1 感想 開発者

ソーニャ・ホアン: 本日はノーム、ハンター、イルゲをお迎えしました。3人はOpenAIのプロジェクト・ストロベリー、別名o1の研究者です。o1はOpenAIが初めて本格的に取り組んだ汎用推論時計算で、推論、思考連鎖、推論時スケーリング則などについてチームと話し合うのを楽しみにしています。 o1への確信ソーニャ・ホアン:... 続きを読む

「現在のLLMに真の推論は困難」──Appleの研究者らが論文発表

2024/10/12 522 users LLM 論文 Apple 限界 米Apple

米AppleのAI研究者らは10月7日（現地時間）、「GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models」（LLMにおける数学的推論の限界を理解する）という論文を発表した。 この論文は、LLM（大規模言語モデル）が、本当に人間のように論理的に考えて問題を解けるのか、とい... 続きを読む

LLMの論理的推論を強化する新技術「Logic-of-Thought（LoT）」　従来のChain-of-Thought（思考の連鎖）の「不忠実な推論」問題解決を目指す | Ledge.ai

2024/10/12 10 users LLM LOT Chain-of-Thought 連鎖 TOP

Top > 学術＆研究 > LLMの論理的推論を強化する新技術「Logic-of-Thought（LoT）」　従来のChain-of-Thought（思考の連鎖）の「不忠実な推論」問題解決を目指す 続きを読む

RAG-LLMシステムへのユーザークエリは4つのレベルに分類できる 最も複雑なのは「隠れた根拠からの推論が必要なクエリ」Microsoftによる研究 | AIDB

2024/09/27 30 users AIDB クエリ 文書 Microsoft 課題

以下では、クエリのタイプ別に、概要と課題そして解決策を列挙していきます。 クエリタイプ1. 明示的事実クエリ 明示的事実クエリは、質問の中で最も簡単なタイプです。与えられた文書や文書の一部から直接答えを見つけることができます。多くの場合、答えは文書の中にはっきりと書かれていて、難しい推論をしなくても答... 続きを読む

OpenAIが新モデル「o1-preview」の思考内容を出力させようとしたユーザーに警告

2024/09/19 13 users OpenAI o1-preview 連鎖 警告 精度

複雑な推論を行えるOpenAIのモデル「o1-preview」では「思考の連鎖(chain of thought)」プロセスを挟むことで推論の精度を高めています。思考の連鎖プロセスの中身は非公開ですが、ユーザーの中には何とかして中身を出力させようとする人もいます。OpenAIがそうしたユーザーに対し警告を行っていることが明らかになりま... 続きを読む

コード生成・数学・推論の能力が大幅に向上した「Mistral Large 2」をMistral AIがリリース

2024/07/25 5 users Mistral Large コンテキストウィンドウ 数学

フランスのAI開発企業・Mistral AIが、新世代の主力モデル「Mistral Large 2」を2024年7月24日に発表しました。Mistral Large 2は、コード生成、数学、推論能力が大幅に向上したほか、128kのコンテキストウィンドウを持ち、数十種類の言語やプログラミング言語にも対応しています。 Large Enough | Mistral AI | Frontie... 続きを読む

TypeScript v4.9からv5.5で追加された機能のおさらい - STORES Product Blog

2024/06/24 6 users おさらい STORES Product Blog 機能 水野

STORES 予約 エンジニアの水野です。STORES 予約 の店舗管理画面で利用しているTypeScriptをv4.8からv5.5にアップグレードしたので追加された主な機能をおさらいしようと思います。 satisfies (v4.9) v4.9で実装されました。 型アノテーションのように型付けしつつ型推論も行う演算子です。 例を見てみましょう。 type C... 続きを読む

LLMエージェントの設計16パターン | AIDB

2024/05/29 16 users ハルシネーション AIDB LLMエージェント 道筋 生成

LLMエージェントの設計は課題が多い上に分類が整理されていません。なお課題としてはハルシネーション（誤った情報の生成）の存在や推論の道筋が不明瞭な点などが挙げられています。 今回研究者らは、基盤モデルを使ったエージェントの設計パターン16種類をまとめました。例えば、エージェントが目標をどうやって設定す... 続きを読む

明示的な型注釈によって推論コストを下げるというアプローチ

2024/05/29 15 users 型注釈 アプローチ JSR TypeScript deno

近年、TypeScript を取り巻くエコシステムでは、ユーザーに明示的な型注釈を求めることで、推論や型生成のコストを下げるというアプローチが注目されています。TypeScript 5.5 beta で　発表された --isolatedDeclarations オプションはその代表的な機能ですし、Deno の提供する新しいパッケージレジストリ JSR が提唱し... 続きを読む

M1MacでOllamaを試したら爆速で驚いた

2024/05/18 158 users Ollama LLM 爆速 CUDA MacOS

はじめに いつもNVIDIAが載っているWindowsで楽しくLLMを動かしたり生成AIライフを楽しんでいますが、今回はMacOSでOllamaを入れてLlama3を動かしてみました。 スペック： Apple M1 Pro(16 GB) 少し前だとCUDAのないMacでは推論は難しい感じだったと思いますが、今ではOllamaのおかげでMacでもLLMが動くと口コミを見かけ... 続きを読む

ChatGPTを10倍以上高速化、秒速1,000兆回の演算ができるAIチップを開発 シリコンバレーで注目されるAIスタートアップGroqとは | AMP[アンプ] - ビジネスインスピレーションメディア

2024/04/27 19 users chatgpt AMP 演算 アンプ LLM

NVIDIAに対抗するAIスタートアップGroqとは？ NVIDIAが驚異的な決算を記録する中、シリコンバレーで密かに注目を集めているスタートアップがある。大規模言語モデル（LLM）の推論に特化したAIチップ「言語処理ユニット（LPU）」を開発するGroqだ。 VentureBeat（2024年2月23日）の報道によると、Groqは「年末までに、（... 続きを読む

飲み屋で隣の席にいる、おそらくまだ付き合っていないカップルの男性「この前は酔って電話しちゃってごめんね」→女性の反応がえっち過ぎた

2024/03/24 152 users 飲み屋 ごめん 数理 カップル 反応

sho_yokoi @sho_yokoi (理解|納得)のための(説明|正当化|推論|議論)を担う(言語|知識)の数理と上達の方法論とインセンティブデザインとアナログゲームに興味があります。En: @sho_yokoi_ cl.ecei.tohoku.ac.jp/~yokoi/ sho_yokoi @sho_yokoi 飲み屋で隣の席にいる、おそらくまだ付き合っていないカップルの男性「この前... 続きを読む

1ビットLLMの衝撃! 70Bで8.9倍高速　全ての推論を加算のみで!GPU不要になる可能性も

2024/02/28 645 users 春節 1ビットLLM 怒涛 GPU不要 加算

1ビットLLMの衝撃! 70Bで8.9倍高速　全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信... 続きを読む

1つのGPU／CPUで推論可能な超軽量LLM「tsuzumi」を24年3月から提供へ

2024/01/16 5 users tsuzumi GPU LLM CPU gpt-3

1つのGPU／CPUで推論可能な超軽量LLM「tsuzumi」を24年3月から提供へ：学習コストは「GPT-3」の300分の1に（1/2 ページ） NTTが、独自開発した大規模言語モデル（LLM）「tsuzumi」を2024年3月から提供開始する。tsuzumiは、パラメーターサイズが6億または70億と軽量でありながら、世界トップクラスの日本語処理性能を持... 続きを読む

Appleは大規模言語モデルをiPhone上でローカルに動作させることを目指している

2023/12/22 15 users iPhone上 Apple 言語モデル プレプリントサーバー

Appleの研究者が「LLM in a flash: Efficient Large Language Model Inference with Limited Memory」と題した論文をプレプリントサーバーのarXivに公開しました。この論文では「メモリが限られたデバイス上で大規模言語モデル(LLM)の推論を効果的に行う道を開く解決策」、すなわちiPhoneなどのデバイス上でLLMを動作さ... 続きを読む

有害事象報告ベースでは因果関係の推論はできない - NATROMのブログ

2023/11/30 7 users NATROM 因果関係 ブログ

平岡厚さんとHPVワクチンの安全性に関する対話をはじめたわけ 2023年8月からX（旧Twitter）にて、元杏林大学保健学部准教授の平岡厚さんと対話を続けています。平岡さんは『HPVワクチン論争を再考する　推進派の主張の問題点を中心に』といった和文論文にて「HPVワクチンの深刻な副反応・薬害としての自己免疫性脳症が、... 続きを読む

［速報］マイクロソフト、独自設計のAIチップ「Azure Maia」発表。AIの学習と推論に最適化。Ignite 2023

2023/11/15 6 users トランジスタ マイクロソフト AIチップ 独自設計 推論処理

マイクロソフトは開催中の年次イベント「Microsoft Ignite 2023」で、AIの学習や推論処理を高速に実行可能な独自設計のAIアクセラレータチップ「Azure Maia」を発表しました。 「これは5ナノメータプロセスで製造され、1050億のトランジスタで構成される、現在の技術では最大規模のチップの1つだ。そしてチップのみなら... 続きを読む

LINEの3.6B言語モデルで遊んだら爆笑した｜shi3z

2023/08/15 680 users shi3z 言語モデル line LLM prompt

LINEから36億(3.6B)パラメータの大規模言語モデル(LLM)が公開されたので早速遊んでみた。正確には遊んだのは昨日のデイリーAIニュースなのだが、面白かったのでこちらにも転載する。 細かいやり方は大先生のページを参照のこと。 例によってこんな関数を書いた def line(prompt): # 推論の実行 input_ids = tokenizer.en... 続きを読む

Windows 11 の WSL で GPU を使って rinna InstructGPT - nownab.log

2023/06/25 15 users WSL GPU LLM nownab.log CUDA

はじめに 最近、念願のつよつよ GPU がついた PC を新調して WSL で環境構築を頑張っている。今回は GPU を使った LLM の推論を試した。 ここでの GPU は NVIDIA のもので、GPU の環境構築は WSL で CUDA を使えるようにすることを意味する。また、WSL の Distribution は Ubuntu-22.04。 LLM としては rinna 社の日本語... 続きを読む

Azure OpenAI Service の REST API リファレンス - Azure OpenAI

2023/06/20 12 users リファレンス ヘッダー Azure OpenAI API 認証

この記事では、Azure OpenAI の推論 REST API エンドポイントについて詳しく説明します。 認証 Azure OpenAI には、2 つの認証方法が用意されています。 API キーまたは Azure Active Directory のいずれかを使用できます。 API キー認証: この種類の認証の場合、すべての API 要求で、api-key HTTP ヘッダーに API キー... 続きを読む

Googleの対話型AI「Bard」がバックグラウンドでコードを実行できるようにする「暗黙的なコード実行」を導入、文字列の操作や論理・推論を含む複雑なタスクに対する回答精度が向上

2023/06/08 8 users Bard プロンプト コーディング タスク 論理

Googleが2023年2月に発表し、同年3月に一般公開を開始した対話型AIが「Bard」です。GoogleがこのBardにバックグラウンドでコードを実行し、数学的なタスクやコーディングの質問、文字列操作に関するプロンプトに対して正確に応答できる「implicit code execution(暗黙的なコード実行)」と呼ばれる手法を導入したと、現地... 続きを読む

Googleの生成型AI「Bard」、論理と推論で機能向上　スプレッドシートへのエクスポートも可能に

2023/06/08 13 users Bard スプレッドシート エクスポート コーディング タスク

Googleは、チャットAI「Bard」の数学的なタスクの処理機能を向上させた。従来より30％精度が上がったとしている。また、Bardで作成した表組みをGoogleスプレッドシートにエクスポートできるようになった。 米Googleは6月7日（現地時間）、チャットAI「Google Bard」の数学的なタスク、コーディング、文字列操作の機能を... 続きを読む

算数や計算が苦手な対話型チャットAIに数学的推論を正しく行わせるには途中のステップをチェックしながら訓練するのがよいとOpenAIが提案

2023/06/01 12 users OpenAI GPT chatgpt 算数 対話型チャットAI

ChatGPTやGoogle BardなどのチャットAIは、OpenAIのGPTやGoogleのPaLM 2などの大規模言語モデルをベースにしており、人間が書いたものと同じくらい自然な文章で対話を行うことが可能です。しかし、あくまでも言語処理のAIであるため、チャットAIに数学の問題をお願いすると、簡単な計算ミスをしてしまうことがよくありま... 続きを読む

Metaが沈黙破り独自AIチップを発表、特定条件下の推論はGPUの3倍高速

2023/05/19 5 users Meta GPU 特定条件下

米Meta（メタ、旧Facebook）は米国時間2023年5月18日、独自のAI（人工知能）用チップを発表した。かねて同社を巡ってはAI用チップの独自開発の観測があり、米一部メディアが開発中止を報じていたものの、同社はこれまで沈黙を保ってきた経緯がある。米Google（グーグル）や米Amazon.com（アマゾン・ドット・コム）などが... 続きを読む

AIの「学習」と「推論」って何が違うの？　“ハコ”に例えてカンタン解説

2023/05/16 16 users はご 生成AI クリエイター 議論 画像生成AI

AIの「学習」と「推論」は何が違うのか。この違いを押さえておくことで、AIに関する議論をする際にもポイントが分かりやすくなるはずだ。 生成AI、特に画像生成AIを巡ってはクリエイターの権利や利益と相反するのではないかと議論になっている。こうした議論では、例えば「学習に使われる著作物について許可は不要」など... 続きを読む