ChatGPTを10倍以上高速化、秒速1,000兆回の演算ができるAIチップを開発 シリコンバレーで注目されるAIスタートアップGroqとは | AMP[アンプ] - ビジネスインスピレーションメディア

2024/04/27 19 users chatgpt AMP 演算 アンプ LLM

NVIDIAに対抗するAIスタートアップGroqとは？ NVIDIAが驚異的な決算を記録する中、シリコンバレーで密かに注目を集めているスタートアップがある。大規模言語モデル（LLM）の推論に特化したAIチップ「言語処理ユニット（LPU）」を開発するGroqだ。 VentureBeat（2024年2月23日）の報道によると、Groqは「年末までに、（... 続きを読む

飲み屋で隣の席にいる、おそらくまだ付き合っていないカップルの男性「この前は酔って電話しちゃってごめんね」→女性の反応がえっち過ぎた

2024/03/24 152 users 飲み屋 ごめん 数理 カップル 反応

sho_yokoi @sho_yokoi (理解|納得)のための(説明|正当化|推論|議論)を担う(言語|知識)の数理と上達の方法論とインセンティブデザインとアナログゲームに興味があります。En: @sho_yokoi_ cl.ecei.tohoku.ac.jp/~yokoi/ sho_yokoi @sho_yokoi 飲み屋で隣の席にいる、おそらくまだ付き合っていないカップルの男性「この前... 続きを読む

1ビットLLMの衝撃! 70Bで8.9倍高速　全ての推論を加算のみで!GPU不要になる可能性も

2024/02/28 645 users 春節 1ビットLLM 怒涛 GPU不要 加算

1ビットLLMの衝撃! 70Bで8.9倍高速　全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信... 続きを読む

Appleは大規模言語モデルをiPhone上でローカルに動作させることを目指している

2023/12/22 15 users iPhone上 Apple 言語モデル プレプリントサーバー

Appleの研究者が「LLM in a flash: Efficient Large Language Model Inference with Limited Memory」と題した論文をプレプリントサーバーのarXivに公開しました。この論文では「メモリが限られたデバイス上で大規模言語モデル(LLM)の推論を効果的に行う道を開く解決策」、すなわちiPhoneなどのデバイス上でLLMを動作さ... 続きを読む

LINEの3.6B言語モデルで遊んだら爆笑した｜shi3z

2023/08/15 680 users shi3z 言語モデル line LLM prompt

LINEから36億(3.6B)パラメータの大規模言語モデル(LLM)が公開されたので早速遊んでみた。正確には遊んだのは昨日のデイリーAIニュースなのだが、面白かったのでこちらにも転載する。 細かいやり方は大先生のページを参照のこと。 例によってこんな関数を書いた def line(prompt): # 推論の実行 input_ids = tokenizer.en... 続きを読む

Windows 11 の WSL で GPU を使って rinna InstructGPT - nownab.log

2023/06/25 15 users WSL GPU LLM nownab.log CUDA

はじめに 最近、念願のつよつよ GPU がついた PC を新調して WSL で環境構築を頑張っている。今回は GPU を使った LLM の推論を試した。 ここでの GPU は NVIDIA のもので、GPU の環境構築は WSL で CUDA を使えるようにすることを意味する。また、WSL の Distribution は Ubuntu-22.04。 LLM としては rinna 社の日本語... 続きを読む

Azure OpenAI Service の REST API リファレンス - Azure OpenAI

2023/06/20 12 users リファレンス ヘッダー Azure OpenAI API 認証

この記事では、Azure OpenAI の推論 REST API エンドポイントについて詳しく説明します。 認証 Azure OpenAI には、2 つの認証方法が用意されています。 API キーまたは Azure Active Directory のいずれかを使用できます。 API キー認証: この種類の認証の場合、すべての API 要求で、api-key HTTP ヘッダーに API キー... 続きを読む

Googleの生成型AI「Bard」、論理と推論で機能向上　スプレッドシートへのエクスポートも可能に

2023/06/08 13 users Bard スプレッドシート エクスポート コーディング タスク

Googleは、チャットAI「Bard」の数学的なタスクの処理機能を向上させた。従来より30％精度が上がったとしている。また、Bardで作成した表組みをGoogleスプレッドシートにエクスポートできるようになった。 米Googleは6月7日（現地時間）、チャットAI「Google Bard」の数学的なタスク、コーディング、文字列操作の機能を... 続きを読む

算数や計算が苦手な対話型チャットAIに数学的推論を正しく行わせるには途中のステップをチェックしながら訓練するのがよいとOpenAIが提案

2023/06/01 12 users OpenAI GPT chatgpt 算数 対話型チャットAI

ChatGPTやGoogle BardなどのチャットAIは、OpenAIのGPTやGoogleのPaLM 2などの大規模言語モデルをベースにしており、人間が書いたものと同じくらい自然な文章で対話を行うことが可能です。しかし、あくまでも言語処理のAIであるため、チャットAIに数学の問題をお願いすると、簡単な計算ミスをしてしまうことがよくありま... 続きを読む

AIの「学習」と「推論」って何が違うの？　“ハコ”に例えてカンタン解説

2023/05/16 16 users はご 生成AI クリエイター 議論 画像生成AI

AIの「学習」と「推論」は何が違うのか。この違いを押さえておくことで、AIに関する議論をする際にもポイントが分かりやすくなるはずだ。 生成AI、特に画像生成AIを巡ってはクリエイターの権利や利益と相反するのではないかと議論になっている。こうした議論では、例えば「学習に使われる著作物について許可は不要」など... 続きを読む

「WebGPU」をサポートした「Google Chrome 113」が正式版に ～脆弱性の修正は15件／グラフィックスの描画や機械学習モデルの推論に大きなメリット

2023/05/07 13 users WebGPU グラフィックス 描画 脆弱性 正式版

続きを読む

エネルギー最小点で動作するAI半導体（ニューラルネットワーク・アクセラレータ）技術の開発に成功 モバイルエッジ高性能AI技術

2023/04/26 18 users AI半導体 PIM 成功 ニューラルネットワーク 開発

要点 エネルギー最小点におけるSRAM動作と、超低電圧リテンションによるパワーゲーティングの両方を実現できる新たなSRAM技術を用いて、プロセッシング・イン・メモリ（PIM）型のニューラルネットワーク（NN）アクセラレータのマクロを開発。 動作時電力を99%、待機時電力を84%削減し、推論のエネルギー効率の飛躍的な増... 続きを読む

Transformerに自分の好みのDLsite音声作品を学習させて、癖に刺さる新作を毎日通知するシステムを作った話 - Qiita

2023/02/18 163 users Transformer クローリング Qiita 精度向上

Transformerに自分の好みのDLsite音声作品を学習させて、癖に刺さる新作を毎日通知するシステムを作った話 作ったもの DLsiteの新作音声作品をクローリング -> 好みかどうか推論 -> 好みならSlack通知をするシステムを完全サーバーレス（AWS SAM）で構築しました。さらなる精度向上のため、Slackメッセージのボタンをも... 続きを読む

Colabo関係の監査結果への違和感の検討

2023/01/09 94 users Colabo関係 違和感 監査結果 検討 元増田

Colabo関係の住民監査請求監査結果を読む② https://anond.hatelabo.jp/20230105011337 この元増田です。 前回で最後の投稿と言いながら申し訳ありません、今度こそこれで最後です。 前回までで書いた監査結果の違和感、多分これが答えかな、という推論が自分の中でまとまったので記録しておきます。 結論結論から先に書... 続きを読む

広く表現の自由を守るオタク連合 on Twitter: "この手の陰謀論がくだらないの、宮台「ごとき」を襲撃できるなら住所割れてる暇空を直にぶっ◯した方が早いという推論が出来てないところに

2022/12/22 52 users ごとき くだらない 陰謀論 オタク連合 on Twitter

この手の陰謀論がくだらないの、宮台「ごとき」を襲撃できるなら住所割れてる暇空を直にぶっ◯した方が早いという推論が出来てないところにある。 https://t.co/f2q0B8obqA 続きを読む

音声認識モデル Whisper の推論をほぼ倍速に高速化した話 - Qiita

2022/12/05 10 users whisper ソースコ Qiita 重み 認識

本記事は MIXI DEVELOPERS Advent Calendar 2022 の4日目の記事です。 TL;DR Romi チームでは自然言語処理をメインでやりつつ、最近は音声系も手を出しつつあるよ 2022年末現在の音声認識最強モデル Whisper を高速化 重みの fp16 化 TorchScript 化 認識の長さを30秒ごとから10秒ごとに 結果処理速度が約2倍に ソースコ... 続きを読む

クラウドサーバー不要でリアルタイムの故障予知 オンデバイス学習AIチップ開発 ローム

2022/10/11 12 users ローム センサ モーター リアルタイム クラウドサーバー

ロームは、AIにより、モーターやセンサなどを搭載する電子機器の故障予知をリアルタイムで実現できる、オンデバイス学習AIチップを開発しました。 このAIニュースのポイント 学習可能な従来AIチップ比で1000分の1程度の超低消費電力で学習・推論が可能 クラウドサーバーとの連携なしで使える、エンドポイントデバイス向... 続きを読む

お手軽で高速なFastAPIでCloudRu...

2022/06/15 19 users FastAPI GCP CloudRun pkl 推論API

目次 FastAPIとは 特徴 API作成までの手軽さ Flaskよりも非常に高速 ドキュメントの自動生成 簡単なAPIを作る インストール シンプルなGETのAPIを作る 自動生成されるドキュメント 推論APIを作る 学習済みモデル(.pkl)の読み込み リクエストボディから推論を行う 推論APIを公開する GCP: CloudRunについて gcloudコマン... 続きを読む

たわわ広告の件でid:sametashark氏との対話と、議論が噛み合わない理由の推論 - 罰を受けて罪を償う

2022/04/24 254 users Shin-Fedor 対話 議論 たわわ広告 諸々

※この記事は「日経新聞たわわ広告問題」をはじめとする諸々のあれこれを知らない方には全く意味不明かと思う。あしからず。 はじめに id:sametashark氏との対話全編（無編集） sametashark氏を名指しでコメントした理由 前提：id:Shin-Fedorのたわわ広告へのスタンス 今回の議論のまとめ（id:Shin-Fedor視点） うまく伝... 続きを読む

代理モデルによる機械学習モデルの説明 - Qiita

2021/09/25 13 users Qiita DNN GBDT 機械学習モデル etc

はじめに 代理モデル (surrogate model) とは複雑な機械学習モデル（e.g., DNN, GBDT）を近似する簡単なモデル（e.g., パラメタ数の少ないDNN, 単純決定木, etc）のことを指します．代理モデルは推論の高速化・機械学習モデルの説明などさまざまな用途に使われています． この記事では代理モデルによる機械学習モデルの... 続きを読む

ガタイの良い男と一緒にいたら被害に合わないって推論は何故出来るの？

2021/04/04 17 users ガタイ 被害 良い男

https://b.hatena.ne.jp/entry/s/twitter.com/Utekido/status/1376759380901654534 この件のブクマで嘘松派に対してそうは思わないという反論が結構あるけど、これは何か根拠があって推論しているの？ 女性の体験でなく男性のブクマでそういう意見書いてる人は体感値すらないと思うんだけど、なんかデータがあるの？ 別... 続きを読む

愛知県知事リコールの不正署名は「やっていた関係者の誰かが、表にわざと出した感じがする」辛坊治郎が推論（ニッポン放送） - Yahoo!ニュース

2021/02/25 15 users 大村秀章知事 パーソナリティ ズーム キャスター 辛坊治郎

キャスターの辛坊治郎氏が2月25日、自身がパーソナリティを務めるニッポン放送「辛坊治郎　ズーム　そこまで言うか！」に出演。愛知県の大村秀章知事のリコール運動を巡る不正署名問題について、この発覚の仕方の背景について推論した。 愛知県の大村秀章知事のリコール運動を巡る不正署名問題で、愛知県警は昨日24日に... 続きを読む

CNN.co.jp : コロナ感染の半分以上、径路は無症状者か　米ＣＤＣ研究

2021/01/16 27 users cDc CNN CNN.co.jp 新型コロナウイルス 感染源

（ＣＮＮ） 米疾病対策センター（ＣＤＣ）の研究者グループは１６日までに、新型コロナウイルスの全ての感染事例の約５９％で感染源が無症状者になっている可能性があるとする新たな調査結果を発表した。 米医師会誌が掲載した。現実に起きている事態を踏まえた研究結果ではなく予測モデルに基づく推論とした。中国で実... 続きを読む

新型コロナウイルスへの対応で、PCR抑制論という詭弁に至るまでの道がどうして築かれたのかの推論。HPVワクチン推進派との関係(2021.1.8作成) - Togetter

2021/01/08 20 users Togetter HPV PCR BuzzFeed 詭弁

研究者「」@1copyからのRT-PCR @uwemon PCR抑制論者の急先鋒の背景にはHPVワクチン推進派の陰があることは皆さん気付いています。BuzzFeedの岩永氏が典型例です。そして彼女は「PCRは精度の悪い検査」と言い切っていますがそれはなぜか。実はHPVのPCRはmultiplex PCRで複数のターゲットをいっぺんに増幅してくる方法を使... 続きを読む

研究者「」@1copyからのRT-PCR on Twitter: "PCR抑制論という詭弁に至るまでの道がどうして築かれたのかの推論を長文でツイートします。"

2021/01/07 14 users 詭弁 PCR抑制論 長文 RT-PCR on Twitter

PCR抑制論という詭弁に至るまでの道がどうして築かれたのかの推論を長文でツイートします。 続きを読む