飲み屋で隣の席にいる、おそらくまだ付き合っていないカップルの男性「この前は酔って電話しちゃってごめんね」→女性の反応がえっち過ぎた

2024/03/24 152 users 飲み屋 ごめん 数理 カップル 反応

sho_yokoi @sho_yokoi (理解|納得)のための(説明|正当化|推論|議論)を担う(言語|知識)の数理と上達の方法論とインセンティブデザインとアナログゲームに興味があります。En: @sho_yokoi_ cl.ecei.tohoku.ac.jp/~yokoi/ sho_yokoi @sho_yokoi 飲み屋で隣の席にいる、おそらくまだ付き合っていないカップルの男性「この前... 続きを読む

1ビットLLMの衝撃! 70Bで8.9倍高速　全ての推論を加算のみで!GPU不要になる可能性も

2024/02/28 645 users 春節 1ビットLLM 怒涛 GPU不要 加算

1ビットLLMの衝撃! 70Bで8.9倍高速　全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信... 続きを読む

1つのGPU／CPUで推論可能な超軽量LLM「tsuzumi」を24年3月から提供へ

2024/01/16 5 users tsuzumi GPU LLM CPU gpt-3

1つのGPU／CPUで推論可能な超軽量LLM「tsuzumi」を24年3月から提供へ：学習コストは「GPT-3」の300分の1に（1/2 ページ） NTTが、独自開発した大規模言語モデル（LLM）「tsuzumi」を2024年3月から提供開始する。tsuzumiは、パラメーターサイズが6億または70億と軽量でありながら、世界トップクラスの日本語処理性能を持... 続きを読む

Appleは大規模言語モデルをiPhone上でローカルに動作させることを目指している

2023/12/22 15 users iPhone上 Apple 言語モデル プレプリントサーバー

Appleの研究者が「LLM in a flash: Efficient Large Language Model Inference with Limited Memory」と題した論文をプレプリントサーバーのarXivに公開しました。この論文では「メモリが限られたデバイス上で大規模言語モデル(LLM)の推論を効果的に行う道を開く解決策」、すなわちiPhoneなどのデバイス上でLLMを動作さ... 続きを読む

有害事象報告ベースでは因果関係の推論はできない - NATROMのブログ

2023/11/30 7 users NATROM 因果関係 ブログ

平岡厚さんとHPVワクチンの安全性に関する対話をはじめたわけ 2023年8月からX（旧Twitter）にて、元杏林大学保健学部准教授の平岡厚さんと対話を続けています。平岡さんは『HPVワクチン論争を再考する　推進派の主張の問題点を中心に』といった和文論文にて「HPVワクチンの深刻な副反応・薬害としての自己免疫性脳症が、... 続きを読む

［速報］マイクロソフト、独自設計のAIチップ「Azure Maia」発表。AIの学習と推論に最適化。Ignite 2023

2023/11/15 6 users トランジスタ マイクロソフト AIチップ 独自設計 推論処理

マイクロソフトは開催中の年次イベント「Microsoft Ignite 2023」で、AIの学習や推論処理を高速に実行可能な独自設計のAIアクセラレータチップ「Azure Maia」を発表しました。 「これは5ナノメータプロセスで製造され、1050億のトランジスタで構成される、現在の技術では最大規模のチップの1つだ。そしてチップのみなら... 続きを読む

LINEの3.6B言語モデルで遊んだら爆笑した｜shi3z

2023/08/15 680 users shi3z 言語モデル line LLM prompt

LINEから36億(3.6B)パラメータの大規模言語モデル(LLM)が公開されたので早速遊んでみた。正確には遊んだのは昨日のデイリーAIニュースなのだが、面白かったのでこちらにも転載する。 細かいやり方は大先生のページを参照のこと。 例によってこんな関数を書いた def line(prompt): # 推論の実行 input_ids = tokenizer.en... 続きを読む

Windows 11 の WSL で GPU を使って rinna InstructGPT - nownab.log

2023/06/25 15 users WSL GPU LLM nownab.log CUDA

はじめに 最近、念願のつよつよ GPU がついた PC を新調して WSL で環境構築を頑張っている。今回は GPU を使った LLM の推論を試した。 ここでの GPU は NVIDIA のもので、GPU の環境構築は WSL で CUDA を使えるようにすることを意味する。また、WSL の Distribution は Ubuntu-22.04。 LLM としては rinna 社の日本語... 続きを読む

Azure OpenAI Service の REST API リファレンス - Azure OpenAI

2023/06/20 12 users リファレンス ヘッダー Azure OpenAI API 認証

この記事では、Azure OpenAI の推論 REST API エンドポイントについて詳しく説明します。 認証 Azure OpenAI には、2 つの認証方法が用意されています。 API キーまたは Azure Active Directory のいずれかを使用できます。 API キー認証: この種類の認証の場合、すべての API 要求で、api-key HTTP ヘッダーに API キー... 続きを読む

Googleの対話型AI「Bard」がバックグラウンドでコードを実行できるようにする「暗黙的なコード実行」を導入、文字列の操作や論理・推論を含む複雑なタスクに対する回答精度が向上

2023/06/08 8 users Bard プロンプト コーディング タスク 論理

Googleが2023年2月に発表し、同年3月に一般公開を開始した対話型AIが「Bard」です。GoogleがこのBardにバックグラウンドでコードを実行し、数学的なタスクやコーディングの質問、文字列操作に関するプロンプトに対して正確に応答できる「implicit code execution(暗黙的なコード実行)」と呼ばれる手法を導入したと、現地... 続きを読む

Googleの生成型AI「Bard」、論理と推論で機能向上　スプレッドシートへのエクスポートも可能に

2023/06/08 13 users Bard スプレッドシート エクスポート コーディング タスク

Googleは、チャットAI「Bard」の数学的なタスクの処理機能を向上させた。従来より30％精度が上がったとしている。また、Bardで作成した表組みをGoogleスプレッドシートにエクスポートできるようになった。 米Googleは6月7日（現地時間）、チャットAI「Google Bard」の数学的なタスク、コーディング、文字列操作の機能を... 続きを読む

算数や計算が苦手な対話型チャットAIに数学的推論を正しく行わせるには途中のステップをチェックしながら訓練するのがよいとOpenAIが提案

2023/06/01 12 users OpenAI GPT chatgpt 算数 対話型チャットAI

ChatGPTやGoogle BardなどのチャットAIは、OpenAIのGPTやGoogleのPaLM 2などの大規模言語モデルをベースにしており、人間が書いたものと同じくらい自然な文章で対話を行うことが可能です。しかし、あくまでも言語処理のAIであるため、チャットAIに数学の問題をお願いすると、簡単な計算ミスをしてしまうことがよくありま... 続きを読む

Metaが沈黙破り独自AIチップを発表、特定条件下の推論はGPUの3倍高速

2023/05/19 5 users Meta GPU 特定条件下

米Meta（メタ、旧Facebook）は米国時間2023年5月18日、独自のAI（人工知能）用チップを発表した。かねて同社を巡ってはAI用チップの独自開発の観測があり、米一部メディアが開発中止を報じていたものの、同社はこれまで沈黙を保ってきた経緯がある。米Google（グーグル）や米Amazon.com（アマゾン・ドット・コム）などが... 続きを読む

AIの「学習」と「推論」って何が違うの？　“ハコ”に例えてカンタン解説

2023/05/16 16 users はご 生成AI クリエイター 議論 画像生成AI

AIの「学習」と「推論」は何が違うのか。この違いを押さえておくことで、AIに関する議論をする際にもポイントが分かりやすくなるはずだ。 生成AI、特に画像生成AIを巡ってはクリエイターの権利や利益と相反するのではないかと議論になっている。こうした議論では、例えば「学習に使われる著作物について許可は不要」など... 続きを読む

「WebGPU」をサポートした「Google Chrome 113」が正式版に ～脆弱性の修正は15件／グラフィックスの描画や機械学習モデルの推論に大きなメリット

2023/05/07 13 users WebGPU グラフィックス 描画 脆弱性 正式版

続きを読む

エネルギー最小点で動作するAI半導体（ニューラルネットワーク・アクセラレータ）技術の開発に成功 モバイルエッジ高性能AI技術

2023/04/26 18 users AI半導体 PIM 成功 ニューラルネットワーク 開発

要点 エネルギー最小点におけるSRAM動作と、超低電圧リテンションによるパワーゲーティングの両方を実現できる新たなSRAM技術を用いて、プロセッシング・イン・メモリ（PIM）型のニューラルネットワーク（NN）アクセラレータのマクロを開発。 動作時電力を99%、待機時電力を84%削減し、推論のエネルギー効率の飛躍的な増... 続きを読む

Transformerに自分の好みのDLsite音声作品を学習させて、癖に刺さる新作を毎日通知するシステムを作った話 - Qiita

2023/02/18 163 users Transformer クローリング Qiita 精度向上

Transformerに自分の好みのDLsite音声作品を学習させて、癖に刺さる新作を毎日通知するシステムを作った話 作ったもの DLsiteの新作音声作品をクローリング -> 好みかどうか推論 -> 好みならSlack通知をするシステムを完全サーバーレス（AWS SAM）で構築しました。さらなる精度向上のため、Slackメッセージのボタンをも... 続きを読む

Colabo関係の監査結果への違和感の検討

2023/01/09 94 users Colabo関係 違和感 監査結果 検討 元増田

Colabo関係の住民監査請求監査結果を読む② https://anond.hatelabo.jp/20230105011337 この元増田です。 前回で最後の投稿と言いながら申し訳ありません、今度こそこれで最後です。 前回までで書いた監査結果の違和感、多分これが答えかな、という推論が自分の中でまとまったので記録しておきます。 結論結論から先に書... 続きを読む

広く表現の自由を守るオタク連合 on Twitter: "この手の陰謀論がくだらないの、宮台「ごとき」を襲撃できるなら住所割れてる暇空を直にぶっ◯した方が早いという推論が出来てないところに

2022/12/22 52 users ごとき くだらない 陰謀論 オタク連合 on Twitter

この手の陰謀論がくだらないの、宮台「ごとき」を襲撃できるなら住所割れてる暇空を直にぶっ◯した方が早いという推論が出来てないところにある。 https://t.co/f2q0B8obqA 続きを読む

音声認識モデル Whisper の推論をほぼ倍速に高速化した話 - Qiita

2022/12/05 10 users whisper ソースコ Qiita 重み 認識

本記事は MIXI DEVELOPERS Advent Calendar 2022 の4日目の記事です。 TL;DR Romi チームでは自然言語処理をメインでやりつつ、最近は音声系も手を出しつつあるよ 2022年末現在の音声認識最強モデル Whisper を高速化 重みの fp16 化 TorchScript 化 認識の長さを30秒ごとから10秒ごとに 結果処理速度が約2倍に ソースコ... 続きを読む

クラウドサーバー不要でリアルタイムの故障予知 オンデバイス学習AIチップ開発 ローム

2022/10/11 12 users ローム センサ モーター リアルタイム クラウドサーバー

ロームは、AIにより、モーターやセンサなどを搭載する電子機器の故障予知をリアルタイムで実現できる、オンデバイス学習AIチップを開発しました。 このAIニュースのポイント 学習可能な従来AIチップ比で1000分の1程度の超低消費電力で学習・推論が可能 クラウドサーバーとの連携なしで使える、エンドポイントデバイス向... 続きを読む

Rubyで文章生成AI「GPT-2」を実行して遊んでみた - Qiita

2022/09/09 7 users Qiita Python プラットフォーム GPT-2 言語

はじめに Python 以外の言語から AI にアクセスするのは難しすぎると考えている人が多いと思います。しかし、最近は、事前トレーニング済みのモデルが多数公開されており、さまざまなプラットフォームやプログラミング言語から AI 推論を簡単に実行できるようになっています。 ここでは、Ruby 言語から ONNX ランタイム... 続きを読む

お手軽で高速なFastAPIでCloudRu...

2022/06/15 19 users FastAPI GCP CloudRun pkl 推論API

目次 FastAPIとは 特徴 API作成までの手軽さ Flaskよりも非常に高速 ドキュメントの自動生成 簡単なAPIを作る インストール シンプルなGETのAPIを作る 自動生成されるドキュメント 推論APIを作る 学習済みモデル(.pkl)の読み込み リクエストボディから推論を行う 推論APIを公開する GCP: CloudRunについて gcloudコマン... 続きを読む

タイラー・コーエン「プーチンがウクライナで戦術核兵器を使ったら世界はどう反応するのか」 | パンデミックやトランプ的な政治を経験して変わった見方

2022/05/12 7 users パンデミック ウラジーミル・プーチン大統領 プーチン ロシア

ロシアがウクライナで戦術核兵器を使ったらどうなるのか？　そんな事態が起こるのだろうかという問いから、あるいはそれが起こる可能性をどう制限すべきかということまでたくさんの推論が出ている。 だが、さほど議論されていないのが、ウラジーミル・プーチン大統領が核攻撃を発動することにした場合、それにどう反応す... 続きを読む

たわわ広告の件でid:sametashark氏との対話と、議論が噛み合わない理由の推論 - 罰を受けて罪を償う

2022/04/24 254 users Shin-Fedor 対話 議論 たわわ広告 諸々

※この記事は「日経新聞たわわ広告問題」をはじめとする諸々のあれこれを知らない方には全く意味不明かと思う。あしからず。 はじめに id:sametashark氏との対話全編（無編集） sametashark氏を名指しでコメントした理由 前提：id:Shin-Fedorのたわわ広告へのスタンス 今回の議論のまとめ（id:Shin-Fedor視点） うまく伝... 続きを読む