1bit LLM の時代は来るのか，来ないのか，どっちなんだい？｜情報処理学会・学会誌「情報処理」

2024/04/04 9 users なんだい log 徳永拓之 論文 学会誌

徳永拓之（LeapMind（株）） 1bit LLMの時代が来る？　2024 年2 月，The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits¹⁾ というタイトルの論文がarXiv上で公開され，にわかに話題となりました．“1.58 Bits” という表現はあまりなじみがありませんが，log₂(3) = 1.58 . . . ということで，パラメータ... 続きを読む

Appleの研究者、マルチモーダルLLM「MM1」の論文発表　視覚タスクではGPT-4Vに匹敵

2024/03/18 18 users moe MLLM 混合 スケール ペア

MM1は、画像とテキストのペア、画像とテキストの混合データ、テキストのみのデータの混合でトレーニングされている。Mixture-of-Experts（MoE）や教師あり微調整でパラメータを300億までスケールアップすることで、比較的コンパクトなサイズでも競合するMLLMに匹敵する結果をベンチマークで達成したとしている。 視覚タ... 続きを読む

予実管理｜福島良典 | LayerX

2024/03/05 568 users 変数 LayerX 前提 発生メカニズム 予算

予実管理はなぜ大事か予算(事業計画)とは現在の事業理解を反映したものである。予算は、売上の発生メカニズムやコストの発生メカニズムをモデル化する。モデルの中には変数(パラメータ)があり、基本的にはこの変数を達成していれば、予算が自動的に達成されるという前提で作られる。つまり予算は、その時点での事業の理... 続きを読む

生産性とかGDPとかうっせーよ!：村上福之の「ネットとケータイと俺様」：オルタナティブ・ブログ

2024/02/28 260 users ＧＤＰ パラメーター ケータイ 村上福 指標

生産性とかGDPとかうっせーよ。いやーわかんだけどさ。GDPあってもダメな国はダメだし、GDPはもはや豊かさのパラメーターとして意味ない。早く気づけ。投資や経済のパラメータの一つで、それ以上では無い。普通に海外旅行したらわかるでしょ？GDPは大事だけど、先進国としての指標は何か別の指標が必要だし、生産性は何... 続きを読む

PostgreSQLの仕組みから学ぶために必要な資料 - そーだいなるらくがき帳

2024/01/18 360 users PostgreSQL アーキテクチャ そーだい 富士通 資料

質問されることが多いのでPostgreSQL初学者が運用を行うためにしっておく知識に必要な内容をまとめる。 PostgreSQLの基本的なアーキテクチャ PostgreSQLのアーキテクチャを知らないと自分がやっている作業が危険な作業かどうかわからないし、パラメータの意味もわからない。 そこで以下のリンクを読むと良い。 富士通が... 続きを読む

Appleが、LLMのパラメータを「SSDなどの外部フラッシュメモリに保存し」PCで効率的にモデルを使用する手法を開発 | AIDB

2023/12/20 10 users LLM AIDB GPU SSD CPU

マイページに保存最終更新日：2023/12/20 Appleの研究者らは、LLMのパラメータをSSDなどの外部フラッシュメモリに保存し、接続したPCなどで読み込み使用する手法を開発しました。 CPUで4-5倍、GPUで2 […] The post Appleが、LLMのパラメータを「SSDなどの外部フラッシュメモリに保存し」PCで効率的にモデルを使用する手... 続きを読む

［速報］AWS、大規模言語モデルのトレーニングに最適化した独自プロセッサ「AWS Trainium2」発表。前モデルより最大4倍のトレーニング性能。AWS re:Invent 2023

2023/11/28 5 users プロセッサ ラスベガス AWS 基調講演 AWS re

Amazon Web Services（AWS）は、ラスベガスで開催中のイベント「AWS re:Invent 2023」の基調講演で、AIのトレーニングに最適化した独自プロセッサ「AWS Trainium2」を発表しました。 Trainium2は、最大数兆個のパラメータを持つ基盤モデルおよび大規模言語モデルのトレーニング用に設計されています。 2020年に発表され... 続きを読む

グラフ最適化をマスターしよう！ - Qiita

2023/11/22 76 users Qiita SfM ロボティクス 領域 グラフ構造

はじめに グラフ最適化（Graph Optimization）は、パラメータをグラフ構造で表現し、最適化問題を解決する手法です。特にロボティクスなどの領域で広く活用されています。 以下に、グラフ最適化の応用例をいくつか挙げます。 Visual SLAMやSFMのバンドル調整（Bundle Adjustment）問題 Graph SLAMのループクロージング問... 続きを読む

【Windows95】Pentium2搭載機にインストールして当時の世界を見てみよう【1997年のゲーミングPC】

2023/10/06 10 users ゲーミングPC Windows95 フルスク 世界 喰ら

やあ、（´・ω・`）ようこそ、Windows95の世界へ。 このブルスクはサービスだから、まずは喰らって○んで欲しい。 うん、「絶対に勝てない」んだ。済まない。 仏の顔もって言うしね、謝って許してもらおうとも思っていない。 でも、このパラメータを見たとき、君は、 きっと言葉では言い表せない 「絶望」みたいなものを感... 続きを読む

Amazon Bedrockの基本情報とRuntime APIの実行例まとめ － 参考資料、モデルの特徴、価格、使用方法、トークンと推論パラメータの説明 - NRIネットコムBlog

2023/10/03 7 users 小西秀和 NRIネットコムBlog トークン 自主研究 モデル

小西秀和です。 今回は2023-09-28にGeneral Availability(GA)になったAmazon Bedrockの基本情報、Runtime APIの実行例についてまとめました。また、トークンやパラメータのイメージをつかむための必要最小限の用語説明も所々入れています。 ※本記事および当執筆者のその他の記事で掲載されているソースコードは自主研究... 続きを読む

家族（プログラマ）が筆不精で返信が遅いことが多いので「とりあえず返り値をくれ」と伝えたらわりとスムーズになった

2023/10/03 44 users プログラマ 返り値 Argument サブルーチン 返信

リンク IT用語辞典 e-Words 戻り値とは - IT用語辞典 戻り値【返り値 / リターン値】とは、プログラム中で呼び出された関数やメソッド、サブルーチンなどが処理を終了する際に、呼び出し元に対して渡す値。これに対し、呼び出し元から関数などに対してパラメータとして渡す値のことは「引数」(ひきすう、argument)という... 続きを読む

Amazon Bedrock が一般利用可能に – 基盤モデルを利用した生成系 AI アプリケーションの構築とスケール | Amazon Web Services

2023/09/29 7 users スケール アプリケーション 生成系 構築 基盤モデル

Amazon Web Services ブログ Amazon Bedrock が一般利用可能に – 基盤モデルを利用した生成系 AI アプリケーションの構築とスケール 本日、Amazon Bedrockが一般提供を開始したことをお知らせします。また、MetaのLlama 2 13B および 70B パラメータのモデルが、近日中に Amazon Bedrock で利用可能になることもお伝えし... 続きを読む

LINEの3.6B言語モデルで遊んだら爆笑した｜shi3z

2023/08/15 680 users shi3z 言語モデル line LLM prompt

LINEから36億(3.6B)パラメータの大規模言語モデル(LLM)が公開されたので早速遊んでみた。正確には遊んだのは昨日のデイリーAIニュースなのだが、面白かったのでこちらにも転載する。 細かいやり方は大先生のページを参照のこと。 例によってこんな関数を書いた def line(prompt): # 推論の実行 input_ids = tokenizer.en... 続きを読む

HuggingFace での Llama 2 の使い方｜npaka

2023/07/19 5 users HuggingFace npaka LLM Meta 使い方

以下の記事が面白かったので、軽くまとめました。 ・Llama 2 is here - get it on Hugging Face 1. Llama 2「Llama 2」は、Metaが開発した、7B・13B・70B パラメータのLLMです。 長いコンテキスト長 (4,000トークン) や、70B モデルの高速推論のためのグループ化されたクエリアテンションなど、「Llama 1」と比べて大幅... 続きを読む

Llama.cpp で Llama 2 を試す｜npaka

2023/07/19 7 users npaka LLM llama.cpp Meta モデル

「Llama.cpp」(llama-cpp-python)で「Llama 2」を試したので、まとめました。 1. Llama 2「Llama 2」は、Metaが開発した、7B・13B・70B パラメータのLLMです。 3. モデル一覧「Llama.cpp」を利用するには、「Llama 2」モデルをGGML形式に変換する必要があります。HuggingFaceには、変換済みのモデルも公開されています。... 続きを読む

マイナーなSaaSのCIを作っているんだが俺はもうダメかもしれない - LIVESENSE ENGINEER BLOG

2023/07/12 16 users SaaS YAML タマ diffツール ライブラリ

はじめに CIの概要 出てきた課題と対策 ライブラリのtimeout値が固定値な上に短い ドキュメントにないパラメータがダマで増えた モニターのゾンビ化 想定したように設定が反映されずに手動で変更 YAMLのdiffツール(dyff)の自己主張が激しい 結局CI化するべきだったのか？ 得られたメリット 正直な感想と今後 はじめに イ... 続きを読む

CSSの美しいシャドウもこれなら簡単！ box-shadowを重ねた面倒なコードを簡単に生成できるツール -boxshadows.xyz

2023/07/04 8 users box-shadow インターフェイス シャドウ CSS 経験

直感的なインターフェイスで、CSSのbox-shadowを使用した複雑で美しいシャドウを簡単に作成できるツールを紹介します。 シャドウはさまざまなパラメータで正確に調整でき、リアルタイムにシャドウの見た目とCSSのコードが生成されます。CSSの初心者でも経験豊富な人にとっても便利だと思います。 boxshadows.xyz boxshad... 続きを読む

BPFを利用し、Linuxカーネルのパラメータを継続的に自動チューニングする「bpftune」。オラクルがオープンソースで公開

2023/07/02 72 users BPF LIN GitHub ワークロード オラクル

オラクルはLinuxカーネルのパラメータを、ワークロードに合わせて継続的に自動チューニングするツール「bpftune」をオープンソースで公開しました（GitHubのページ）。 bpftuneは「BPF」（Berkeley Packet Filter）と呼ばれる、Linuxカーネル内のさまざまな機能をフックして機能拡張が可能な仕組みを利用し、継続的にLin... 続きを読む

OpenAIのFunction Callingを使って自然言語でツールの操作をする - きしだのHatena

2023/06/19 6 users OpenAI function calling GPT-4

先週、OpenAIから、APIでの返答に関数呼び出しのパラメータを返してくれるFunction Callingが発表されました。 試してみると結構たのしかったのでまとめてみます。 とりあえず、こんな感じ。 OpenAIのFunction Callingでツール操作を試すやつ、GPT-4だとかなり文脈を理解してくれるし、位置関係も結構ただしく扱ってくれ... 続きを読む

「絵は誰でも練習すれば描ける」って絵師が言ってるのをよく見るんだけど「偶然元からその才能があった人が練習したら上手くなった」生存者バイアスでしかない

2023/06/13 212 users 絵師 才能 生存者バイアス モチ グレーゾーン

もち @enu_mochi センスみたいなものは0か1かではなくて、グレーゾーンもあると思うから、感覚的にだけどそのパラメータが例えば0.2以上の人は練習すれば描けるかもしれんが、そうでない人を無視しているのではないかというね 2023-06-12 10:47:32 もち @enu_mochi センスみたいなものは0か1かではなくて、グレーゾーン... 続きを読む

高速で持続可能な開発のためのソフトウェア工学と機械学習への適用

2023/05/25 96 users ソフトウェア工学 持続 機械学習 適用 開発

こんにちは、Wantedlyで推薦システムを開発している樋口です。Kaggleや実務での機械学習の開発にて、過去に下記のような失敗がありました。 精度改善のために実験を繰り返し追加したら、PRが巨大になり、レビューに時間がかかった 学習結果を確認したら、パラメータを一部だけ間違えていて、再度長い実験をやり直した こ... 続きを読む

素粒子が持つ「スピン」というパラメータについて「スピンは角運動量であり、プラスマイナスがあるが、実際に回転しているわけではない」という説明があったのですが、これが何を意味

2023/05/17 6 users 素粒子 スピン プラスマイナス 計算上 意味

素粒子が持つ「スピン」というパラメータについて「スピンは角運動量であり、プラスマイナスがあるが、実際に回転しているわけではない」という説明があったのですが、これが何を意味するのかよくわかりません。「実際には回転しているはずだが、それを観測するのは不可能」と言う意味なのでしょうか？ あるいは「計算上... 続きを読む

ChatGPTをGUIアプリに変える「ChatGPT プロンプトアプリエディタ」が登場

2023/05/01 5 users chatgpt OpenAI社 GUIアプリ チャット入力

ボイスラップラボ株式会社（京都市、代表取締役：小林貫）は、OpenAI社のWebサービス「ChatGPT」の利用を手軽にするGoogle Chrome拡張機能「ChatGPT プロンプトアプリエディタ」をリリースしました。面倒なチャット入力を、パラメータを入れ替えるだけで再利用可能な、GUI形式の「プロンプトアプリ」に置き換えることが... 続きを読む

ChatGPTとBardの対決を超える“事件”。無料の｢StableLM｣登場で｢AIの超民主化｣争いが始まった

2023/04/21 276 users LLM Bard ぱらめ chatgpt StableLM

StableLMは、現在のところ3B（30億パラメータ）と7B（70億パラメータ）モデルのみが公開されているため、その実力は未知数だ。パラメータというのは、ごく簡単に言えばLLMが学習しているデータの大きさだ。 GPT3が175B（1750億パラメータ）なので、それに比べるとかなり小さいように思えるが、大規模言語モデルはパラメ... 続きを読む

ChilloutMixの作者が語るAIで可愛い画像を作る方法

2023/04/19 28 users YouTube ChilloutMix プロンプト 野望 作者

ChilloutMixの作者によるYouTube配信 リアル系モデルChilloutMixの製作者TASUKU2023様が3月28日、YouTubeで初めてのライブ配信がされました。 配信ではChilloutMixのオススメの設定・パラメータ・プロンプト、誕生秘話、野望などについて語っています。 とてもおもしろいので、まだ見ていない方はぜひご覧ください！ 動... 続きを読む