Apple、iPhoneでも稼働するオープンな言語モデル「OpenELM」を公開

2024/04/25 16 users iPhone ELM Apple 言語モデル パラメータ数

米Appleの研究者らは4月24日（現地時間）、オープンソースの言語モデル「OpenELM」（ELMはEfficient Language Model、効率的な言語モデルの略）をHugging Faceで公開した。 パラメータ数の異なる4つのモデルがある。小さいものから、2億7000万、4億5000万、11億、30億（パラメータとは、意思決定でモデルがトレーニング... 続きを読む

Appleの研究者、マルチモーダルLLM「MM1」の論文発表　視覚タスクではGPT-4Vに匹敵

2024/03/18 18 users moe MLLM 混合 スケール ペア

MM1は、画像とテキストのペア、画像とテキストの混合データ、テキストのみのデータの混合でトレーニングされている。Mixture-of-Experts（MoE）や教師あり微調整でパラメータを300億までスケールアップすることで、比較的コンパクトなサイズでも競合するMLLMに匹敵する結果をベンチマークで達成したとしている。 視覚タ... 続きを読む

予実管理｜福島良典 | LayerX

2024/03/05 568 users 変数 LayerX 前提 発生メカニズム 予算

予実管理はなぜ大事か予算(事業計画)とは現在の事業理解を反映したものである。予算は、売上の発生メカニズムやコストの発生メカニズムをモデル化する。モデルの中には変数(パラメータ)があり、基本的にはこの変数を達成していれば、予算が自動的に達成されるという前提で作られる。つまり予算は、その時点での事業の理... 続きを読む

生産性とかGDPとかうっせーよ!：村上福之の「ネットとケータイと俺様」：オルタナティブ・ブログ

2024/02/28 260 users ＧＤＰ パラメーター ケータイ 村上福 指標

生産性とかGDPとかうっせーよ。いやーわかんだけどさ。GDPあってもダメな国はダメだし、GDPはもはや豊かさのパラメーターとして意味ない。早く気づけ。投資や経済のパラメータの一つで、それ以上では無い。普通に海外旅行したらわかるでしょ？GDPは大事だけど、先進国としての指標は何か別の指標が必要だし、生産性は何... 続きを読む

PostgreSQLの仕組みから学ぶために必要な資料 - そーだいなるらくがき帳

2024/01/18 360 users PostgreSQL アーキテクチャ そーだい 富士通 資料

質問されることが多いのでPostgreSQL初学者が運用を行うためにしっておく知識に必要な内容をまとめる。 PostgreSQLの基本的なアーキテクチャ PostgreSQLのアーキテクチャを知らないと自分がやっている作業が危険な作業かどうかわからないし、パラメータの意味もわからない。 そこで以下のリンクを読むと良い。 富士通が... 続きを読む

Appleが、LLMのパラメータを「SSDなどの外部フラッシュメモリに保存し」PCで効率的にモデルを使用する手法を開発 | AIDB

2023/12/20 10 users LLM AIDB GPU SSD CPU

マイページに保存最終更新日：2023/12/20 Appleの研究者らは、LLMのパラメータをSSDなどの外部フラッシュメモリに保存し、接続したPCなどで読み込み使用する手法を開発しました。 CPUで4-5倍、GPUで2 […] The post Appleが、LLMのパラメータを「SSDなどの外部フラッシュメモリに保存し」PCで効率的にモデルを使用する手... 続きを読む

グラフ最適化をマスターしよう！ - Qiita

2023/11/22 76 users Qiita SfM ロボティクス 領域 グラフ構造

はじめに グラフ最適化（Graph Optimization）は、パラメータをグラフ構造で表現し、最適化問題を解決する手法です。特にロボティクスなどの領域で広く活用されています。 以下に、グラフ最適化の応用例をいくつか挙げます。 Visual SLAMやSFMのバンドル調整（Bundle Adjustment）問題 Graph SLAMのループクロージング問... 続きを読む

【Windows95】Pentium2搭載機にインストールして当時の世界を見てみよう【1997年のゲーミングPC】

2023/10/06 10 users ゲーミングPC Windows95 フルスク 世界 喰ら

やあ、（´・ω・`）ようこそ、Windows95の世界へ。 このブルスクはサービスだから、まずは喰らって○んで欲しい。 うん、「絶対に勝てない」んだ。済まない。 仏の顔もって言うしね、謝って許してもらおうとも思っていない。 でも、このパラメータを見たとき、君は、 きっと言葉では言い表せない 「絶望」みたいなものを感... 続きを読む

家族（プログラマ）が筆不精で返信が遅いことが多いので「とりあえず返り値をくれ」と伝えたらわりとスムーズになった

2023/10/03 44 users プログラマ 返り値 Argument サブルーチン 返信

リンク IT用語辞典 e-Words 戻り値とは - IT用語辞典 戻り値【返り値 / リターン値】とは、プログラム中で呼び出された関数やメソッド、サブルーチンなどが処理を終了する際に、呼び出し元に対して渡す値。これに対し、呼び出し元から関数などに対してパラメータとして渡す値のことは「引数」(ひきすう、argument)という... 続きを読む

LINEの3.6B言語モデルで遊んだら爆笑した｜shi3z

2023/08/15 680 users shi3z 言語モデル line LLM prompt

LINEから36億(3.6B)パラメータの大規模言語モデル(LLM)が公開されたので早速遊んでみた。正確には遊んだのは昨日のデイリーAIニュースなのだが、面白かったのでこちらにも転載する。 細かいやり方は大先生のページを参照のこと。 例によってこんな関数を書いた def line(prompt): # 推論の実行 input_ids = tokenizer.en... 続きを読む

マイナーなSaaSのCIを作っているんだが俺はもうダメかもしれない - LIVESENSE ENGINEER BLOG

2023/07/12 16 users SaaS YAML タマ diffツール ライブラリ

はじめに CIの概要 出てきた課題と対策 ライブラリのtimeout値が固定値な上に短い ドキュメントにないパラメータがダマで増えた モニターのゾンビ化 想定したように設定が反映されずに手動で変更 YAMLのdiffツール(dyff)の自己主張が激しい 結局CI化するべきだったのか？ 得られたメリット 正直な感想と今後 はじめに イ... 続きを読む

BPFを利用し、Linuxカーネルのパラメータを継続的に自動チューニングする「bpftune」。オラクルがオープンソースで公開

2023/07/02 72 users BPF LIN GitHub ワークロード オラクル

オラクルはLinuxカーネルのパラメータを、ワークロードに合わせて継続的に自動チューニングするツール「bpftune」をオープンソースで公開しました（GitHubのページ）。 bpftuneは「BPF」（Berkeley Packet Filter）と呼ばれる、Linuxカーネル内のさまざまな機能をフックして機能拡張が可能な仕組みを利用し、継続的にLin... 続きを読む

「絵は誰でも練習すれば描ける」って絵師が言ってるのをよく見るんだけど「偶然元からその才能があった人が練習したら上手くなった」生存者バイアスでしかない

2023/06/13 212 users 絵師 才能 生存者バイアス モチ グレーゾーン

もち @enu_mochi センスみたいなものは0か1かではなくて、グレーゾーンもあると思うから、感覚的にだけどそのパラメータが例えば0.2以上の人は練習すれば描けるかもしれんが、そうでない人を無視しているのではないかというね 2023-06-12 10:47:32 もち @enu_mochi センスみたいなものは0か1かではなくて、グレーゾーン... 続きを読む

高速で持続可能な開発のためのソフトウェア工学と機械学習への適用

2023/05/25 96 users ソフトウェア工学 持続 機械学習 適用 開発

こんにちは、Wantedlyで推薦システムを開発している樋口です。Kaggleや実務での機械学習の開発にて、過去に下記のような失敗がありました。 精度改善のために実験を繰り返し追加したら、PRが巨大になり、レビューに時間がかかった 学習結果を確認したら、パラメータを一部だけ間違えていて、再度長い実験をやり直した こ... 続きを読む

ChatGPTとBardの対決を超える“事件”。無料の｢StableLM｣登場で｢AIの超民主化｣争いが始まった

2023/04/21 276 users LLM Bard ぱらめ chatgpt StableLM

StableLMは、現在のところ3B（30億パラメータ）と7B（70億パラメータ）モデルのみが公開されているため、その実力は未知数だ。パラメータというのは、ごく簡単に言えばLLMが学習しているデータの大きさだ。 GPT3が175B（1750億パラメータ）なので、それに比べるとかなり小さいように思えるが、大規模言語モデルはパラメ... 続きを読む

ChilloutMixの作者が語るAIで可愛い画像を作る方法

2023/04/19 28 users YouTube ChilloutMix プロンプト 野望 作者

ChilloutMixの作者によるYouTube配信 リアル系モデルChilloutMixの製作者TASUKU2023様が3月28日、YouTubeで初めてのライブ配信がされました。 配信ではChilloutMixのオススメの設定・パラメータ・プロンプト、誕生秘話、野望などについて語っています。 とてもおもしろいので、まだ見ていない方はぜひご覧ください！ 動... 続きを読む

[輪講資料] LoRA: Low-Rank Adaptation of
Large Language Models

2023/04/18 62 users LoRa Low-Rank Fine-tuning 変遷 論文

パラメータを固定した事前学習済みモデルに対して、ごく少数のパラメータからなる低ランク行列を導入・学習することで、モデル全体のfine-tuningと同等の性能を発揮できる手法であるLoRAと、その論文について解説した資料です。 深層学習を用いた自然言語処理の歴史的な変遷と周辺技術から、LoRAが必要とされるに至った... 続きを読む

ChatGPTのようなモデルを高速生成するツール、Microsoftが開発　「既存技術の15倍以上」うたう

2023/04/13 12 users chatgpt RLHF Microsoft 学習速度 学習

米Microsoftは4月12日、ChatGPTのようなモデルを生成できるツール「DeepSpeed-Chat」を公開した。GPU1台で100億以上のパラメータを持つモデルの学習ができる上、学習速度も既存技術の15倍以上としている。 DeepSpeed-ChatはChatGPTでも採用されている学習手法「RLHF」を効率的に実行するためのツール。これまでは高価なG... 続きを読む

TypeScript 型レベル関数型プログラミング in 2023 - Object.create(null)

2023/03/24 78 users TypeScript エイリアス true null 関数

ちょっと前に話題になった hotscript の技法の紹介やら, ラムダ計算を TypeScript の型にコンパイルする話やらなんやら. 通常の型レベル関数 TypeScript の型エイリアスはパラメータを取れるので, これは型レベルの関数であるとみなせます. type IsNumber<X> = X extends number ? true : false; type A = IsNumber<42>;... 続きを読む

AWS CloudFormation StackSetsの仕組み・機能、マネジメントコンソールとAPIの関係、デプロイターゲットのアカウントフィルター、パラメータの意味・役割に関するまとめ - NRIネットコムBlog

2023/02/28 14 users マネジメントコンソール 小西秀和 マルチアカウント管理 役割

小西秀和です。 今回はマルチアカウント管理でよく使うAWS CloudFormation StackSetsについて仕組み・機能、マネジメントコンソールとAPIの関係、デプロイターゲットのアカウントフィルター、パラメータの意味・役割にフォーカスしてまとめました。 なお、AWS CloudFormation StackSetsのテンプレートにユーザーが定義す... 続きを読む

Google Colab で PEFT による大規模言語モデルのファインチューニングを試す｜npaka｜note

2023/02/22 10 users ファインチューニング 少数 npaka｜note パッケージ

1. PEFT「PEFT」(Parameter-Efficient Fine-Tuning)は、モデルの全体のファインチューニングなしに、事前学習済みの言語モデルをさまざまな下流タスクに適応させることができるパッケージです。 大規模言語モデルのファインチューニングは、多くの場合、法外なコストがかかりますが、「PEFT」は少数のパラメータのみをフ... 続きを読む

マルチバイト文字とURL | 調査研究/ブログ | 三井物産セキュアディレクション株式会社

2023/02/16 112 users 三井物産セキュアディレクション株式会社 マルチバイト文字

MBSDでWebアプリケーションスキャナの開発をしている寺田です。 前記事では正規表現でのURLのチェックについて書きました。今回はその続きでマルチバイト文字を使った攻撃について書きたいと思います。 前提条件 本記事で想定するのは、ブラウザからパラメータとして渡されて来るURLを、リダイレクトやリンク等のURLとし... 続きを読む

[DevOpsプラットフォームの取り組み #6] CI/CDにおけるパラメータの課題とQmonus Value Streamの取り組み - NTT Communications Engineers' Blog

2022/09/05 11 users DevOpsプラットフォーム HirokiOkui 奥井

DevOpsプラットフォームの取り組みを紹介する6回目の記事です。 Qmonus Value Stream 開発チームの奥井 ( @HirokiOkui ) です。 連載第6回では、パラメータを効率的に管理するためのQmonus Value Streamの取り組みについて紹介します。 第3回 で解説したとおり、Qmonus Value StreamではInfrastructure as Code（以後IaC... 続きを読む

完全なQ体 on Twitter: "トマトソースを作るときにトマト缶や肉類の当たり外れを吸収するためのうま味補強材を何にするか色々試した結果、味噌をぶち込むのがうま味、深み、自然さのパラメ

2022/03/22 19 users ぱらめ 結論 良いはずだ うま味 肉類

トマトソースを作るときにトマト缶や肉類の当たり外れを吸収するためのうま味補強材を何にするか色々試した結果、味噌をぶち込むのがうま味、深み、自然さのパラメータを完璧に調整できて最強だという結論に至った。これに良いパスタを合わせれば一食1500円ぐらいの味になる 続きを読む

トマトソースを作る時にうま味の補強材を何にするか色々試した結果辿り着いたのが『味噌』だった「パラメータを完璧に調整できて最強」

2022/03/21 13 users うま味 肉類 深み 当たり外れ 味噌

完全なQ体 @torchfish_story トマトソースを作るときにトマト缶や肉類の当たり外れを吸収するためのうま味補強材を何にするか色々試した結果、味噌をぶち込むのがうま味、深み、自然さのパラメータを完璧に調整できて最強だという結論に至った。これに良いパスタを合わせれば一食1500円ぐらいの味になる 2022-03-21 20:4... 続きを読む