Zod を使って OpenAI の構造化された出力を扱う

2024/12/07 23 users OpenAI Zod スキーマ JSON Schema 出力

Zod を使って OpenAI の構造化された出力を扱う 2024.12.07 OpenAI の gpt-4o-2024-08-06 以降のモデルではパラメータとして JSON Schema を指定することで構造化された出力をサポートしています。Node.js 向けの OpenAI SDK では Zod を使ってスキーマを定義し、構造化された出力を扱うことができます。この記事では実... 続きを読む

数十億パラメータの巨大AI、“たった1つのパラメータ”を削除するだけで完全崩壊。Appleなどが研究報告（生成AIクローズアップ） | テクノエッジ TechnoEdge

2024/12/01 237 users seamless TechnoEdge シームレス 論文単位

2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間の気になる生成AI技術・研究をいくつかピックアップして解説する連載「生成AIウィークリー」から、特に興味深いAI技術や研究にスポットライトを当てる生成AIクローズアップ。 ... 続きを読む

Meta、無料で商用可の「Llama 3.1」リリース　「世界最大かつ最も高性能なオープンモデル」

2024/07/23 23 users Meta LLM 商用可 米Meta リリース

米Metaは7月24日（現地時間）、“オープンソースの”LLMの最新版「Llama 3.1」を発表した。最大モデルは4050億（405B）のパラメータを持ち、米NVIDIAの1万6000個以上の「H100」でトレーニングした。Llama 3の70Bモデルと8Bモデルもアップグレードされる。 4月にリリースした「Llama 3」同様に、ほぼすべての主要クラウドサ... 続きを読む

なぜRPGのキャラクターのパラメータに視力がないのか

2024/06/21 192 users 視力 RPG 影響 キャラクター

視力が戦闘行為遂行能力に決定的な影響を与えることもあるだろうに 続きを読む

IBMが自社製AI「Granite」のコード生成モデルをオープンソース化、116のプログラミング言語でトレーニングされパラメータは30～340億

2024/05/08 11 users Granite IBM プログラミング言語 オープンソース化

ソフトウェアは現代社会のありとあらゆる側面に取り込まれており、飛躍的な生産性の向上や科学技術の発展に貢献してきました。しかし、信頼性の高いソフトウェアの作成・デバッグ・展開といった作業は骨が折れるものであり、熟練した開発者でも最新の技術や言語に追いつくのは大変です。そこでアメリカの大手IT企業であ... 続きを読む

Apple、iPhoneでも稼働するオープンな言語モデル「OpenELM」を公開

2024/04/25 16 users iPhone OpenELM ELM Apple 言語モデル

米Appleの研究者らは4月24日（現地時間）、オープンソースの言語モデル「OpenELM」（ELMはEfficient Language Model、効率的な言語モデルの略）をHugging Faceで公開した。 パラメータ数の異なる4つのモデルがある。小さいものから、2億7000万、4億5000万、11億、30億（パラメータとは、意思決定でモデルがトレーニング... 続きを読む

Appleの研究者、マルチモーダルLLM「MM1」の論文発表　視覚タスクではGPT-4Vに匹敵

2024/03/18 18 users moe MLLM マルチモーダルLLM 混合 スケール

MM1は、画像とテキストのペア、画像とテキストの混合データ、テキストのみのデータの混合でトレーニングされている。Mixture-of-Experts（MoE）や教師あり微調整でパラメータを300億までスケールアップすることで、比較的コンパクトなサイズでも競合するMLLMに匹敵する結果をベンチマークで達成したとしている。 視覚タ... 続きを読む

予実管理｜福島良典 | LayerX

2024/03/05 568 users 変数 LayerX 前提 発生メカニズム 予算

予実管理はなぜ大事か予算(事業計画)とは現在の事業理解を反映したものである。予算は、売上の発生メカニズムやコストの発生メカニズムをモデル化する。モデルの中には変数(パラメータ)があり、基本的にはこの変数を達成していれば、予算が自動的に達成されるという前提で作られる。つまり予算は、その時点での事業の理... 続きを読む

生産性とかGDPとかうっせーよ!：村上福之の「ネットとケータイと俺様」：オルタナティブ・ブログ

2024/02/28 260 users ＧＤＰ パラメーター ケータイ 村上福 指標

生産性とかGDPとかうっせーよ。いやーわかんだけどさ。GDPあってもダメな国はダメだし、GDPはもはや豊かさのパラメーターとして意味ない。早く気づけ。投資や経済のパラメータの一つで、それ以上では無い。普通に海外旅行したらわかるでしょ？GDPは大事だけど、先進国としての指標は何か別の指標が必要だし、生産性は何... 続きを読む

PostgreSQLの仕組みから学ぶために必要な資料 - そーだいなるらくがき帳

2024/01/18 360 users PostgreSQL アーキテクチャ そーだい 富士通 資料

質問されることが多いのでPostgreSQL初学者が運用を行うためにしっておく知識に必要な内容をまとめる。 PostgreSQLの基本的なアーキテクチャ PostgreSQLのアーキテクチャを知らないと自分がやっている作業が危険な作業かどうかわからないし、パラメータの意味もわからない。 そこで以下のリンクを読むと良い。 富士通が... 続きを読む

Appleが、LLMのパラメータを「SSDなどの外部フラッシュメモリに保存し」PCで効率的にモデルを使用する手法を開発 | AIDB

2023/12/20 10 users LLM AIDB GPU SSD CPU

マイページに保存最終更新日：2023/12/20 Appleの研究者らは、LLMのパラメータをSSDなどの外部フラッシュメモリに保存し、接続したPCなどで読み込み使用する手法を開発しました。 CPUで4-5倍、GPUで2 […] The post Appleが、LLMのパラメータを「SSDなどの外部フラッシュメモリに保存し」PCで効率的にモデルを使用する手... 続きを読む

グラフ最適化をマスターしよう！ - Qiita

2023/11/22 76 users Qiita SfM ロボティクス 領域 グラフ構造

はじめに グラフ最適化（Graph Optimization）は、パラメータをグラフ構造で表現し、最適化問題を解決する手法です。特にロボティクスなどの領域で広く活用されています。 以下に、グラフ最適化の応用例をいくつか挙げます。 Visual SLAMやSFMのバンドル調整（Bundle Adjustment）問題 Graph SLAMのループクロージング問... 続きを読む

【Windows95】Pentium2搭載機にインストールして当時の世界を見てみよう【1997年のゲーミングPC】

2023/10/06 10 users ゲーミングPC Windows95 フルスク 世界 喰ら

やあ、（´・ω・`）ようこそ、Windows95の世界へ。 このブルスクはサービスだから、まずは喰らって○んで欲しい。 うん、「絶対に勝てない」んだ。済まない。 仏の顔もって言うしね、謝って許してもらおうとも思っていない。 でも、このパラメータを見たとき、君は、 きっと言葉では言い表せない 「絶望」みたいなものを感... 続きを読む

家族（プログラマ）が筆不精で返信が遅いことが多いので「とりあえず返り値をくれ」と伝えたらわりとスムーズになった

2023/10/03 44 users プログラマ 返り値 Argument サブルーチン 返信

リンク IT用語辞典 e-Words 戻り値とは - IT用語辞典 戻り値【返り値 / リターン値】とは、プログラム中で呼び出された関数やメソッド、サブルーチンなどが処理を終了する際に、呼び出し元に対して渡す値。これに対し、呼び出し元から関数などに対してパラメータとして渡す値のことは「引数」(ひきすう、argument)という... 続きを読む

LINEの3.6B言語モデルで遊んだら爆笑した｜shi3z

2023/08/15 680 users shi3z 言語モデル line LLM prompt

LINEから36億(3.6B)パラメータの大規模言語モデル(LLM)が公開されたので早速遊んでみた。正確には遊んだのは昨日のデイリーAIニュースなのだが、面白かったのでこちらにも転載する。 細かいやり方は大先生のページを参照のこと。 例によってこんな関数を書いた def line(prompt): # 推論の実行 input_ids = tokenizer.en... 続きを読む

マイナーなSaaSのCIを作っているんだが俺はもうダメかもしれない - LIVESENSE ENGINEER BLOG

2023/07/12 16 users SaaS YAML タマ diffツール ライブラリ

はじめに CIの概要 出てきた課題と対策 ライブラリのtimeout値が固定値な上に短い ドキュメントにないパラメータがダマで増えた モニターのゾンビ化 想定したように設定が反映されずに手動で変更 YAMLのdiffツール(dyff)の自己主張が激しい 結局CI化するべきだったのか？ 得られたメリット 正直な感想と今後 はじめに イ... 続きを読む

BPFを利用し、Linuxカーネルのパラメータを継続的に自動チューニングする「bpftune」。オラクルがオープンソースで公開

2023/07/02 72 users BPF LIN GitHub ワークロード オラクル

オラクルはLinuxカーネルのパラメータを、ワークロードに合わせて継続的に自動チューニングするツール「bpftune」をオープンソースで公開しました（GitHubのページ）。 bpftuneは「BPF」（Berkeley Packet Filter）と呼ばれる、Linuxカーネル内のさまざまな機能をフックして機能拡張が可能な仕組みを利用し、継続的にLin... 続きを読む

「絵は誰でも練習すれば描ける」って絵師が言ってるのをよく見るんだけど「偶然元からその才能があった人が練習したら上手くなった」生存者バイアスでしかない

2023/06/13 212 users 絵師 才能 生存者バイアス モチ グレーゾーン

もち @enu_mochi センスみたいなものは0か1かではなくて、グレーゾーンもあると思うから、感覚的にだけどそのパラメータが例えば0.2以上の人は練習すれば描けるかもしれんが、そうでない人を無視しているのではないかというね 2023-06-12 10:47:32 もち @enu_mochi センスみたいなものは0か1かではなくて、グレーゾーン... 続きを読む

高速で持続可能な開発のためのソフトウェア工学と機械学習への適用

2023/05/25 96 users ソフトウェア工学 持続 機械学習 適用 開発

こんにちは、Wantedlyで推薦システムを開発している樋口です。Kaggleや実務での機械学習の開発にて、過去に下記のような失敗がありました。 精度改善のために実験を繰り返し追加したら、PRが巨大になり、レビューに時間がかかった 学習結果を確認したら、パラメータを一部だけ間違えていて、再度長い実験をやり直した こ... 続きを読む

ChatGPTとBardの対決を超える“事件”。無料の｢StableLM｣登場で｢AIの超民主化｣争いが始まった

2023/04/21 276 users LLM Bard ぱらめ chatgpt StableLM

StableLMは、現在のところ3B（30億パラメータ）と7B（70億パラメータ）モデルのみが公開されているため、その実力は未知数だ。パラメータというのは、ごく簡単に言えばLLMが学習しているデータの大きさだ。 GPT3が175B（1750億パラメータ）なので、それに比べるとかなり小さいように思えるが、大規模言語モデルはパラメ... 続きを読む

ChilloutMixの作者が語るAIで可愛い画像を作る方法

2023/04/19 28 users YouTube ChilloutMix プロンプト 野望 作者

ChilloutMixの作者によるYouTube配信 リアル系モデルChilloutMixの製作者TASUKU2023様が3月28日、YouTubeで初めてのライブ配信がされました。 配信ではChilloutMixのオススメの設定・パラメータ・プロンプト、誕生秘話、野望などについて語っています。 とてもおもしろいので、まだ見ていない方はぜひご覧ください！ 動... 続きを読む

[輪講資料] LoRA: Low-Rank Adaptation of
Large Language Models

2023/04/18 62 users LoRa Low-Rank Fine-tuning 変遷 論文

パラメータを固定した事前学習済みモデルに対して、ごく少数のパラメータからなる低ランク行列を導入・学習することで、モデル全体のfine-tuningと同等の性能を発揮できる手法であるLoRAと、その論文について解説した資料です。 深層学習を用いた自然言語処理の歴史的な変遷と周辺技術から、LoRAが必要とされるに至った... 続きを読む

ChatGPTのようなモデルを高速生成するツール、Microsoftが開発　「既存技術の15倍以上」うたう

2023/04/13 12 users chatgpt RLHF Microsoft 学習速度 学習

米Microsoftは4月12日、ChatGPTのようなモデルを生成できるツール「DeepSpeed-Chat」を公開した。GPU1台で100億以上のパラメータを持つモデルの学習ができる上、学習速度も既存技術の15倍以上としている。 DeepSpeed-ChatはChatGPTでも採用されている学習手法「RLHF」を効率的に実行するためのツール。これまでは高価なG... 続きを読む

TypeScript 型レベル関数型プログラミング in 2023 - Object.create(null)

2023/03/24 78 users TypeScript エイリアス true null 関数

ちょっと前に話題になった hotscript の技法の紹介やら, ラムダ計算を TypeScript の型にコンパイルする話やらなんやら. 通常の型レベル関数 TypeScript の型エイリアスはパラメータを取れるので, これは型レベルの関数であるとみなせます. type IsNumber<X> = X extends number ? true : false; type A = IsNumber<42>;... 続きを読む

AWS CloudFormation StackSetsの仕組み・機能、マネジメントコンソールとAPIの関係、デプロイターゲットのアカウントフィルター、パラメータの意味・役割に関するまとめ - NRIネットコムBlog

2023/02/28 14 users マネジメントコンソール 小西秀和 マルチアカウント管理 役割

小西秀和です。 今回はマルチアカウント管理でよく使うAWS CloudFormation StackSetsについて仕組み・機能、マネジメントコンソールとAPIの関係、デプロイターゲットのアカウントフィルター、パラメータの意味・役割にフォーカスしてまとめました。 なお、AWS CloudFormation StackSetsのテンプレートにユーザーが定義す... 続きを読む