Llama 3.1 Swallow – Swallow LLM

2024/10/08 5 users 重み 米Meta社 大規模言語モデル 商業目的 能力

Llama 3.1 Swallow Llama 3.1 SwallowはLlama 3.1の英語の能力を維持しながら、日本語の能力を強化した大規模言語モデル (8B, 70B) です。モデルのパラメータ（重み）がHuggingFace上で公開されていますので、Llama 3.1ライセンスに従う限り、研究や商業目的などで利用できます。Llama 3.1 Swallowは米Meta社のLlama 3.1... 続きを読む

Meta、無料で商用可の「Llama 3.1」リリース　「世界最大かつ最も高性能なオープンモデル」

2024/07/23 23 users Meta LLM 商用可 米Meta リリース

米Metaは7月24日（現地時間）、“オープンソースの”LLMの最新版「Llama 3.1」を発表した。最大モデルは4050億（405B）のパラメータを持ち、米NVIDIAの1万6000個以上の「H100」でトレーニングした。Llama 3の70Bモデルと8Bモデルもアップグレードされる。 4月にリリースした「Llama 3」同様に、ほぼすべての主要クラウドサ... 続きを読む

NovelAI パラメータの調整｜シトラス

2024/06/23 9 users novelAI シトラス 覚え書き 各パラメータ 指示

こんにちはこんばんはおはようございます、シトラスです。 この記事は主に自分用の覚え書きです。 NovelAIでイラストを出力する際の各パラメータがどんな役割を持っているかを簡単にまとめたものです。 用語解説各種パラメータPromptプロンプトと呼ばれるAIへの指示をこのボックスに入力します。 NovelAIでは海外の画像... 続きを読む

なぜRPGのキャラクターのパラメータに視力がないのか

2024/06/21 192 users 視力 RPG 影響 キャラクター

視力が戦闘行為遂行能力に決定的な影響を与えることもあるだろうに 続きを読む

IBMが自社製AI「Granite」のコード生成モデルをオープンソース化、116のプログラミング言語でトレーニングされパラメータは30～340億

2024/05/08 11 users Granite IBM プログラミング言語 オープンソース化

ソフトウェアは現代社会のありとあらゆる側面に取り込まれており、飛躍的な生産性の向上や科学技術の発展に貢献してきました。しかし、信頼性の高いソフトウェアの作成・デバッグ・展開といった作業は骨が折れるものであり、熟練した開発者でも最新の技術や言語に追いつくのは大変です。そこでアメリカの大手IT企業であ... 続きを読む

Apple、iPhoneでも稼働するオープンな言語モデル「OpenELM」を公開

2024/04/25 16 users iPhone OpenELM ELM Apple 言語モデル

米Appleの研究者らは4月24日（現地時間）、オープンソースの言語モデル「OpenELM」（ELMはEfficient Language Model、効率的な言語モデルの略）をHugging Faceで公開した。 パラメータ数の異なる4つのモデルがある。小さいものから、2億7000万、4億5000万、11億、30億（パラメータとは、意思決定でモデルがトレーニング... 続きを読む

1bit LLM の時代は来るのか，来ないのか，どっちなんだい？｜情報処理学会・学会誌「情報処理」

2024/04/04 9 users なんだい LeapMind log 徳永拓之 論文

徳永拓之（LeapMind（株）） 1bit LLMの時代が来る？　2024 年2 月，The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits¹⁾ というタイトルの論文がarXiv上で公開され，にわかに話題となりました．“1.58 Bits” という表現はあまりなじみがありませんが，log₂(3) = 1.58 . . . ということで，パラメータ... 続きを読む

Appleの研究者、マルチモーダルLLM「MM1」の論文発表　視覚タスクではGPT-4Vに匹敵

2024/03/18 18 users moe MLLM 混合 スケール ペア

MM1は、画像とテキストのペア、画像とテキストの混合データ、テキストのみのデータの混合でトレーニングされている。Mixture-of-Experts（MoE）や教師あり微調整でパラメータを300億までスケールアップすることで、比較的コンパクトなサイズでも競合するMLLMに匹敵する結果をベンチマークで達成したとしている。 視覚タ... 続きを読む

予実管理｜福島良典 | LayerX

2024/03/05 568 users 変数 LayerX 前提 発生メカニズム 予算

予実管理はなぜ大事か予算(事業計画)とは現在の事業理解を反映したものである。予算は、売上の発生メカニズムやコストの発生メカニズムをモデル化する。モデルの中には変数(パラメータ)があり、基本的にはこの変数を達成していれば、予算が自動的に達成されるという前提で作られる。つまり予算は、その時点での事業の理... 続きを読む

生産性とかGDPとかうっせーよ!：村上福之の「ネットとケータイと俺様」：オルタナティブ・ブログ

2024/02/28 260 users ＧＤＰ パラメーター ケータイ 村上福 指標

生産性とかGDPとかうっせーよ。いやーわかんだけどさ。GDPあってもダメな国はダメだし、GDPはもはや豊かさのパラメーターとして意味ない。早く気づけ。投資や経済のパラメータの一つで、それ以上では無い。普通に海外旅行したらわかるでしょ？GDPは大事だけど、先進国としての指標は何か別の指標が必要だし、生産性は何... 続きを読む

PostgreSQLの仕組みから学ぶために必要な資料 - そーだいなるらくがき帳

2024/01/18 360 users PostgreSQL アーキテクチャ そーだい 富士通 資料

質問されることが多いのでPostgreSQL初学者が運用を行うためにしっておく知識に必要な内容をまとめる。 PostgreSQLの基本的なアーキテクチャ PostgreSQLのアーキテクチャを知らないと自分がやっている作業が危険な作業かどうかわからないし、パラメータの意味もわからない。 そこで以下のリンクを読むと良い。 富士通が... 続きを読む

Appleが、LLMのパラメータを「SSDなどの外部フラッシュメモリに保存し」PCで効率的にモデルを使用する手法を開発 | AIDB

2023/12/20 10 users LLM AIDB GPU SSD CPU

マイページに保存最終更新日：2023/12/20 Appleの研究者らは、LLMのパラメータをSSDなどの外部フラッシュメモリに保存し、接続したPCなどで読み込み使用する手法を開発しました。 CPUで4-5倍、GPUで2 […] The post Appleが、LLMのパラメータを「SSDなどの外部フラッシュメモリに保存し」PCで効率的にモデルを使用する手... 続きを読む

［速報］AWS、大規模言語モデルのトレーニングに最適化した独自プロセッサ「AWS Trainium2」発表。前モデルより最大4倍のトレーニング性能。AWS re:Invent 2023

2023/11/28 5 users プロセッサ ラスベガス AWS 基調講演 AWS re

Amazon Web Services（AWS）は、ラスベガスで開催中のイベント「AWS re:Invent 2023」の基調講演で、AIのトレーニングに最適化した独自プロセッサ「AWS Trainium2」を発表しました。 Trainium2は、最大数兆個のパラメータを持つ基盤モデルおよび大規模言語モデルのトレーニング用に設計されています。 2020年に発表され... 続きを読む

グラフ最適化をマスターしよう！ - Qiita

2023/11/22 76 users Qiita SfM ロボティクス 領域 グラフ構造

はじめに グラフ最適化（Graph Optimization）は、パラメータをグラフ構造で表現し、最適化問題を解決する手法です。特にロボティクスなどの領域で広く活用されています。 以下に、グラフ最適化の応用例をいくつか挙げます。 Visual SLAMやSFMのバンドル調整（Bundle Adjustment）問題 Graph SLAMのループクロージング問... 続きを読む

【Windows95】Pentium2搭載機にインストールして当時の世界を見てみよう【1997年のゲーミングPC】

2023/10/06 10 users ゲーミングPC Windows95 フルスク 世界 喰ら

やあ、（´・ω・`）ようこそ、Windows95の世界へ。 このブルスクはサービスだから、まずは喰らって○んで欲しい。 うん、「絶対に勝てない」んだ。済まない。 仏の顔もって言うしね、謝って許してもらおうとも思っていない。 でも、このパラメータを見たとき、君は、 きっと言葉では言い表せない 「絶望」みたいなものを感... 続きを読む

Amazon Bedrockの基本情報とRuntime APIの実行例まとめ － 参考資料、モデルの特徴、価格、使用方法、トークンと推論パラメータの説明 - NRIネットコムBlog

2023/10/03 7 users 小西秀和 NRIネットコムBlog トークン 自主研究 モデル

小西秀和です。 今回は2023-09-28にGeneral Availability(GA)になったAmazon Bedrockの基本情報、Runtime APIの実行例についてまとめました。また、トークンやパラメータのイメージをつかむための必要最小限の用語説明も所々入れています。 ※本記事および当執筆者のその他の記事で掲載されているソースコードは自主研究... 続きを読む

家族（プログラマ）が筆不精で返信が遅いことが多いので「とりあえず返り値をくれ」と伝えたらわりとスムーズになった

2023/10/03 44 users プログラマ 返り値 Argument サブルーチン 返信

リンク IT用語辞典 e-Words 戻り値とは - IT用語辞典 戻り値【返り値 / リターン値】とは、プログラム中で呼び出された関数やメソッド、サブルーチンなどが処理を終了する際に、呼び出し元に対して渡す値。これに対し、呼び出し元から関数などに対してパラメータとして渡す値のことは「引数」(ひきすう、argument)という... 続きを読む

Amazon Bedrock が一般利用可能に – 基盤モデルを利用した生成系 AI アプリケーションの構築とスケール | Amazon Web Services

2023/09/29 7 users スケール アプリケーション 生成系 構築 基盤モデル

Amazon Web Services ブログ Amazon Bedrock が一般利用可能に – 基盤モデルを利用した生成系 AI アプリケーションの構築とスケール 本日、Amazon Bedrockが一般提供を開始したことをお知らせします。また、MetaのLlama 2 13B および 70B パラメータのモデルが、近日中に Amazon Bedrock で利用可能になることもお伝えし... 続きを読む

LINEの3.6B言語モデルで遊んだら爆笑した｜shi3z

2023/08/15 680 users shi3z 言語モデル line LLM prompt

LINEから36億(3.6B)パラメータの大規模言語モデル(LLM)が公開されたので早速遊んでみた。正確には遊んだのは昨日のデイリーAIニュースなのだが、面白かったのでこちらにも転載する。 細かいやり方は大先生のページを参照のこと。 例によってこんな関数を書いた def line(prompt): # 推論の実行 input_ids = tokenizer.en... 続きを読む

HuggingFace での Llama 2 の使い方｜npaka

2023/07/19 5 users HuggingFace npaka LLM Meta 使い方

以下の記事が面白かったので、軽くまとめました。 ・Llama 2 is here - get it on Hugging Face 1. Llama 2「Llama 2」は、Metaが開発した、7B・13B・70B パラメータのLLMです。 長いコンテキスト長 (4,000トークン) や、70B モデルの高速推論のためのグループ化されたクエリアテンションなど、「Llama 1」と比べて大幅... 続きを読む

Llama.cpp で Llama 2 を試す｜npaka

2023/07/19 7 users npaka LLM llama.cpp Meta モデル

「Llama.cpp」(llama-cpp-python)で「Llama 2」を試したので、まとめました。 1. Llama 2「Llama 2」は、Metaが開発した、7B・13B・70B パラメータのLLMです。 3. モデル一覧「Llama.cpp」を利用するには、「Llama 2」モデルをGGML形式に変換する必要があります。HuggingFaceには、変換済みのモデルも公開されています。... 続きを読む

マイナーなSaaSのCIを作っているんだが俺はもうダメかもしれない - LIVESENSE ENGINEER BLOG

2023/07/12 16 users SaaS YAML タマ diffツール ライブラリ

はじめに CIの概要 出てきた課題と対策 ライブラリのtimeout値が固定値な上に短い ドキュメントにないパラメータがダマで増えた モニターのゾンビ化 想定したように設定が反映されずに手動で変更 YAMLのdiffツール(dyff)の自己主張が激しい 結局CI化するべきだったのか？ 得られたメリット 正直な感想と今後 はじめに イ... 続きを読む

CSSの美しいシャドウもこれなら簡単！ box-shadowを重ねた面倒なコードを簡単に生成できるツール -boxshadows.xyz

2023/07/04 8 users box-shadow インターフェイス シャドウ CSS 経験

直感的なインターフェイスで、CSSのbox-shadowを使用した複雑で美しいシャドウを簡単に作成できるツールを紹介します。 シャドウはさまざまなパラメータで正確に調整でき、リアルタイムにシャドウの見た目とCSSのコードが生成されます。CSSの初心者でも経験豊富な人にとっても便利だと思います。 boxshadows.xyz boxshad... 続きを読む

BPFを利用し、Linuxカーネルのパラメータを継続的に自動チューニングする「bpftune」。オラクルがオープンソースで公開

2023/07/02 72 users BPF LIN GitHub ワークロード オラクル

オラクルはLinuxカーネルのパラメータを、ワークロードに合わせて継続的に自動チューニングするツール「bpftune」をオープンソースで公開しました（GitHubのページ）。 bpftuneは「BPF」（Berkeley Packet Filter）と呼ばれる、Linuxカーネル内のさまざまな機能をフックして機能拡張が可能な仕組みを利用し、継続的にLin... 続きを読む

OpenAIのFunction Callingを使って自然言語でツールの操作をする - きしだのHatena

2023/06/19 6 users OpenAI function calling GPT-4

先週、OpenAIから、APIでの返答に関数呼び出しのパラメータを返してくれるFunction Callingが発表されました。 試してみると結構たのしかったのでまとめてみます。 とりあえず、こんな感じ。 OpenAIのFunction Callingでツール操作を試すやつ、GPT-4だとかなり文脈を理解してくれるし、位置関係も結構ただしく扱ってくれ... 続きを読む