Misskeyのパフォーマンス改善の取り組み・2023年7月 | gihyo.jp

2023/07/19 96 users Misskey gihyo.jp スケーラビリティ改善 解説

本連載は分散型マイクロブログ用ソフトウェアMisskeyの開発に関する紹介と、関連するWeb技術について解説を行っています。 ここ最近でMisskeyのユーザー数がさらに急激に増えています。そのため、運営者がより少ないコストでサーバーを維持できるよう、Misskeyのスケーラビリティ改善を急いでいます。 今回は、そういっ... 続きを読む

独自のデータセットでGPTのような大規模言語モデルを簡単にファインチューニングできるライブラリ「Lit-Parrot」をGoogle Cloud Platformで使ってみた

2023/05/31 8 users GPT ファインチューニング ライブラリ 言語モデル 出力

特定の分野についての知識を増やす場合など、大規模言語モデルの出力を特定の方向に寄せる場合に利用されるのがファインチューニングで、これはモデルをゼロから構築するのに比べてはるかに少ないデータセット＆はるかに少ないコストでトレーニングできる手法です。「Lit-Parrot」はファインチューニングを簡単に行える... 続きを読む

LoRA のもう一つの大きなメリット、GPUメモリ共有しつつ別のタスク処理モデルへ即時に切り替える方法 - A Day in the Life

2023/05/31 13 users rinna HuggingFace LoRa GPUメモリ

低ランク行列を追加することで、大元のモデルを維持しつつ少ないコストで学習できる LoRA(Low-Rank Adaptation of Large Language Models)。先日、日本語でも大規模パラメータモデル cyberagent/open-calm-7b や rinna/japanese-gpt-neox-3.6b 等々がリリースされたり、HuggingFaceからはtransformersでLoRAを簡単に実現... 続きを読む

そろそろホッテントリもはてブも旬を過ぎた。日本のWEBは残念というより「未発達」なだけじゃね? - 読み人来たらず - Nobody knows Nobody reads -

2011/08/31 42 users テントリ バカ コミュニティ Blog 現状

バカと暇人というより物好きの物, WEB, コミュニティが育たない, 無防備な人・無邪気な人に勧められない現状、blogは無防備で無邪気で人のいい人が始めるとヤバい道具になったと僕は考えています。だからますます「物好き」しか使わなくなるでしょう。 ただし、「電子自費出版システム」みたいな点がblogやCRMCMS*1にはあるから、書きたいことや目的がはっきりある人が、かっちり書けば、少ないコストで... 続きを読む