0.5BパラメータのLLMを一から作ろうとして心が折れかけた話

2024/10/15 15 users LLM Transformer ローカルLLM スクラッチ

この記事について 今回Transformerを理解したいという目的でDecoder-OnlyのLLMをスクラッチで作ることにしました。 というのも、この約2年、新しいモデルが発表されなかった月はないほど目まぐるしく変化していくローカルLLMを追っていく中で、楽しさもある反面、よく分からないブラックボックスとして扱い続けるという... 続きを読む

Raspberry Pi PicoとRaspberry Pi Pico 2の性能比較

2024/08/26 11 users Raspberry Pi Pico 性能比較 佐々木 申し訳

みなさんこんにちは佐々木です。Raspberry Piのマイクロコントローラの新しいモデル「Raspberry Pi Pico 2」の登場にみなさんわくわくしていると思いますが、中々販売が開始できず申し訳ありません。生産が追いついていないようで、販売はもう少し先の見込みです。 さて、今回はRaspberry Pi Pico 2に搭載されているRP23... 続きを読む

[アップデート]OpenAIから新しいモデル「chatgpt-4o-latest」が公開されました！ | DevelopersIO

2024/08/16 13 users DevelopersIO OpenAI chatgpt 概要

こんにちは、@TakaakiKakei です。 日本時間8月14日頃に、OpenAIが提供する最新の研究用モデルの「chatgpt-4o-latest」がAPI公開されました。 概要 「chatgpt-4o-latest」は、ChatGPTのGPT-4oの最新バージョンに継続的に更新される動的モデルです。このモデルは、開発者や研究者がOpenAIの最新の研究を探索できるように... 続きを読む

LLMにまつわる"評価"を整理する

2024/06/06 7 users LLM プロンプト GPT-4o フレーズ 大半

「LLMの評価」というフレーズを見て、どんなことを思い浮かべるでしょうか？ おそらく大半はLLMモデル自体の評価のことを思い浮かべると思います。新しいモデルが出てきた時に𝕏で見かける「GPT-4o のMMLUベンチマークは89%!」みたいなアレ。 ですが、プロダクト開発にLLMを使っている人の間では、プロンプト等が十分な品... 続きを読む

OpenAIのGPT-4oを日本語OCRとして使ってみる

2024/05/14 88 users OpenAI GPT-4o 生成AI 応答速度 音声合成

昨日、OpenAIが生成AIの新しいモデルであるGPT-4oを発表しました。消費するトークン数の節約や、音声合成機能の改善、応答速度の向上など着実な品質改善を見せているようです。私も、特に音声合成（Text To Speech）の表現力について非常に興味を持っています。 私は以前、「OpenAIのGPT-4 Turbo with visionを日本語OCR... 続きを読む

(全体効果)Loraを2回混ぜるとどうなる？モデルの指を安定させる方法｜あいおえおえかきの

2023/12/09 17 users LoRa December 前々 おえかき モデル

やっぱり同じLoraを2回入れると効果が高くなる気がする 強度1を1回じゃなくて、強度0.3を2回入れるみたいな感じ まだ研究が進んでないからなんとも言えないけどね — あいおえおえかきの (@NovelAIoekaki) December 9, 2023 このことは前々から気付いてはいましたが、新しいモデルを調整している時にはっきりと分かりまし... 続きを読む

GPT-4 Turboが登場、GPT-4との違いとは - Taste of Tech Topics

2023/11/08 16 users GPT-4 GPT-4 Turbo chatgpt 菅野 以下

こんにちは、最近ハンドブレンダーを購入し自家製バジルでジェノベーゼを作るようになった菅野です。 2023/11/6にOpenAIDevDayが開催され、ChatGPT関連の様々なアナウンスがありました。 openai.com その中でもChatGPTの新しいモデル、GPT-4 Turboについての情報をまとめていきます。 モデルについての詳細解説は以下の... 続きを読む

新デザインのPS5®をホリデーシーズンに向けて発表！ ストレージは1TBに拡大し、Ultra HD Blu-rayディスクドライブが着脱可能に

2023/10/10 270 users ホリデーシーズン PlayStation 着脱 ストレージ

ホリデーシーズンが近づくなかで、本日はPlayStation®5の新しいモデルをお披露目できることを嬉しく思います。プレイヤーの皆さんの進化するニーズにお応えするため、商品企画やエンジニア、デザイナーのチームが結集し、皆さんの選択肢をより拡げる、新しいデザインのPS5をご用意しました。新モデルでは、PS5のゲーム体... 続きを読む

Stability AI DreamStudioのオープンソースの未来、StableStudioをリリース -。Stability AI

2023/05/17 34 users DreamStudio SDXL StableStudio

Stable Diffusionの初回リリース以降、DreamStudioはStability AIの新しいモデルや機能の主要なインターフェイスとして機能してきました。直近では、DreamStudioが SDXLを使用するためにアップグレードされました。このアプリケーションは、生成的なAI 機能を大衆に提供するためのプラットフォームとして最初に考案され... 続きを読む

「ControlNet 1.1」の新機能まとめ！新しいモデルや改善点を紹介【Stable Diffusion】

2023/04/19 240 users Stable Diffusion ControlNet

を一通りまとめてご紹介するという内容になっています。 ControlNetは生成する画像のポーズ指定など幅広い用途に使える技術であり、すでに活用なさっている方も多いと思います。そのような中で、つい先日ControlNetの新しいバージョンがStable Diffusion web UI用の拡張機能に実装されて色々な新機能・改善が盛り込まれ... 続きを読む

パソコンを買うなら6月まで待った方がいい（戸田覚） - 個人 - Yahoo!ニュース

2022/03/28 420 users 戸田覚 インテル Yahoo 商戦期 パソコン

パソコンは毎年３回程度の商戦期があり、新しいモデルが登場する。今年も春の商戦期である３月～４月にかけて、新しいモデルが登場した。だが、これらの製品は見送り、夏の商戦期（６～７月頃）に購入することをおすすめする。 最大の理由は、インテルの新しいCPUを搭載する製品が出てくることだ。一般的なユーザーに人... 続きを読む

2020年はNintendo Switchにさらに新しいモデルが登場する - GIGAZINE

2020/01/07 6 users report NEWS 任天堂 GIGAZINE 海外メディア

by Spencer 任天堂の携帯ゲーム機にも据え置き型ゲーム機にもなる「Nintendo Switch」に、新モデルが登場すると海外メディアが報じています。 Highlights of the day: Nintendo to start volume production for new Switch in 1Q20 https://www.digitimes.com/news/a20200106VL204.html Report: New Switch model launch... 続きを読む

生きる目的や倫理は蒸発する　人類が行きつく「幸福なデータ奴隷」とは？ | Forbes JAPAN（フォーブス ジャパン）

2019/03/25 22 users 新進気鋭 フォーブス 成田悠輔 倫理 人類

与えられた目的に沿って、最適化を進めるだけの経済学から「やばい考え」は生まれない。 新進気鋭の若手経済学者、成田悠輔は、これまで手段に過ぎなかったデータによって目的や倫理を決める新しいモデルを提唱する。実現すれば、データが人類の生きる目的を決める日が来るかもしれない。彼の「幸福なデータ奴隷」状態は... 続きを読む

Macをこれまでずっと使い続けた私が二度と新しいモデルを買わない理由 - iPhone Mania

2018/11/30 19 users iPhone Mania 生粋 二度 Mac 上半期

1986年生まれで、1986年に製造されたMacintosh 512KeからMacをずっと使ってきた生粋のMacユーザーが、今後Macを購入することはないと宣言しました。その理由とはいったい何なのでしょうか？ 破産寸前だったApple クリストファー・カーリー氏はまずAppleの歴史から語り始めました。2018年の上半期の時点で世界で一番大き... 続きを読む

ソニーのワイヤレスNCヘッドホン「WH-1000XM3」レビュー - 第3世代に突入の人気モデルを新旧対決！ (1) 新旧の違いは？ | マイナビニュース

2018/10/05 15 users Bluetooth ヘッドホン 新旧 新旧対決 ソニー

ソニーから、高い性能を独自に追求したアクティブ・ノイズキャンセリング機能に加えて、Bluetoothによるワイヤレス音楽再生機能を搭載するヘッドホン「WH-1000XM3」が発売されます。この新しいモデルと現行機種の「WH-1000XM2」はどこが違うのか、どんな人におすすめできるヘッドホンなのか、実機をチェックしながらレポ... 続きを読む

なぜもっとも新しいモデルでも16年落ちなのに「スカイラインGT-R」は大人気なのか？ （WEB CARTOP） - Yahoo!ニュース

2018/02/11 92 users スカイラインGT-R WEB CARTOP Yahoo

ハコスカ（PGC10）が1310万円、R32GT-Rの初期型が800万円、R34GT-R V-specIIが3200万円……。いずれも2018年の東京オートサロンで行われた、日本初の希少車オークションでの落札価格だ。人気というものの価値観をお金で計るというのは正直嫌いなのだが、歴代スカイラインGT-R、とくにハコスカ、ケンメリ、R32、R34の人気が高いというのは異論がない。その人気の理由はどこに... 続きを読む

仮想通貨業界:今後5年に起こりうる10のこと(後編)

2017/12/10 19 users 後編 仮想通貨業界 実像 徴収 戦場

仮想通貨業界で今後5年間で起こりうることの予想記事:後編です。政府発行の仮想通貨が増えること、更には国家が税金の徴収に苦戦するようになることが予想されています。顧客体験が最大の戦場ではない 仮想通貨は、既存のサービスを代替するよりも、全く新しいモデルのサービスを創造することになるようです。 国家は税金の徴収に手を焼く 実像のない完全に国際化された資本を持つ権利が台頭してくれば、 政府はその税金の徴... 続きを読む

海水、年23億トン減少か。6億年後に海がなくなる可能性も？ : ガウェイン速報

2017/10/26 10 users ガウェイン速報 岩盤 海水 倍増 海洋プレート

1: 名無しさん 2017/10/25(水) 13:39:32.30 広島大学大学院理学研究科の大学院生や教授らは、海洋プレート（岩盤）が海水を多く取り込み、世界の海水が減少傾向にあることを示す新しいモデルを提唱した。従来モデルに比べ、新モデルでは海水の年間減少量が２３億トンと倍増。 ６億年後に海がなくなる可能性を示した。 地球内部に運び込まれる水の量が分かれば、地球で海が存在できる理由や存続でき... 続きを読む

iPhone8/8 Plus、ベンチマークスコアでAndroid端末に衝撃的な差 - iPhone Mania

2017/09/22 10 users ベンチマークスコア iPhone iPhone Mania

  9月22日に発売されたiPhone8/8 Plusには、A11 Bionicという最新鋭のチップが搭載されています。新しいモデルが登場するやいなや、次のiPhoneが1年後に出るまで、ベンチマークスコアで1位の座を毎年守り続けるiPhoneですが、今回もこの「A11」のおかげで、桁違いの性能を披9月22日に発売された iPhone8 /8 Plusには、A11 Bionicという最新鋭のチップ... 続きを読む

iPhoneケースを半年ごとに買い換えている私がおすすめのiPhoneケース＆気になるケース - 羊の夜をビールで洗う

2017/07/04 22 users iPhoneケース ビール iPhone 半年ごと ケース

2017 - 07 - 04 iPhoneケースを半年ごとに買い換えている私がおすすめのiPhoneケース＆気になるケース デジタル 買いモノ 夏を迎えて、そろそろiPhoneの次期モデルの噂がちらほらと聞こえ出す頃ですよね。 iPhoneといえば、もちろん新しいモデルのデザインや機能も気になりますが、新しいモデルを手に入れたら、豊富な種類のケースの中から自分の好みに合ったケースを探すのも、愉しみ... 続きを読む

【画像あり】世界初！iPhone8のモックアップ画像が流出か？ | トリビアルニュース

2017/05/19 10 users トリビアルニュース モックアップ画像 iPhone8 流出

Appleは今年9月、iPhoneの新しいモデルを3つ発表する見込みです。昨年発表されたiPhone 7や7 Plusが従来機種からのマイナーチェンジにとどまったため、今年は2014年以来の大幅モデルチェンジになるのではと期待が高まっています。そんな中、iPhone8とされる機種のリーク情報がスクープとして報じられましApple は今年 9 月、 iPhone の新しいモデルを 3 つ発表する見込... 続きを読む

どこが変わった？Raspberry Pi 3の新機能を検証 ｜ ライフハッカー［日本版］

2016/03/12 127 users Raspberry Pi ライフハッカー 検証 プロセッサ

米Lifehacker編集部がRaspberry Piの大ファンであることは皆さんもご存じですよね。先日、新モデル「Raspberry Pi 3」が発売されました。新しいモデルはプロセッサの刷新により高速化を図っていますが、もっと重要な改良があります。それは、Wi-FiとBluetooth機能がついにオンボードで標準搭載された点です。しかも価格はこれまでと同じ35ドルです。 記事を読む 続きを読む

サンディスク、25%省電力化した第2世代「Ultra II SSD」を発売 - PC Watch

2016/01/15 5 users サンディスク 米SanDisk SSD SATA SSD 発売

ニュース サンディスク、25%省電力化した第2世代「Ultra II SSD」を発売 （2016/1/15 12:11） 「Ultra II SSD」 サンディスク株式会社は、メインストリーム向け2.5インチ SATA SSD「Ultra II SSD」シリーズの電力消費を25%削減した新しいモデルを、既存モデルを置き換える形で発売した。 Ultra II SSDは2014年8月に米SanDisk... 続きを読む

Python - Chainerでファインチューニングするときの個人的ベストプラクティス - Qiita

2015/12/26 61 users Qiita Chainer ベストプラクティス Python

メリークリスマス！！！！ @tabe2314 です。 この記事では、明日から使えるChainerテクニックとして、既存モデルをファインチューンして新しいモデルをつくる際の個人的なベストプラクティスを紹介します。 ニューラルネットを学習するために、別の問題、別のデータセットで学習済みのモデルのパラメータをコピーして、それを新しいニューラルネットのパラメータの初期値として使うことをファインチューニング... 続きを読む

AWS Lambda、サーバーを持たずとも使った分だけ支払う形で開発ができる | TechCrunch Japan

2015/11/25 54 users AWS Lambda サーバー ストレージ ハードウェア 開発

ほとんどの会社はオンプレミス、あるいはクラウド上のサーバーに開発したアプリケーションをデプロイする。それには、事前に何台のサーバーを用意し、ストレージとデータベースの処理能力がどの程度必要かを算出する必要があった。そして、アプリケーションを実行するために必要なハードウェアとソフトウェアを全てデプロイしなければならなかった。そのようなことに手間をかけたくなくないと思い、新しいモデルでアプリケーション... 続きを読む