タグ shi3z
人気順 10 users 50 users 100 users 500 users 1000 usersLlama3.3 128Kコンテキスト長多言語対応オープンLLMと200万トークン対応かつ無料で使えるGemini-exp-1206など｜shi3z
OpenAIが平日毎日新機能の説明をするというイベントのために午前2時に起きたが、割と興味のない内容だったので松尾さんと二人で憤慨していたのだが、その裏でMetaがLlama3.3-70Bを公開していた。70BでGPT-4oを上回る性能かつ、Llama3.1 405Bを上回る性能らしい。 早速、昨日試したAttentionにまつわる物語を翻訳してもら... 続きを読む
GPT-4oとo1とo1 proの翻訳の違いと物語生成性能を試す｜shi3z
2024/12/06
43 users
GPT-4o
翻訳
operator
attention
GPT-4oとo1($30/月)とo1 pro($200/月)で翻訳を比較しました。 翻訳の元にしたのは以下のツイートです。 The (true) story of development and inspiration behind the "attention" operator, the one in "Attention is All you Need" that introduced the Transformer. From personal email correspondence with the aut... 続きを読む
母校にて｜shi3z
2024/11/07
441 users
母校
至高
校長
教員
放心状態
母校での講演が終わったあと、俺はしばらく放心状態だった。 いや、我ながら頭おかしいとしか言いようがないが、これ以外に母校で話したいことは特になかった。特に、俺の母校、新潟大学教育学部附属長岡中学校は、教員から校長から全員新潟大学の人なので、新潟大学こそが至高の学校であり、新潟大学を愛する愛大学教育... 続きを読む
ついに来るのか!?拡散言語モデル｜shi3z
2024/10/30
22 users
我々が単に「言語モデル」といった場合、それはTransformerモデルを指す。Transformerモデルは、ChatGPTやGemini、Claude-3、Command-R+などで使われている。 最近はMambaのような状態ステートマシンの言語モデルも出てきた。そしてもしかしたら今後はここに、拡散ディフュージョンモデルが加わるのかもしれない。 拡散... 続きを読む
君は「勝ち組十戒」を知っているか?｜shi3z
2024/10/26
8 users
俺は新潟大学教育学部附属長岡中学校に通っていた。今は学部名が違うらしいがどうでもいい。校長は新潟大学の教授で、実質的には副校長が仕切る学校だった。 俺は「学校始まって以来のクズ」と、教師どもに陰口を叩かれていた。40歳になってから初めて参加した同窓会で知ったが、俺が高校を受験するのでさえ「学校の恥だ... 続きを読む
結局最後、全部、落合陽一が持っていった｜shi3z
2024/10/24
283 users
落合陽一
全部
最後
前回までのあらすじ 佐渡市長たっての願いで、本来はカルテット構成くらいで行う予定だったサテライト公演が25人のオーケストラ編成に。東京から楽器と奏者を25人連れてくるというキチ○イ沙汰に。さらにクラウドファンディングに参加した我々取材班(違う)はコンサートのプログラムを見た時、驚愕した。 「東京公演と全然... 続きを読む
初心者限定でPythonとAIの使い方を2時間で教えてそのままハッカソンしてみた｜shi3z
2024/10/18
147 users
ハッカ
Python
使い方
2時間
新潟県長岡市で三度目の当選を果たした磯田市長にプログラミングを教えてみて、吾輩はある確信に達した。 もはやプログラミングは英語より数学より身近なものであり、真の意味で誰でもプログラミングをスキルとして身につけることができる、一億総プログラマー国家が出現しようとしているということを。 吾輩がこの構想... 続きを読む
ついにBitNet Llama8Bが登場! CPUのみで爆速推論するLLM,BitNet.cpp｜shi3z
科学の世界では、それまでの常識が覆ることを俗に「パラダイムシフト」と呼ぶ。 しかし、もしもAIの世界にパラダイムシフトという言葉があるとしたら、今週の人類は一体何度のパラダイムシフトを経験しただろうか。 そのトドメの一撃とも言えるのが、BitNetのLlama8B版だ。 Lllama-8B構造で学習された最初のBitNetであり... 続きを読む
物理学者の逆襲!?Entropixはわずか3億6000万パラメータで1000億パラメータ級の回答を引き出す!Claude-3でも間違う問題を360Mが正しく解く｜shi3z
2024/10/13
247 users
ピンドン
物理学者
回答
ノー
問題
物理学者の逆襲!?Entropixはわずか3億6000万パラメータで1000億パラメータ級の回答を引き出す!Claude-3でも間違う問題を360Mが正しく解く 物理学者たちがノーベル物理学賞をホップフィールドとヒントンが受賞すると知った時、まあまあ微妙な気持ちになったことは想像に難くない。 我々コンピュータ科学者にとっては、ノ... 続きを読む
もうでかいVRAMに高い金を払う必要は無くなるかもしれないのか?超分散LLM推論環境が爆誕 ｜shi3z
世は大容量GPU時代。 吾輩も、秋葉原で大容量VRAM搭載GPUの中古が出たときけばすぐに飛んでいき買ってくるということを繰り返している。ちなみに最近、秋葉原の大容量中古GPUは飛ぶように売れているので、見つけたら即買いしないとすぐに無くなる。 なぜ大容量GPUが欲しいかと言えば、それがAIの全ての力の源だからであ... 続きを読む
これはなかなかいいんでないの?NVIDIAチップの5倍高速で価格1/10の中国AIチップ搭載コンピュータ｜shi3z
2024/09/22
50 users
Nvidiaチップ
AIチップ
高須さん
新製品
価格
これはなかなかいいんでないの?NVIDIAチップの5倍高速で価格1/10の中国AIチップ搭載コンピュータ Maker Faire Tokyo 2024に行ってきた。 深圳在住の高須さんが僕を見るなり「これ見てこれ」と連れていかれ、新製品のRDK X3を紹介された。 RDK X3とは何かというと、要は最新のAIチップを搭載したシングルボードマイコン、... 続きを読む
AIの発言を理解するために、量子力学の計算を勉強することにした。で、すごいいい本があった｜shi3z
2024/09/15
9 users
量子力学
発言
計算
いい本
ヤツ
誰だ。AIが進化すると仕事が楽になると言ったやつは。 AIが勝手に金を稼いでくれて本人は遊んで暮らせるようになるはずとか言ってたやつは。もしくは全ての仕事をAIが奪ってしまって、人間はやることがなくなってしまうとか言ってたやつもいたな。 面白い。お前らが言ったことは実は全部間違ってるAmazong, Every words ... 続きを読む
初心者がプログラミングを学ぶときに最も効果的な方法は「写経」だと思う｜shi3z
2024/09/04
271 users
写経
タイピング速度
プログラミング
記憶
コード
プログラミングの勉強方法で最も効果がない方法は「写経」です。コードを記憶しても無駄です。実際のプログラミングでは記憶にないコードを作り出さなければいけないからです 「写経」はタイピング速度の向上やキーワードを覚える効果はあるかもしれませんが、肝心のプログラミングには役に立ちません — Koichi Nakashim... 続きを読む
【これがゲームチェンジャーか!】松尾研のTanuki-8BとTanuki-8x8Bを試す｜shi3z
2024/08/31
116 users
ゲームチェンジャー
松尾研
なぜタヌキなのか? その謎は謎のままだが、とにかく日本語性能がGemini1.5Proに次ぎ、少し前のGPT-4よりも高い上に商用利用可能という太っ腹仕様なので使わない手はない。むしろこれさえあればもう誰もGPTに課金しなくて済む、そんな未来が来るのかもしれない。 しかし、Tanukiは特殊な何かをしてるらしくMLXに簡単にコ... 続きを読む
(マジの)ご家庭にジャービス。完全 Macのみで日本語音声応答するAIを作った｜shi3z
2024/08/22
14 users
ジャービス
Mac
マジ
日本語音声
ご家庭
Speech-to-speechは、NVIDIAのGPU搭載マシンがあればローカルで音声認識、応答生成、音声合成ができる画期的なオープンソースツールだった。 しかし一つだけ不満があったのは、これが本語には対応していないということだ。 ワイはコスモポリタンである。 ・・・そう名乗ってしまったから、「そういえばコスモポリタンっ... 続きを読む
ついにご家庭にやってきたシンギュラリティ。AIサイエンティストが勝手に仮説を立て、実験して、論文を書く｜shi3z
2024/08/13
147 users
シンギュラリティ
仮説
論文
GPU
GPT-4o
SakanaAIがまた面白い研究を発表した。その名も「AI Scientist(AI科学者)」 AIの研究をする科学者ではなく、科学者をやるAIである。 しかもすごいのは、基本的に難しいAIはすべてクラウド上で動作する(GPT-4oやOpenRouter対応LLMなど)ので、ご家庭で手軽に遊ぶことができる。AIの実験をする場合はGPUくらいは欲しいとこ... 続きを読む
Cursorよさらば!これからはAIderで対話しながらプログラムを作る時代だ! ｜shi3z
ドリ山田金之助がCursorというAI搭載テキストエディターを使って独自のビデオ編集をやってるという話を風の噂で聞いた。 ドリ山田くーん、遅い、遅いよー とか煽るのも可哀想だったので放置していたのだが、昨日(!!)もっとゴイスーなAIソフト開発環境を触って元に戻れなくなってしまったのでご紹介しておく。 その最新... 続きを読む
AIと一緒に新しい言語処理系を作ってみた｜shi3z
Claude-3 Sonnetがだいぶ良いので、前々から考えていた、「Lispっぽい記法で書けるけど他の言語に慣れた人にも使える言語」の処理系を作ってみた。仮にEasyLispという名前にした。 この言語ではこんな感じでプログラムが書ける (define person (object)) (set! person.name "Alice") (set! person.age 30) (print person... 続きを読む
音声からプログラムを自動的に作るautocodeを作った｜shi3z
なんか吾輩の昔のブログを読みたいという酔狂な奴がいて、何でも最近会社を立ち上げたらしくて売上が1億を超えたところらしい。 他ならぬ友が会社を立ち上げて苦労している時に、吾輩の昔のブログのタイトルだけ覚えていて、それが見たいのだという。 吾輩は主にAI学習用に自分のブログのアーカイブを持っている。 持っ... 続きを読む
ド下手な俺が半日だけ絵を練習してみた｜shi3z
2024/06/03
389 users
半日
メカ
幽霊部員
職業柄
キャラクター
前回、絶望的な画力のなさでAIといえど俺の伝えたいことが伝えられなくて非常に困ったので、もうここは諦めて絵を勉強することにした。人間、何歳になっても勉強できる! 職業柄、「図」はよく描くのだが、「絵」特に、メカではないキャラクターは苦手だった。 学生時代、「漫画アニメーション研究会(まに研)」の幽霊部員... 続きを読む
1BitLLMの実力を見る｜shi3z
2024/04/17
17 users
実力
LLM
HuggingFace
一読
1bit
1BitLLMは本当に実現可能なのか?そして、実現されると予告されていることに意味はあるのか? ようやく再現実装に成功した人が現れたので僕も試してみた。 ちなみに1Bit(1.58bit) LLMについての考察はこのページが面白いので一読をお勧めする。 ただし、普通のHuggingFaceのお作法とはかなり違うので注意が必要。 まず、こ... 続きを読む
AI時代に起業するということ｜shi3z
生成AI以前と以後で、会社のあり方は決定的に変化していくのだと思う。 たとえば、昨日はとある会議で、「この(AI)サービスの原価はいくらか」という議論が沸き起こった。 AIサービスなのだから、AIの利用料くらいしかかからないかというとそうでもない。実際、AIを動かすためにはAIそのものにかかるお金以外の人件費が... 続きを読む
Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能｜shi3z
2024/04/06
289 users
実行
Transformer
衝撃
えーーー
えーー
Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能 Transformerの発明者らが起業したCohereAIがとんでもないモデルを出してきた。この業界では毎週のように「えーー!」ということが起きるのだが、その中でも年に1,2回起きる「えーーーっ」が起きたのでブログでも紹介してお... 続きを読む
こんなこと書いていいの!?電通のヤバい手口を暴露した電通マンの知られざる悲惨「電通マンぼろぼろ日記」｜shi3z
2024/03/09
30 users
電通
電通マン
ヤバい手口
昨日は技研フリマで昼から飲んでしまい、技研バーが始まる頃には椅子で寝ていた。 まつゆう*と交代して家に帰り、そのまま寝てしまったので午前四時くらいに目が覚めた。 猪瀬直樹の「ラストニュース」を全部読んでしまったので、「ミカドの肖像」を読み始めたが眠くなってしまい、別の本を探した。 買った覚えはないの... 続きを読む
驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z
2024/02/28
420 users
1ビットLLM
驚異
昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要に... 続きを読む