1BitLLMの実力を見る｜shi3z

2024/04/17 17 users 実力 LLM HuggingFace 一読 1bit

1BitLLMは本当に実現可能なのか?そして、実現されると予告されていることに意味はあるのか? ようやく再現実装に成功した人が現れたので僕も試してみた。 ちなみに1Bit(1.58bit) LLMについての考察はこのページが面白いので一読をお勧めする。 ただし、普通のHuggingFaceのお作法とはかなり違うので注意が必要。 まず、こ... 続きを読む

Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能｜shi3z

2024/04/06 289 users 実行 Transformer 衝撃 えーーー えーー

Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能 Transformerの発明者らが起業したCohereAIがとんでもないモデルを出してきた。この業界では毎週のように「えーー!」ということが起きるのだが、その中でも年に1,2回起きる「えーーーっ」が起きたのでブログでも紹介してお... 続きを読む

こんなこと書いていいの!?電通のヤバい手口を暴露した電通マンの知られざる悲惨「電通マンぼろぼろ日記」｜shi3z

2024/03/09 30 users 電通 電通マン ヤバい手口

昨日は技研フリマで昼から飲んでしまい、技研バーが始まる頃には椅子で寝ていた。 まつゆう*と交代して家に帰り、そのまま寝てしまったので午前四時くらいに目が覚めた。 猪瀬直樹の「ラストニュース」を全部読んでしまったので、「ミカドの肖像」を読み始めたが眠くなってしまい、別の本を探した。 買った覚えはないの... 続きを読む

驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z

2024/02/28 420 users 1ビットLLM 驚異

昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要に... 続きを読む

東浩紀「訂正可能性の哲学」はAI関係者必読だ!｜shi3z

2024/02/20 320 users 哲学 東浩紀 山奥 合間 あたり

先週、今週とあちこちへ出張が続いているので、移動時間の合間、ネットが途切れる山奥にさしかかったあたりで東浩紀「訂正可能性の哲学」を読んだ。東さんの本はいつもそうなのだが、あまりの内容に驚愕した。 そして昨日はたまたま東さんにVisionProを体験させる約束をしていた日なので、会う前に一気に読み終えた。す... 続きを読む

ごめんVisionPro誤解してた (๑˃̵ᴗ˂̵)｜shi3z

2024/02/10 166 users

朝起きて、「うーんまだ布団から出たくないな」と思ったとき、おもむろにVisionProを被ってみた。 暗い部屋では認識が格段に悪くなるが、なぜPSVRではこういう使い方をしなかったのかわかった。後頭部だ。 PSVRは後頭部にゴツい部品があって、それで寝ながらVRを見るということが少し難しくなってる。VisionProの標準の... 続きを読む

プログラミングの超基本的な考え方をド文系の人に説明した動画｜shi3z

2024/01/08 397 users プログラミング ド文系 動画 考え方

哲学者の東浩紀さんと思想史と近代科学史(特にコンピュータ史)の本を一緒に書いてみようという企画が今年から立ち上がった。 すると東さんがある日の生放送で、「しかし俺も最低限プログラムくらいかける必要があるんじゃないか。しかし最低限のプログラムとは何か」と言っていたところ、シラスの桂さんが「エラトステネ... 続きを読む

これは21世紀の着せ替え人形か!?どんな服も着せられるAIが登場｜shi3z

2023/12/14 12 users 人形 アリババ Outfit Anyone 登場 21世紀

アリババが開発した「Outfit Anyone」は、あらかじめ指定されたモデルに好きな服を着せることができるAIだ。 Animate Anyoneと組み合わせてアニメーションにもできる。 このサイトでデモを試せる たとえば、あらかじめ用意されている服を上と下で選ぶと、組み合わせて着てくれる しかし、上着はワンピース対応なので、わ... 続きを読む

Copilot Studioを使ってみた。注意点と実際にかかるお金の話など｜shi3z

2023/11/17 279 users Copilot Studio プレビュー版 パッケージ 実際

Copilot StudioはMicrosoft 365 E5というお高いパッケージに入らないとプレビュー版すら使えないらしい。 仕方ないので会社で入りましたよ。会社に所属してるのは3人だけど、E5だと25人分のアカウントがついてくる。 しかし!!! 金さえ払えば使えるというほどイージーなものではなかったので皆さんにお伝えします。ちなみ... 続きを読む

清水亮（shi3z）さん「逮捕されたのは別人です」　同姓同名のソフトバンク元部長逮捕で

2023/11/09 15 users 別人 姓名 清水亮 Note 漢字

「逮捕されたのは別人です」――実業家・エンジニアの清水亮さん（@shi3z）は11月8日、同姓同名のソフトバンク元部長が詐欺容疑で逮捕された件をめぐり、noteにこう投稿した。 2人ともIT業界で働き、姓名の漢字まで同じ、年齢も40代後半とプロフォールがよく似ており、勘違いする人も出ているようだ。 元ソフトバンクの清... 続きを読む

俺はソフトバンクの社員だったことはありません｜shi3z

2023/11/08 158 users ソフトバンク www.asahi.com ウソ 別人 社員

逮捕されたのは別人です。 逮捕されてたら書けないでしょ。今 ソフトバンク元部長らを詐欺容疑で逮捕　架空事業で12億円詐取疑い：朝日新聞デジタル ソフトバンクの事業への投資だとうそを言って12億円をだまし取ったとして、警視庁は8日、同社元統括部長の清水亮（47）=東 www.asahi.com 以下の本も書いてません 徹底解... 続きを読む

GPT-3.5-Turbo / GPT-4-Turbo 1106のJSONモードの使い方｜shi3z

2023/11/06 248 users GPT-4-Turbo import 試行錯誤 日本時間未明

日本時間未明(午前三時)ものすごいスピードで語られたOpenAI初の開発者向けイベントDevDayで発表されたGPT-4-TurboとGPT-3.5-TurboによるJSONモード。 これはものすごく強力なんだけど、Python APIによる使い方がどこにも描いてないので試行錯誤の末見つけましたので共有いたします。 from openai import OpenAI import ... 続きを読む

俺に起業の相談をするな｜shi3z

2023/10/22 63 users 起業 UberEATS 相談 アイデア ユーザー

最近よく聞かれるので改めて言っておく。俺に起業の相談をするな。一切受けつけていない。突然事業のアイデアを言われても俺は助けないし助けられない。 俺が相手にするのはUberEatsのユーザーと、昔から一緒に仕事をしている人の紹介だけだ。もうすぐ五十路が見えているというのに新たな人間関係を構築しようとするほど... 続きを読む

注目の日本語大規模モデルLLM-JP 13Bを試す(JSON吐けた)｜shi3z

2023/10/20 52 users JSON AUTOM LLM-jp マシン モデル

国立情報学研究所が作ったLLM-JP 13Bが公開されていたので早速試してみた。色々なモデルが公開されているが、全部盛りっぽい 「llm-jp/llm-jp-13b-instruct-full-jaster-dolly-oasst-v1.0」を試す。 マシンはもちろんドスパラ製Memeplexマシン(A6000x2)だ。 import torch from transformers import AutoTokenizer, AutoM... 続きを読む

AIを語りたいなら最低限Pythonをやるべき。足し算より簡単なんだから｜shi3z

2023/09/28 299 users 足し算

昨日は新潟県長岡市に行って、市役所の職員向けと、一般向けに二回の講演を行った。 市役所の職員からの質問事項をよく読むと、ChatGPTを闇雲に何にでも使おうとして苦戦している姿が見てとれた。 たとえばこんな感じだ。 ⚪︎時に東京駅につく新幹線を予約したいとChatGPTに言ったが、公式サイトをチェックしろと言われた... 続きを読む

もうみんなプログラマーになれるよ｜shi3z

2023/09/08 581 users

僕の20年来の親友にnpakaというプログラマーがいるんだけど、彼はもう超凄い。何でもすごい。何でも書けるし何でも早い。本を書くのもプログラムを書くのも、新しいわけわかんない説明書がバグだらけの環境に慣れるのも早い。 んで、これまではちょっとしたことも難しいことも全部npaka(布留川君)に頼んでたんだけど、最... 続きを読む

OpenInterpreter / ついにAIがガチのアシスタントに!これは凄い、というか凄すぎる｜shi3z

2023/09/07 1446 users アシスタント

凄いものが出てきてしまった。 ChatGPTの「Code Interpreter」が話題になったが、あれはあくまでクラウド上で動いているだけ。それを模してローカルで動作するようになった「Open Interpreter」は、衝撃的な成果である。 Open Interpreterのインストールは簡単。コマンド一発だ $ pip install open-interpreter起動も簡... 続きを読む

LINEの3.6B言語モデルで遊んだら爆笑した｜shi3z

2023/08/15 680 users 言語モデル line LLM prompt 推論

LINEから36億(3.6B)パラメータの大規模言語モデル(LLM)が公開されたので早速遊んでみた。正確には遊んだのは昨日のデイリーAIニュースなのだが、面白かったのでこちらにも転載する。 細かいやり方は大先生のページを参照のこと。 例によってこんな関数を書いた def line(prompt): # 推論の実行 input_ids = tokenizer.en... 続きを読む

AI Bunchoモデルで何か物語めいたものを生成する｜shi3z

2023/08/13 71 users

もともと小説を書くためのAIなので物語には強いだろう。しかも日本製だし。 ということで大先生が早速試していた。 僕も真似をしてさっそく使ってみたのだが、そのままだとかなり短い文章しか出てこない。使い方に工夫が必要そうである。 そこでこんなコードを書いた。 def b(prompt): input_ids = tokenizer.encode( pr... 続きを読む

プレ・シンギュラリティ、もう始まってない?｜shi3z

2023/07/26 345 users

毎日AIニュースを追いかけていると、当然、波がある。 「今週は落ち着いてるな」とか「今日はやばいな」とか。 今日は、久々に「やばいな」という日だった。 まず、一日のうちにSOTA(State Of The Art)超えしたという大規模言語モデルを三つくらい見た。明らかにおかしい。 さらに、AttentionとMLPを使わない大規模言語... 続きを読む

AIで動画&音楽生成はここまで来た!｜shi3z

2023/06/30 228 users 音楽生成 MusicGen 動画 ループ Gen2

AI動画生成が結構いいところまできた。 Runway-MLのGen2も素晴らしいのだが、オープンソースのZeroscope-v2-xlがすごい 音楽もmusicgenで大体作れる これまで音楽生成には否定的だったが、ここまで作れるなら、DJ機材用のループ素材として十分使える気がする。というか30秒も作れるのでループでは勿体無いというか。「久... 続きを読む

VisionOSでプログラミングをほんのちょっとだけ触ってみて思ったこと｜shi3z

2023/06/24 118 users visionOS エミュレータ SDK 出先 肌触り

VisionOSのSDKが公開されたので出先でダウンロードして早速試してみた。エミュレータはそれだけで楽しい。VisionOSでどんなことができるか想像しやすい。どんなイメージビデオよりも説得力があり、肌触りがある。 VisonOSのSDKはMacとApple IDがあれば誰でも無料でダウンロードできる。たぶん。僕は何年も個人アカウント... 続きを読む

数式は触ってみないと何も分からない｜shi3z

2023/06/22 28 users 数式 Swift Java Ruby Python

数式って不便すぎないか? いやわからん。 俺は数学苦手だから。 でも例えば、プログラミング言語は、現代普通に使われるものだけ挙げても、C#、JavaScript、Ruby、Python、PHP、Java、Swiftとまあ軽く7種類くらい。C系で言えば、C、C++もあるし、C++もバージョンによってはほとんど別物になったりする。プログラミング言... 続きを読む

高次元ベクトルを「矢印」とイメージするのがちょっとしっくりこない理由｜shi3z

2023/06/16 148 users 矢印 メタファー 足し算 引き算 こない理由

なぜAIを考える時にベクトルを「矢印」と捉えるべきではないのか。 実際には矢印として考えたほうがいい例外もあります。 たとえば、特徴空間の任意の２点の引き算や足し算をするとき。 矢印のメタファーが使えます。 あるベクトルAから別のベクトルBを引いたベクトルCは、BからAへ伸びる矢印としてイメージするのは大丈... 続きを読む

AIを学ぶのに必要な最低限の数学の知識は5つだけ!｜shi3z

2023/06/15 641 users 数学 最低限 遠回り 明後日 知識

最近、「AIを理解したくて代数幾何の教科書を勉強しているんですよ」という人によく会う。 五年前くらい前に、note株式会社の加藤社長も「社内で代数幾何学の勉強会を開いてるんですよ」と言っていた。僕はその都度「それは全く遠回りどころか明後日の方向に向かってますよ」と言うのだがなかなか聞き入れてもらえない。... 続きを読む