1BitLLMの実力を見る｜shi3z

2024/04/17 17 users 実力 LLM HuggingFace 一読 1bit

1BitLLMは本当に実現可能なのか?そして、実現されると予告されていることに意味はあるのか? ようやく再現実装に成功した人が現れたので僕も試してみた。 ちなみに1Bit(1.58bit) LLMについての考察はこのページが面白いので一読をお勧めする。 ただし、普通のHuggingFaceのお作法とはかなり違うので注意が必要。 まず、こ... 続きを読む

AI時代に起業するということ｜shi3z

2024/04/09 5 users AI時代

生成AI以前と以後で、会社のあり方は決定的に変化していくのだと思う。 たとえば、昨日はとある会議で、「この(AI)サービスの原価はいくらか」という議論が沸き起こった。 AIサービスなのだから、AIの利用料くらいしかかからないかというとそうでもない。実際、AIを動かすためにはAIそのものにかかるお金以外の人件費が... 続きを読む

Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能｜shi3z

2024/04/06 289 users 実行 Transformer 衝撃 えーーー えーー

Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能 Transformerの発明者らが起業したCohereAIがとんでもないモデルを出してきた。この業界では毎週のように「えーー!」ということが起きるのだが、その中でも年に1,2回起きる「えーーーっ」が起きたのでブログでも紹介してお... 続きを読む

こんなこと書いていいの!?電通のヤバい手口を暴露した電通マンの知られざる悲惨「電通マンぼろぼろ日記」｜shi3z

2024/03/09 30 users 電通 電通マン ヤバい手口

昨日は技研フリマで昼から飲んでしまい、技研バーが始まる頃には椅子で寝ていた。 まつゆう*と交代して家に帰り、そのまま寝てしまったので午前四時くらいに目が覚めた。 猪瀬直樹の「ラストニュース」を全部読んでしまったので、「ミカドの肖像」を読み始めたが眠くなってしまい、別の本を探した。 買った覚えはないの... 続きを読む

驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z

2024/02/28 420 users 1ビットLLM 驚異

昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要に... 続きを読む

東浩紀「訂正可能性の哲学」はAI関係者必読だ!｜shi3z

2024/02/20 320 users 哲学 東浩紀 山奥 合間 あたり

先週、今週とあちこちへ出張が続いているので、移動時間の合間、ネットが途切れる山奥にさしかかったあたりで東浩紀「訂正可能性の哲学」を読んだ。東さんの本はいつもそうなのだが、あまりの内容に驚愕した。 そして昨日はたまたま東さんにVisionProを体験させる約束をしていた日なので、会う前に一気に読み終えた。す... 続きを読む

ごめんVisionPro誤解してた (๑˃̵ᴗ˂̵)｜shi3z

2024/02/10 166 users

朝起きて、「うーんまだ布団から出たくないな」と思ったとき、おもむろにVisionProを被ってみた。 暗い部屋では認識が格段に悪くなるが、なぜPSVRではこういう使い方をしなかったのかわかった。後頭部だ。 PSVRは後頭部にゴツい部品があって、それで寝ながらVRを見るということが少し難しくなってる。VisionProの標準の... 続きを読む

プログラミングの超基本的な考え方をド文系の人に説明した動画｜shi3z

2024/01/08 397 users プログラミング ド文系 動画 考え方

哲学者の東浩紀さんと思想史と近代科学史(特にコンピュータ史)の本を一緒に書いてみようという企画が今年から立ち上がった。 すると東さんがある日の生放送で、「しかし俺も最低限プログラムくらいかける必要があるんじゃないか。しかし最低限のプログラムとは何か」と言っていたところ、シラスの桂さんが「エラトステネ... 続きを読む

これは21世紀の着せ替え人形か!?どんな服も着せられるAIが登場｜shi3z

2023/12/14 12 users 人形 アリババ Outfit Anyone 登場 21世紀

アリババが開発した「Outfit Anyone」は、あらかじめ指定されたモデルに好きな服を着せることができるAIだ。 Animate Anyoneと組み合わせてアニメーションにもできる。 このサイトでデモを試せる たとえば、あらかじめ用意されている服を上と下で選ぶと、組み合わせて着てくれる しかし、上着はワンピース対応なので、わ... 続きを読む

Copilot Studioを使ってみた。注意点と実際にかかるお金の話など｜shi3z

2023/11/17 279 users Copilot Studio プレビュー版 パッケージ 実際

Copilot StudioはMicrosoft 365 E5というお高いパッケージに入らないとプレビュー版すら使えないらしい。 仕方ないので会社で入りましたよ。会社に所属してるのは3人だけど、E5だと25人分のアカウントがついてくる。 しかし!!! 金さえ払えば使えるというほどイージーなものではなかったので皆さんにお伝えします。ちなみ... 続きを読む

清水亮（shi3z）さん「逮捕されたのは別人です」　同姓同名のソフトバンク元部長逮捕で

2023/11/09 15 users 別人 姓名 清水亮 Note 漢字

「逮捕されたのは別人です」――実業家・エンジニアの清水亮さん（@shi3z）は11月8日、同姓同名のソフトバンク元部長が詐欺容疑で逮捕された件をめぐり、noteにこう投稿した。 2人ともIT業界で働き、姓名の漢字まで同じ、年齢も40代後半とプロフォールがよく似ており、勘違いする人も出ているようだ。 元ソフトバンクの清... 続きを読む

俺はソフトバンクの社員だったことはありません｜shi3z

2023/11/08 158 users ソフトバンク www.asahi.com ウソ 別人 社員

逮捕されたのは別人です。 逮捕されてたら書けないでしょ。今 ソフトバンク元部長らを詐欺容疑で逮捕　架空事業で12億円詐取疑い：朝日新聞デジタル ソフトバンクの事業への投資だとうそを言って12億円をだまし取ったとして、警視庁は8日、同社元統括部長の清水亮（47）=東 www.asahi.com 以下の本も書いてません 徹底解... 続きを読む

GPT-3.5-Turbo / GPT-4-Turbo 1106のJSONモードの使い方｜shi3z

2023/11/06 248 users GPT-4-Turbo import 試行錯誤 日本時間未明

日本時間未明(午前三時)ものすごいスピードで語られたOpenAI初の開発者向けイベントDevDayで発表されたGPT-4-TurboとGPT-3.5-TurboによるJSONモード。 これはものすごく強力なんだけど、Python APIによる使い方がどこにも描いてないので試行錯誤の末見つけましたので共有いたします。 from openai import OpenAI import ... 続きを読む

最高すぎるキーボードHHKB Studio。｜shi3z

2023/10/26 8 users

やっと昨日、HHKB Studioが発売開始になった。 二週間前くらいに貰って、あまりの快適さに感動した。 静電容量式からメカニカルに変わったと言われても気づかないレベル。 というかそもそもこれまでのHHKBはキータッチは素晴らしいもののMacとWindowsとLinuxを切り替えて使う俺にはディプスイッチで設定するとか二十世紀... 続きを読む

俺に起業の相談をするな｜shi3z

2023/10/22 63 users 起業 UberEATS 相談 アイデア ユーザー

最近よく聞かれるので改めて言っておく。俺に起業の相談をするな。一切受けつけていない。突然事業のアイデアを言われても俺は助けないし助けられない。 俺が相手にするのはUberEatsのユーザーと、昔から一緒に仕事をしている人の紹介だけだ。もうすぐ五十路が見えているというのに新たな人間関係を構築しようとするほど... 続きを読む

注目の日本語大規模モデルLLM-JP 13Bを試す(JSON吐けた)｜shi3z

2023/10/20 52 users JSON AUTOM LLM-jp マシン モデル

国立情報学研究所が作ったLLM-JP 13Bが公開されていたので早速試してみた。色々なモデルが公開されているが、全部盛りっぽい 「llm-jp/llm-jp-13b-instruct-full-jaster-dolly-oasst-v1.0」を試す。 マシンはもちろんドスパラ製Memeplexマシン(A6000x2)だ。 import torch from transformers import AutoTokenizer, AutoM... 続きを読む

Mistral-Instruct-7Bで日本語WikipediaからJSON形式でクイズを作ることに成功した｜shi3z

2023/10/06 9 users JSON形式 クイズ prompt ins Data

高性能と名高いMistral-Instruct-7Bで日本語WikipediaからJSON形式でクイズを作ることに成功。これで日本語版データセットの開発が捗るはず。 とりあえず機内での実験のためGGUF(8bit)で試した。GGUFで動くならGPUならもっと動くだろう >>> data={"prompt":"""<s>[INS]以下の説明文を読みなさい[/INS] ... 樋口 真嗣（ひ... 続きを読む

AIを語りたいなら最低限Pythonをやるべき。足し算より簡単なんだから｜shi3z

2023/09/28 299 users 足し算

昨日は新潟県長岡市に行って、市役所の職員向けと、一般向けに二回の講演を行った。 市役所の職員からの質問事項をよく読むと、ChatGPTを闇雲に何にでも使おうとして苦戦している姿が見てとれた。 たとえばこんな感じだ。 ⚪︎時に東京駅につく新幹線を予約したいとChatGPTに言ったが、公式サイトをチェックしろと言われた... 続きを読む

もうみんなプログラマーになれるよ｜shi3z

2023/09/08 581 users

僕の20年来の親友にnpakaというプログラマーがいるんだけど、彼はもう超凄い。何でもすごい。何でも書けるし何でも早い。本を書くのもプログラムを書くのも、新しいわけわかんない説明書がバグだらけの環境に慣れるのも早い。 んで、これまではちょっとしたことも難しいことも全部npaka(布留川君)に頼んでたんだけど、最... 続きを読む

OpenInterpreter / ついにAIがガチのアシスタントに!これは凄い、というか凄すぎる｜shi3z

2023/09/07 1446 users アシスタント

凄いものが出てきてしまった。 ChatGPTの「Code Interpreter」が話題になったが、あれはあくまでクラウド上で動いているだけ。それを模してローカルで動作するようになった「Open Interpreter」は、衝撃的な成果である。 Open Interpreterのインストールは簡単。コマンド一発だ $ pip install open-interpreter起動も簡... 続きを読む

ChatGPT/Co-Pilotで改めてわかる「プログラミング」とはどんな作業だったのか｜shi3z

2023/09/04 6 users chatgpt リファレンスマニュアル プログラミング 作業

最初にプログラミングを始めた時は、学校にリファレンスマニュアルを持って行って全てのページを丸暗記した。丸暗記が目的だったわけではなく、読んで知識を吸収していくのが楽しくてしょうがなかった。 PC-9801のN88-BASICリファレンスマニュアルは、読み物としてとても良くできていた。各ステートメントの紹介があり、... 続きを読む

LINEの3.6B言語モデルで遊んだら爆笑した｜shi3z

2023/08/15 680 users 言語モデル line LLM prompt 推論

LINEから36億(3.6B)パラメータの大規模言語モデル(LLM)が公開されたので早速遊んでみた。正確には遊んだのは昨日のデイリーAIニュースなのだが、面白かったのでこちらにも転載する。 細かいやり方は大先生のページを参照のこと。 例によってこんな関数を書いた def line(prompt): # 推論の実行 input_ids = tokenizer.en... 続きを読む

AI Bunchoモデルで何か物語めいたものを生成する｜shi3z

2023/08/13 71 users

もともと小説を書くためのAIなので物語には強いだろう。しかも日本製だし。 ということで大先生が早速試していた。 僕も真似をしてさっそく使ってみたのだが、そのままだとかなり短い文章しか出てこない。使い方に工夫が必要そうである。 そこでこんなコードを書いた。 def b(prompt): input_ids = tokenizer.encode( pr... 続きを読む

プレ・シンギュラリティ、もう始まってない?｜shi3z

2023/07/26 345 users

毎日AIニュースを追いかけていると、当然、波がある。 「今週は落ち着いてるな」とか「今日はやばいな」とか。 今日は、久々に「やばいな」という日だった。 まず、一日のうちにSOTA(State Of The Art)超えしたという大規模言語モデルを三つくらい見た。明らかにおかしい。 さらに、AttentionとMLPを使わない大規模言語... 続きを読む

これぞ革命!?ゼロから大規模言語モデルを学習できるReLORA登場｜shi3z

2023/07/15 9 users 革命 言語モデル

「君たちはどう生きるか」で驚いている間にすごい論文が世界の話題を掻っ攫っていた。 その名も「ReLORA」簡単に言えば、「事前学習にLoRAを使う」というものである。 これは本当に革命的な発見かもしれないので、僕の仮説も含めて丁寧に説明する。 まず、大前提として、「LoRA」という技術について LoRAは、「Low Rank ... 続きを読む