GPTのモデル構造を可視化した｜shi3z

2023/06/10 391 users GPT shi3z from Transformers

GPTのモデル構造を目で見てみたい! そんな気持ち、わかるでしょ? 技研フリマをやりながら、どうにかこうにか出力したよ ご覧あれ 22世紀に残したい図やり方メモ from transformers import AutoTokenizer, AutoModelForCausalLM from torchviz import make_dot tokenizer = AutoTokenizer.from_pretrained("gpt2") from t... 続きを読む

ChatGPTなどのチャットAIがどんな風に文章を認識しているのかが一目で分かる「Tokenizer」

2023/04/06 135 users chatgpt OpenAI OPEN トークン 一目

OpenAIが開発したChatGPTをはじめ、さまざまなAIが人間レベルの会話を行ってくれるようになりました。AIは文章を読み書きするとき「トークン」という単位で認識を行うのですが、普通の文章がトークン的にはどのように分解されるのかを一目で教えてくれるツール「Tokenizer」がOpenAIのページ上で公開されています。 Open... 続きを読む

Perlで日本語全文検索できるCPANモジュール作りました - 俺とお前とlaysakura

2013/10/20 175 users laysakura CPANモジュール Mecab perl

2013-10-11 Perlで日本語全文検索できるCPANモジュール作りました Perlで全文検索を手軽にできるようにするCPANモジュール，Search::Fulltext をリリースしました． これ単品だと英語での全文検索ができるのですが，これまた拙作の Search::Fulltext::Tokenizer::MeCab と組み合わせて使うと 日本語全文検索 ができるようになります． ここ... 続きを読む

頻出順で学ぶPHPの関数リスト:phpspot開発日誌

2011/03/23 190 users PHP phpspot開発日誌 Smarty Mambo 関数

List of Most Commonly Used PHP Functions :: search[code] 頻出順で学ぶPHPの関数リスト。 有名な、Wordpress, Mambo, Sphider, Smarty, Drupal, CodeIgniter 等のオープンソースを正規表現にかけて頻出関数について調査したそうです。 Tokenizer を使っていないので関数ではないものも混じっ... 続きを読む