タグ Tokenizer
人気順 5 users 50 users 100 users 500 users 1000 usersGPTのモデル構造を可視化した|shi3z
GPTのモデル構造を目で見てみたい! そんな気持ち、わかるでしょ? 技研フリマをやりながら、どうにかこうにか出力したよ ご覧あれ 22世紀に残したい図やり方メモ from transformers import AutoTokenizer, AutoModelForCausalLM from torchviz import make_dot tokenizer = AutoTokenizer.from_pretrained("gpt2") from t... 続きを読む
ChatGPTなどのチャットAIがどんな風に文章を認識しているのかが一目で分かる「Tokenizer」
OpenAIが開発したChatGPTをはじめ、さまざまなAIが人間レベルの会話を行ってくれるようになりました。AIは文章を読み書きするとき「トークン」という単位で認識を行うのですが、普通の文章がトークン的にはどのように分解されるのかを一目で教えてくれるツール「Tokenizer」がOpenAIのページ上で公開されています。 Open... 続きを読む
Perlで日本語全文検索できるCPANモジュール作りました - 俺とお前とlaysakura
2013-10-11 Perlで日本語全文検索できるCPANモジュール作りました Perlで全文検索を手軽にできるようにするCPANモジュール,Search::Fulltext をリリースしました. これ単品だと英語での全文検索ができるのですが,これまた拙作の Search::Fulltext::Tokenizer::MeCab と組み合わせて使うと 日本語全文検索 ができるようになります. ここ... 続きを読む
頻出順で学ぶPHPの関数リスト:phpspot開発日誌
List of Most Commonly Used PHP Functions :: search[code] 頻出順で学ぶPHPの関数リスト。 有名な、Wordpress, Mambo, Sphider, Smarty, Drupal, CodeIgniter 等のオープンソースを正規表現にかけて頻出関数について調査したそうです。 Tokenizer を使っていないので関数ではないものも混じっ... 続きを読む