はてブログ

はてなブックマーク新着エントリーの過去ログサイトです。



タグ Tokenizer

新着順 人気順 5 users 10 users 50 users 100 users 500 users 1000 users
 
(1 - 4 / 4件)
 

GPTのモデル構造を可視化した|shi3z

2023/06/10 このエントリーをはてなブックマークに追加 391 users Instapaper Pocket Tweet Facebook Share Evernote Clip GPT shi3z from Transformers

GPTのモデル構造を目で見てみたい! そんな気持ち、わかるでしょ? 技研フリマをやりながら、どうにかこうにか出力したよ ご覧あれ 22世紀に残したい図やり方メモ from transformers import AutoTokenizer, AutoModelForCausalLM from torchviz import make_dot tokenizer = AutoTokenizer.from_pretrained("gpt2") from t... 続きを読む

ChatGPTなどのチャットAIがどんな風に文章を認識しているのかが一目で分かる「Tokenizer

2023/04/06 このエントリーをはてなブックマークに追加 135 users Instapaper Pocket Tweet Facebook Share Evernote Clip chatgpt OpenAI OPEN トークン 一目

OpenAIが開発したChatGPTをはじめ、さまざまなAIが人間レベルの会話を行ってくれるようになりました。AIは文章を読み書きするとき「トークン」という単位で認識を行うのですが、普通の文章がトークン的にはどのように分解されるのかを一目で教えてくれるツール「Tokenizer」がOpenAIのページ上で公開されています。 Open... 続きを読む

Perlで日本語全文検索できるCPANモジュール作りました - 俺とお前とlaysakura

2013/10/20 このエントリーをはてなブックマークに追加 175 users Instapaper Pocket Tweet Facebook Share Evernote Clip laysakura CPANモジュール Mecab perl

2013-10-11 Perlで日本語全文検索できるCPANモジュール作りました Perlで全文検索を手軽にできるようにするCPANモジュール,Search::Fulltext をリリースしました. これ単品だと英語での全文検索ができるのですが,これまた拙作の Search::Fulltext::Tokenizer::MeCab と組み合わせて使うと 日本語全文検索 ができるようになります. ここ... 続きを読む

頻出順で学ぶPHPの関数リスト:phpspot開発日誌

2011/03/23 このエントリーをはてなブックマークに追加 190 users Instapaper Pocket Tweet Facebook Share Evernote Clip PHP phpspot開発日誌 Smarty Mambo 関数

List of Most Commonly Used PHP Functions :: search[code] 頻出順で学ぶPHPの関数リスト。 有名な、Wordpress, Mambo, Sphider, Smarty, Drupal, CodeIgniter 等のオープンソースを正規表現にかけて頻出関数について調査したそうです。 Tokenizer を使っていないので関数ではないものも混じっ... 続きを読む

 
(1 - 4 / 4件)