注目の日本語大規模モデルLLM-JP 13Bを試す(JSON吐けた)｜shi3z

2023/10/20 52 users JSON AUTOM LLM-jp shi3z マシン

国立情報学研究所が作ったLLM-JP 13Bが公開されていたので早速試してみた。色々なモデルが公開されているが、全部盛りっぽい 「llm-jp/llm-jp-13b-instruct-full-jaster-dolly-oasst-v1.0」を試す。 マシンはもちろんドスパラ製Memeplexマシン(A6000x2)だ。 import torch from transformers import AutoTokenizer, AutoM... 続きを読む

GPTのモデル構造を可視化した｜shi3z

2023/06/10 391 users GPT Tokenizer shi3z from t 可視化

GPTのモデル構造を目で見てみたい! そんな気持ち、わかるでしょ? 技研フリマをやりながら、どうにかこうにか出力したよ ご覧あれ 22世紀に残したい図やり方メモ from transformers import AutoTokenizer, AutoModelForCausalLM from torchviz import make_dot tokenizer = AutoTokenizer.from_pretrained("gpt2") from t... 続きを読む

Googleの検索エンジンに「過去5年で最大の飛躍」。新たな言語処理モデル「BERT」の秘密｜WIRED.jp

2019/11/14 225 users Bert セサミストリート Getty Images 飛躍

LYU LIANG/VCG/GETTY IMAGES) 「Google 検索」が大きな進化を遂げようとしている。このほどグーグルが「BERT（Bidirectional Encoder Representations from Transformers）」と呼ばれる機械学習の手法によって、Google 検索におけるランキングシステムの性能を強化したことを明らかにしたのだ。 「セサミストリート」の... 続きを読む