tiktokenでgpt-3.5-turboとgpt-4oのトークン数を比較する

2024/08/23 12 users OpenAI GPT-4o-mini GPT-4o 平均 弊社

GMO NIKKOのT.Nです。 最近弊社のプロダクトで使用しているOpenAIのモデルを、 gpt-4oやgpt-4o-miniに切り替えました。 gpt-3.5-turboを使用していた時と比較して、 トークン数に変化があったので、 tiktokenの処理時間も含めて確認してみました。 確認方法 以下のようなプログラムで、 トークン数と処理時間の平均を確... 続きを読む

OpenAIのGPT-4oを日本語OCRとして使ってみる

2024/05/14 88 users OpenAI GPT-4o 生成AI 応答速度 音声合成

昨日、OpenAIが生成AIの新しいモデルであるGPT-4oを発表しました。消費するトークン数の節約や、音声合成機能の改善、応答速度の向上など着実な品質改善を見せているようです。私も、特に音声合成（Text To Speech）の表現力について非常に興味を持っています。 私は以前、「OpenAIのGPT-4 Turbo with visionを日本語OCR... 続きを読む

Anthropicが大規模言語モデル「Claude 2.1」をリリース、最大20万トークン・15万ワードを読込可能で幻覚が半減し新しいAPI統合などを提供

2023/11/22 8 users Anthropic index 幻覚 精度 読込

元OpenAIエンジニアによって設立されたAIスタートアップのAnthropicが、大規模言語モデルの「Claude 2.1」を発表しました。Claude 2.1は処理可能なトークン数が倍増し最大20万トークンを受け付けるようになったほか、精度も大幅に向上しています。 Anthropic \ Introducing Claude 2.1 https://www.anthropic.com/index/... 続きを読む

プログラムの内容ではChatGPTのトークン数はどのようになるか？ - Taste of Tech Topics

2023/08/25 21 users chatgpt acro-engineer バジル 代替わり

枝差ししていたバジルが順調に成長して切り出し元の株と代替わりをしました、またバジル生活が始まりそうな菅野です。 皆さんはChatGPTのAPIを利用していますでしょうか？ まだ利用していない、利用方法がわからないという方は以下の記事をご覧ください。 acro-engineer.hatenablog.com APIの仕組みの中でも直感的にわか... 続きを読む

ついっぷるProが配信終了へ | orefolder.blog

2014/01/09 23 users orefolder.blog pro 配信終了 トークン 制限

Twitterクライアントとして人気のついっぷるProが1月末に配信終了になるようです。 いわゆる10万トークン制限によるものですね。 10万トークン制限？ 10万トークン制限というのは、簡単に説明すると「1つのアプリで使用可能なトークンは10万までに制限する。ただしこの2012年8月時点で10万を超えている場合はその時点のトークン数の倍を制限とする」というものです。（詳しくは「Twitter 1... 続きを読む