tiktokenでgpt-3.5-turboとgpt-4oのトークン数を比較する

2024/08/23 12 users OpenAI GPT-4o-mini GPT-4o 平均 弊社

GMO NIKKOのT.Nです。 最近弊社のプロダクトで使用しているOpenAIのモデルを、 gpt-4oやgpt-4o-miniに切り替えました。 gpt-3.5-turboを使用していた時と比較して、 トークン数に変化があったので、 tiktokenの処理時間も含めて確認してみました。 確認方法 以下のようなプログラムで、 トークン数と処理時間の平均を確... 続きを読む

Dataflow(batch)でZONE_RESOURCE_POOL_EXHAUSTEDが発生した話

2024/07/08 10 users DataFlow Batch job リソース ドキュメント

こんにちは。 GMO NIKKOのT.Cです。 今回は、Dataflowで、特定のゾーンにあるリソースが一時的な不足(= ZONE_RESOURCE_POOL_EXHAUSTED)により、間欠的にJobが失敗した内容について話したいと思います。 ※ 本ブログで発信される情報は、個人の見解でドキュメントで直接言及されてない内容も含まれているため、実際とは異... 続きを読む

Google AI Studioを使ってみる

2024/06/26 11 users Google AI Studio GEMINI プロンプト

こんにちわ。 GMO NIKKOのT.Mです。 Google AI Studioとは Google AI Studioは、GoogleのAIモデルであるGeminiを使ってプロンプトの検証やモデルのチューニングなどが行える開発ツールです。Gemini APIのAPIキーの取得もできます。 Google AI Studioの始め方 Googleアカウントがあれば始められます。 企業などでGoogle W... 続きを読む