大規模言語モデルを選択→数秒後にAzure上で試せる「Models as a Service」登場　従量課金制の推論API、ファインチューニングも可能。

2023/11/17 9 users ファインチューニング プレイグラウンド LangChain

カタログから選択すると数秒後には利用可能、従量課金制 Models as a Serviceでは、カタログからモデルを選択すると数秒でその大規模言語モデルに対する推論APIとファインチューニングが可能になります。 開発者はすぐにプレイグラウンドでの大規模言語モデルの探索や、Prompt Flow、Sematic Kernel、LangChainなどのツ... 続きを読む

お手軽で高速なFastAPIでCloudRu...

2022/06/15 19 users FastAPI GCP CloudRun pkl 推論

目次 FastAPIとは 特徴 API作成までの手軽さ Flaskよりも非常に高速 ドキュメントの自動生成 簡単なAPIを作る インストール シンプルなGETのAPIを作る 自動生成されるドキュメント 推論APIを作る 学習済みモデル(.pkl)の読み込み リクエストボディから推論を行う 推論APIを公開する GCP: CloudRunについて gcloudコマン... 続きを読む

さよならFlask ようこそFastAPI / goodbye Flask, welcome FastAPI - Speaker Deck

2021/01/28 153 users FastAPI github.com 要点 定義 https

DeNA社内の技術共有会でFastAPIの便利さについて語った資料です。 ▼ 要点 ・機械学習の推論API立てる用途ならFastAPIが便利 ・型定義で開発UXばっちり ・ドキュメント自動生成でつなぎこみも円滑 ▼ ソースコード https://github.com/amaotone/fastapi-example 続きを読む