LLMのプロンプトをCI/CDで評価する。promptfooを使って - Gunosy Tech Blog

2024/01/16 7 users LLM OpenAI chatgpt プロンプト 大手クラウド

こんにちは。 LLM事業部のUTです。 概要 promptfoo の紹介 起動 CI での評価 GitHub Action まとめ 概要 OpenAI による ChatGPT 登場の衝撃から1年ほど経ちましたが、 LLM を活用する企業はものすごく増えました。 OpenAI だけでなく、大手クラウドや Hugging Face などを通して各企業も提供しています。 遊びで使う分に... 続きを読む

実行時間ベースでテストを分割するGitHub Action

2023/05/15 14 users

GitHub Actionsでテストファイルを複数ノードに適切に分割するためのカスタムアクション、r7kamura/split-tests-by-timingsを作った。 CircleCIに同様の仕組みがあり、今回はこれのGitHub Actions版が欲しかった。 既存ツールとして、Go製のleonid-shevtsov/split_testsというCLIツールがあり、これを利用するchaosaffe/... 続きを読む

GitHub Actionのジョブ実行画面からPull Requestを辿れるようにした - Lambdaカクテル

2022/07/12 58 users Lambdaカクテル pull request ジョブ 表示

こういうのを作りました。 ジョブに紐付いたPull Requestへのリンクが表示される 行ったこと: リンクを生成するジョブを1つ生やした 綺麗な表示はStep Summary機能 (後述) の力を借りている ジョブ実行画面からPull-Reqに戻りたい GitHub Actionsのジョブ実行画面には、その実行元となったPull Requestへのリンクが存在... 続きを読む

GitHub Action で PR に何かして push する - 宇宙行きたい

2021/12/08 23 users Push Actions uses ref Name

先に結論 - uses: actions/checkout@v2 with: ref: ${{ github.event.pull_request.head.ref }} やったこと PR に対して特定の実行してそのPRにコミットしたい。 例えば code format とか まぁ、最初 main とかでやるように雑にやってみた - name: Commit updated files run: | if ! git diff --exit-code --quiet then ... 続きを読む

排他制御を行う GitHub Action を作った

2020/12/30 12 users 排他制御

弊社では GitHub のレポジトリ管理に Terraform GitHub provider を使用しています。 いちいち手元で terraform plan や terraform apply を叩くのは面倒なので、 GitHub Actions を利用することを考えました。 tf ファイルと現実のリソースとの不整合を避けるために、 これらのコマンドは排他的に実行する必要がありま... 続きを読む

2020-11-08 このブログの実装 2020年版 - waka.dev

2020/11/08 7 users 実装 GitHub 2020-11-08 ホスティング ブログ

r7kamura さんのこのサイトの実装 2020年版に倣って、このブログの実装を書いてみる。 ソースコードは全て GitHub に上げてある。 ホスティングとCI Cloudflare Workers を使って配信している。 CI は専用CLIツールの Wrangler の使い勝手がよく簡単。 GitHub Action も公式から提供されているのがあるのでそれを使うだ... 続きを読む

Docker、自動化ソリューション「Github Action V2」を一般提供：CodeZine（コードジン）

2020/10/30 5 users GitHub CodeZine Docker 米Docker

米Dockerは、自動化ソリューション「Github Action V2」の一般提供を、10月27日（現地時間）に開始した。 「Github Action V2」では、GitHubで提供するアクションの数が拡大されており、V1に最小限のUX変更を加えるとともに、より多くの機能を追加している。 一般提供が開始された「Github Action V2」に搭載されているB... 続きを読む

GitHub Action で Vim や Neovim を簡単にインストールできる action-setup-vim をつくった - はやくプログラムになりたい

2020/01/24 23 users Neovim PowerShell vim プログラム 毎回

今週ちまちまと git-messenger.vim や clever-f.vim の CI を GitHub Actions に移行していました．毎回 Vim プラグインの CI のために Vim や Neovim のセットアップを書くのが面倒なのと，Windows 上で Vim や Neovim を入れるのが（Powershell に不慣れなこともあり）面倒だったので，GitHub Action として切り出すこ... 続きを読む

GitHub ActionでDockerコンテナをビルドしてAmazon ECRに保存する ｜ Developers.IO

2019/11/15 66 users Dockerコンテナ Developers.IO ECR

はじめに おはようございます､加藤です｡下記のブログで､AWS認証情報の設定とAmazon ECRにログインするGitHub Actionが公開されている事を知りました｡ これらを使って､GitHubで管理しているDockerイメージをビルドして､ECRに保存する方法を紹介します｡タグが付けられて時にのみ動作し､そのタグをイメージに引き継ぐ仕様で... 続きを読む

GitHub Actions の JavaScript Action を TypeScript で書いた - はやくプログラムになりたい

2019/11/15 54 users TypeScript Action ベンチマーク プログラム

GitHub Action を TypeScript で作成したので，覚え書きがてらどうやって作ったかについて書きます． github-action-benchmark という Action をつくりました． 紹介記事：継続的にベンチマークを取るための GitHub Action をつくった Action とは 今年9月に GitHub Action v2 がリリースされました．GitHub Action は G... 続きを読む

継続的にベンチマークを取るための GitHub Action をつくった - はやくプログラムになりたい

2019/11/11 149 users ベンチマーク プログラム fetch GitHub リポジトリ

今年9月に GitHub Action v2 がリリースされました．GitHub Action は GitHub が提供する CI/CD サービスです． 既存のサービスと大きく違う点は，処理を汎用的に Action として切り出して再利用できることです． 例えば，GitHub からのリポジトリのクローン actions/fetch や Node.js のセットアップ actions/setup-nod... 続きを読む