GitHub ActionsにてAWS_ACCESS_KEY_IDやAWS_SECRET_ACCESS_KEYを取得する - YOMON8.NET

2021/11/16 14 users GitHub Actions OIDC IAM Role

GitHub Actionsの中で立ち上げるDockerコンテナに AWS_ACCESS_KEY_ID や AWS_SECRET_ACCESS_KEY 、 AWS_SESSION_TOKEN を渡してAWS認証を行いたいと思い調べていました。 どうやら以下のモジュールを使うことで、OIDCでWebIdentityとしてIAM RoleをAssumeできるみたいということでやってみました。 github.com AWSにOIDC... 続きを読む

ローカルPCのDocker上でCloudWatch Logs Insights連携の簡易分析基盤(Elasticsearch)を使う - YOMON8.NET

2020/08/18 7 users elasticsearch Docker上 ローカルPC

AWSを運用しているCloudWatch Logsを分析することが良くあると思います。 数年前はCloudWatch Logsのファイルをダウンロードしてきて、分析していて面倒でしたが、 CloudWatch Logs Insights が出てきてそれもかなり楽になりました。 それでも毎回調べながらクエリを打つのは結構面倒なので、ログ分析基盤としてElastics... 続きを読む

TypescriptからMicrosoft Graph API使ってSharePointやOneDrive上のExcelの情報を読み込む - YOMON8.NET

2020/02/29 9 users TOKEN JSON SharePoint OneDrive

TypeScriptからSharePointやOneDriveのExcel Onlineの情報を読み込む方法を書きます。 読み込みたいファイル 認証 App Registration Portalへアプリケーション登録 Tokenの取得 TypeScriptからExcelへアクセスしてみる config.json index.ts 実行してみる 参考 読み込みたいファイル 項目 値 ディレクトリ OneDrive上の ... 続きを読む

GCPの割り当て(クオータ・Quotas)をAPIから変更する情報見つけたのでやってみる - YOMON8.NET

2020/01/30 5 users GCP BigQuery gcloud コンソール API

BigQueryの割り当て(クオータ・Quotas)をAPIから変更する方法を探していましたが、GCP公式ドキュメント見てもコンソールでの作業ばかりしか記載が見つかりません。 cloud.google.com GCPの公式ドキュメントはほとんどの項目でgcloud等で設定するパターンが書かれているので、これは無いのではと思い情報を探していました... 続きを読む

達人に学ぶSQL徹底指南書 第2版 初級者で終わりたくないあなたへ　を読みました - YOMON8.NET

2019/12/22 18 users 達人 SQL徹底指南書 初級者 リレーショナルデータベース

この本を読みました。 達人に学ぶSQL徹底指南書 第2版 初級者で終わりたくないあなたへ (CodeZine BOOKS) 作者: ミック出版社/メーカー: 翔泳社発売日: 2018/10/11メディア: 単行本（ソフトカバー）この商品を含むブログを見る 目次 1部　魔法のSQL 2部　リレーショナルデータベースの世界 自分のレベルと書籍のレベル ... 続きを読む

Cloud DataflowのテンプレートにPythonの外部パッケージを利用する - YOMON8.NET

2019/12/16 5 users Cloud Dataflow Python テンプレート

Cloud Dataflow + Python で作るテンプレートを登録する際に、pipでインストール可能なPyPiなどの外部パッケージをどうやって組み込むか調べました。 使う設定 結局ドキュメントは見つからなかったのですが、ソースコード読んでいたら以下のオプションを見つけました。 class SetupOptions(PipelineOptions): @classmeth... 続きを読む

Azure Solutions Architect Expert 取得してきました - YOMON8.NET

2019/11/22 11 users 合格 試験 認定 以下

Azure Solutions Architect Expertを取得してきました。 試験 前提試験 AZ-300 と AZ-301 Azure Solutions Architect Expertの認定には、以下の２試験の合格が必要です。 AZ-300:Microsoft Azure Architect Technologies AZ-301:Microsoft Azure Architect Design AZ-300についてはこちらに記載しました。 yomon.hatenab... 続きを読む

AZ-300 Microsoft Azure Architect Technologies を合格してきた - YOMON8.NET

2019/11/22 21 users

このブログ始めた頃(4～5年前）は、主に仕事ではAzureを使っていたのですが、暫くご無沙汰でした。 最近だと去年ChatBot作るため、Azure Bot Serviceを使いたくてAzure使っていたくらい。 最近マルチクラウドの案件が増えてきたため、AWSとGCPに合わせてAzureもリハビリ始めているところです。 私は勉強する時に認定試験... 続きを読む

fluent-plugin-aws-elasticsearch-service使ってElasticsearch Serviceに疎通確認作業 - YOMON8.NET

2019/11/06 6 users

fluent-plugin-aws-elasticsearch-serviceでIAM権限でAmazon Elasticsearch Service繋ごうと思うのですが、IAM権限やアクセスポリシー変更しながらの疎通テストをしたいと思い。簡単に疎通テスト用の手順書きました。 github.com Amazon Linux2にログオン td-agentインストール fluent-plugin-aws-elasticsearch-service... 続きを読む

Gem in a BoxでプライベートなRubyGemsをDockerで簡単に構築する - YOMON8.NET

2019/10/24 22 users RubyGems Docker gem config.ru

Gem in a Boxを使って、Dockerでローカル環境にRubyGemsを構築して、Gemをアップロードするところまで書きます。 github.com Gem in a Boxは公式でも以下の RUNNING GEM IN A BOX の項目で紹介されてます。 Run your own gem server - RubyGems Guides 作業前提 Dockerfile作成 設定ファイル準備(config.ru) 設定ファイ... 続きを読む

GCP Professional Cloud Network Engineer 認定試験合格してきた - YOMON8.NET

2019/10/18 7 users 認定試験

一昨日思い立って、スケジュールにらめっこしたところ、昨日しか空いてないので、会社の近くのテストセンターで取得してきまいた。 まだ日本語提供されてない英語試験です。GCPの英語試験の注意点はこちらで書いた内容と同じです。 yomon.hatenablog.com 試験内容 引掛けが無い素直な問題なので、GCPのネットワークの基... 続きを読む

WindowsにFluentdをインストールしてS3にデータ転送して、管理用の設定も追加 - YOMON8.NET

2019/10/15 25 users fluentd td-agent 退避 ディレクトリ ファ

WindowsにFluentdを入れる機会があったのでまとめておきます。 td-agent(Fluentd)インストール td-agentダウンロード td-agentインストール プラグインのインストール ディレクトリ 設定例 設定ファイルの退避 設定ファイル Append用 Update用 Monitor用 AWSクレデンシャル 起動してテスト テストデータ準備 append(ファ... 続きを読む

htpasswdファイルを簡単に作るにはDocker使うのも便利 - YOMON8.NET

2019/09/25 6 users Docker エントリ サーバー 手元 WEBサービス

手元の環境でhtpasswdのエントリを生成するのに、Docker使えばお手軽便利でした。 $ sudo docker run -it httpd:2.4.39-alpine htpasswd -nb otomo Passw0rd otomo:$apr1$MACrpovj$tMIF8X/QOnm740kB49CN5. サーバーにhtpasswd入っている場合はもちろんそっち使った方が便利ですし、WEBサービスとかもあるので、そちらの... 続きを読む

PowerShellのワンライナーを実行するWindowsタスクをPowerShellで登録 - YOMON8.NET

2019/09/20 9 users PowerShell IIS 題名 日数 ロク

題名の通り、WindowsタスクにPowerShellのワンライナーを埋め込みたくて方法を調べていました。ついでに、IISのログを削除するWindowsタスクを、PowerShellワンライナーで実装して、PowerShellでWindowsタスク登録するまでやったのでメモ。（何書いてるかわからなくなってきましたが） 実際の実装例として、指定の日数よ... 続きを読む

AWS LambdaからSAP Jco経由でABAPを呼び出す - YOMON8.NET

2019/08/20 9 users ABAP AWS Lambda

タイトルの件、調査がてら書きました。 デプロイ方法 レポジトリ取得 SAP JCoの準備 ビルド AWS Lambda作成 SAMでローカルテストとデプロイ ポイント 最新のライブラリ POJOを利用したデータを受け渡し Gradleにjarやsoを含める VPCでは注意が必要 デプロイ方法 レポジトリ取得 github.com $ git clone https://github.c... 続きを読む

【Google Cloud・GCP】Professional Cloud Developer 認定資格取得してきました - YOMON8.NET

2019/08/09 41 users 認定資格 GCP 所感 AWS 模擬試験

GCPのProfessional Cloud Developer取得してきました。 勉強内容 模擬試験 AWSとの比較 キャンペーンの利用 出題傾向 日本語 所感 勉強内容 事前知識として、このあたりがあったからで、今回は本当に準備少なくいけました。 yomon.hatenablog.com yomon.hatenablog.com その少ない中でやったことを書きます。 模擬試験 ... 続きを読む

AWS Fargate使ってサーバーレスでSelenium+Headless Chromeを実行する - YOMON8.NET

2019/08/05 16 users サーバーレス AWS Fargate

この記事に行き着いた方でしたら、日々自動化を進めている中にも、ブラウザでのクリック、クリック、入力、クリック、みたいな作業が残っている人が多いと思います。 REST等でAPIが公開されていれば良いのですが、そういうAPIが提供されていないサービスもたくさんあります。 ブラウザの自動化でいつもお世話になってい... 続きを読む

AWS Glue Python Shellでloggingを使ったログ出力について - YOMON8.NET

2019/07/31 10 users logging ログ出力

GlueのPython Shellでloggingモジュールを利用してログを取得を考えてた時のメモです。 ログ出力先 loggingモジュールのデフォルトの出力先 ログ設定パターン デフォルト 全て /aws-glue/python-jobs/error に出力するパターン ストリームを使い分けるパターン ログ出力先 Python Shellのログの出力先ですが、以下の2つ... 続きを読む

GitHubから特定のディレクトリ配下のファイルをPowerShellワンライナーで一括ダウンロード - YOMON8.NET

2019/07/18 12 users GitHub ディレクトリ配下 特定 ファイル

ちょっと作ったのでメモ。 取得したいもの 今回、ここにあるRedshiftのView定義用のSQLファイルを取得したいと思います。 https://github.com/awslabs/amazon-redshift-utils/tree/master/src/AdminViews 利用するGithub API 以下のContents APIを利用します。 developer.github.com 以下のルールでAPIのURL組み立てます... 続きを読む

GARMIN vivo smart HRJ から vivoactive 3 Musicに乗り換えて数週間ですが快適です - YOMON8.NET

2019/06/21 8 users 数週間

以前こちらのブログで書いた通り、vivosmart 、vivosmart HRJと使ってきました。 下のブログにも書いているとおり、個人的一軍ガジェットなのですが、なんせ24時間つけっぱなしなので、子供と遊んだりしていると、ボロボロになってきます。 yomon.hatenablog.com そして数週間前に、お世話になったvivosmart HRJからvivo... 続きを読む

AWS Certified Machine Learning – Specialty に合格してきました - YOMON8.NET

2019/06/17 40 users Specialty

ここ数年のAIブームで、AIの勉強全くしてこなかった私でも、少しずつ仕事でAI関係に関わることができてきました。その度に部分的に頑張って追いつくというのを続けてきたのですが、そろそろ限界を感じたので、どこかで体系的に勉強しなくてはと考えていました。 勉強嫌いな方では無いですが、根がサボり屋なので、何か切... 続きを読む

AWS Glueのワークフロー機能がリリースされたようなので触ってみました - YOMON8.NET

2019/06/12 14 users AWS Glue ワークフロー機能

AWS Summitで発表されたようですが、Glueの標準機能でワークフローが組めるようになったと聞いたので早速試してみました。 Glueでワークフローを組むのは大変だった やってみる CrawlerとJobを用意 ワークフロー作成 トリガー作成 ワークフロー作成 ワークフロー完成 ワークフロー開始 所感 Glueでワークフローを組むの... 続きを読む

ステップ・バイ・ステップでAuth0 + Vue.js + GolangでFrontend&Backend API 両方で認証するアプリ作る - YOMON8.NET

2019/06/11 20 users auth golang Firebase back Auth0

この記事見つけて今使っている技術にぴったりだと思って色々参考にさせていただきました。 qiita.com ただ、認証部分がFirebaseでなくAuth0使っているので、主にその部分を変更して、自分でやってみた手順を書いてみました。 システム情報 Auth0の設定 APIs Applications Connections Users アプリケーション側設定 Back... 続きを読む

Amazon Elasticsearch Serviceの検索でSQLが使えるようになったので使ってみました - YOMON8.NET

2019/05/29 58 users SQL groupby elasticsearch 検索 たび

開発しているサービスの一部でElasticearch使っているのですが、ElasticsearchのクエリDSLって少し触ってないだけで忘れてしまいます。 昨日もGroupByに当たる、Aggregationを複数フィールドでやるのどうやるんだっけと、素人みたいなことで悩んでググっていました。 こういうの調べるたびに、SQL打てたらなーと思ってい... 続きを読む

UbuntuでもAWS Systems Manager Session Manager for Shell Accessをログ取得まで設定してみた - YOMON8.NET

2018/09/13 16 users Ubuntu Inst awscli ログ取得 クラメソさん

お世話になっているクラメソさんの、このMac向けの記事見て、私のUbuntu PC環境でもいけるかなとやってみました。 dev.classmethod.jp Ubuntu PC側作業 サーバー側 Shell Accessで接続 ロギング設定 参考URL Ubuntu PC側作業 まずはawscliを最新に更新します。 $ sudo apt update && sudo apt install awscli $ pip inst... 続きを読む