“LLM for SRE“の世界探索 - ゆううきブログ

2024/03/21 165 users

ChatGPTが登場した当初、対話や要約、翻訳、コード生成などの典型的な言語タスクができても、SREやAIOpsの研究開発にはあまり関係ないのではないかと正直思っていた。AIOpsでは典型的にはいわゆるObservabilityデータ（メトリクス、ログ、トレースなど）が入力となるため、自然言語ではなく数値のデータを解析することが... 続きを読む

エンジニアのためのSRE論文への招待 - SRE NEXT 2023 - ゆううきブログ

2023/10/02 147 users 後記 補足 公募セッション SRE NEXT 基調講演

この記事では、2023年9月29日に開催されたSRE NEXT 2023 IN TOKYOでの講演の概要に加えて、講演では触れられなかった部分の補足と、発表を終えての後記、最後にSRE NEXT全体の感想を書きました。 SRE NEXT 2020の基調講演に招いていただいたところから始まり、昨年のSRE NEXT 2022の公募セッションでも発表し、今回で3回... 続きを読む

Linux eBPFトレーシング技術の概論とツール実装 - ゆううきブログ

2021/12/28 153 users 概論

eBPF（extended Berkley Packet Filter）という用語を著者が初めてみかけたのは、2015年ごろだった。最初は、eBPFをその字面のとおり、パケットキャプチャやパケットフィルタリングを担うだけの、Linuxの新しいサブシステムであろうと認識していた。しかし、実際にはそうではなかった。 システム性能の分析のための方法... 続きを読む

Webシステムアーキテクチャの地図を描く構想 - ゆううきブログ

2019/10/04 481 users 構想 地図

この記事は第5回Webシステムアーキテクチャ研究会の予稿です。 はじめに Webサービスにおいては、スマートフォンの普及によるアクセス増加に対してスケーラビリティを持ち、個人向けだけでなく企業向けサービスの可用性の要求に耐えられるようなシステム設計が必要とされている。 さらに、Webサービスが人々の生活に浸透... 続きを読む

サーバーレスアーキテクチャ再考 - ゆううきブログ

2019/09/11 587 users

2015年にAWS Lambdaが登場し、Lambdaのような関数を単位としてアプリケーションを実行する基盤をFunction as a Service(以下、FaaS)と呼ぶようになった。 そして、同時にサーバーレスアーキテクチャ、またはサーバーレスコンピューティングと呼ばれる新しいコンセプトが普及するに至った。 当初、そのコンセプトが一体何... 続きを読む

2019年SRE考 - ゆううきブログ

2019/01/16 426 users

この記事では、Site Reliability Engineering (SRE)について、自分が数年考えてきたことをまとめる。 先月開催されたMackerel Drink Up #8 Tokyoと先日開催された次世代Webカンファレンスでは、SREについて集中的に議論する機会に恵まれたため、議論を文章としてまとめておこうと考えた。 (以降では、SRE本の原著になら... 続きを読む

株式会社はてなを退職しました - ゆううきブログ

2018/12/21 352 users 株式会社

2018年12月21日の今日がはてなでの最終出社日となりました。 はてなには、2013年12月に新卒として入社し、その後5年間に渡りお世話になりました。 はてなとの出会いは、2011年のはてなインターンに参加したことがきっかけでした。 はてなインターンの特徴の一つに、ほとんどの参加者が参加したときの内容をブログ記事と... 続きを読む

時系列データベースの論文を書いた - ゆううきブログ

2018/12/17 336 users 時系列データベース 論文 招待 招待講演 情報処理学会

先週、第11回インターネットと運用技術シンポジウム (IOTS2018)にて、投稿した論文の発表をしてきました。 IOTSは査読付の国内の研究会であり、2年前に招待講演をさせていただいた研究会でもあります情報処理学会でウェブオペレーション技術について招待講演した話 - ゆううきブログ。 実は、そのときに、来年論文を投稿... 続きを読む

TCP接続の追跡による簡略化したネットワーク依存関係グラフの可視化基盤 - ゆううきブログ

2018/11/23 123 users TCP接続 追跡 簡略化

著者: 坪内佑樹(*1), 古川雅大(*1) 所属: (*1) 株式会社はてな 研究会: Web System Architecture研究会#3 はじめに ウェブシステムは，一般的に，分散したホスト上で動作するソフトウェアが互いにネットワーク通信することにより構成される． 相互にネットワーク通信するシステムにおいて，システム管理者があるネットワ... 続きを読む

サーバレス時代におけるヘテロジニアス時系列データベースアーキテクチャ - ゆううきブログ

2018/05/17 207 users ウェブシステム メトリック 予稿 サーバレス時代 性能特性

2018 - 05 - 17 サーバレス時代におけるヘテロジニアス時系列データベースアーキテクチャ Architecture DataBase TSDB この記事は、 第2回ウェブシステムアーキテクチャ研究会 の予稿です。 ウェブシステムをモニタリングするために、高可用性、高書き込みスケーラビリティ、メトリックの長期保存が可能な時系列データベースが求められている。 これらを実現するために、性能特性... 続きを読む

DynamoDBのインフラコスト構造と削減策 - ゆううきブログ

2018/04/16 213 users DynamoDB KINESIS RDS スループット 削減策

2018 - 04 - 16 DynamoDBのインフラコスト感覚 Database DynamoDB Amazon DynamoDB は、RDSのようなインスタンスサイズによる課金モデルではなく、ストレージのデータ使用量とスループットを基にした課金モデルになっている。 インスタンスサイズによる課金モデルでないデータストア系サービスとして、他にはS3、Kinesisなどがある。 これらは、AWSの... 続きを読む

AnsibleとDockerによる1000台同時SSHオペレーション環境 - ゆううきブログ

2018/01/29 311 users amazo Docker レジストリ SSHクライアント 手元

2018 - 01 - 29 AnsibleとDockerによる1000台同時SSHオペレーション環境 Operation Ansible Docker 1000台同時SSHオペレーション環境を構築するにあたって、手元のローカル環境の性能限界の問題を解決するために、オペレーションサーバをSSHクライアントとすることによりSSH実行を高速化した。実行環境としてDocker、レジストリとしてAmazo... 続きを読む

ウェブシステムの運用自律化に向けた構想 - 第3回ウェブサイエンス研究会 - ゆううきブログ

2017/12/02 120 users ウェブシステム 加筆 構想 Advent Calendar

2017 - 12 - 02 ウェブシステムの運用自律化に向けた構想 - 第3回ウェブサイエンス研究会 Monitoring Concept Experimentable はてなエンジニア Advent Calendar 2017 の2日目です。 この記事は、 人工知能学会 合同研究会2017 第3回ウェブサイエンス研究会 の招待講演の内容を加筆修正したものです。 講演のテーマは、「自然現象として... 続きを読む

サーバ「管理」ツールとしてのMackerelの起源 - ゆううきブログ

2017/11/08 185 users SaaS mackerel 起源 サーバ 経緯

2017 - 11 - 08 サーバ「管理」ツールとしてのMackerelの起源 Monitoring Mackerel この記事は、SaaSのサーバ監視サービス Mackerel を起源を遡り、そこから現在の姿に至った経緯をはてな社内のエンジニアに共有するためのものです。 なお、ここに書かれていることは、Mackerel開発チームの公式見解ではありません。 概要 Mackerelは、もともとは2... 続きを読む

コスト効率の悪いLambdaアプリケーションの性質に関する考察 - ゆううきブログ

2017/11/05 227 users 考察 性質 コスト効率 Lambda アプリケーション

2017 - 11 - 06 AWS Lambdaがコスト観点で不利になりやすいアプリケーション性質の考察 Serverless Architecture 概要 Lambdaは100msの実行時間単位でオンデマンドに課金されるため、立ち上げっぱなしのEC2インスタンスよりも、料金が安くなる可能性があることが一般に知られている。 しかし、以下の性質を満たすアプリケーションでは、Lambdaがコスト観... 続きを読む

RedisサーバのCPU負荷対策パターン - ゆううきブログ

2017/09/12 565 users インメモリDB CPU負荷 昨今 一方 手法

2017 - 09 - 12 RedisサーバのCPU負荷対策パターン Redis Database Performance Redisは多彩なデータ構造をもつ[^1]インメモリDBであり、昨今のWebアプリケーションのデータストアの一つとして、広く利用されている。 しかし、一方で、性能改善のための手法を体系的にまとめた資料が見当たらないと感じていた。 実際、最初にCPU負荷が問題になったときにど... 続きを読む

時系列データベースという概念をクラウドの技で再構築する - ゆううきブログ

2017/06/05 527 users 時系列データベース 概念 クラウド 再構築 mackerel

2017 - 06 - 05 時系列データベースという概念をクラウドの技で再構築する TSDB Architecture Mackerel サーバ監視サービス Mackerel において開発中の、高解像度・長期間のサーバメトリック収集を実現するための新しい時系列データベースDiamondを紹介します。具体的には、Amazon ElastiCache、Amazon DynamoDB、Amazon S... 続きを読む

matsumotoryさんの博士学位論文公聴会に参加し、見て聞いて考えたこと - ゆううきブログ

2017/05/03 108 users matsumotoryさん matsumotory 亮介

2017 - 05 - 03 matsumotoryさんの博士学位論文公聴会に参加し、見て聞いて考えたこと 日記 先日、京都大学で開かれた id:matsumoto_r さんの博士学位論文公聴会に参加してきた。 4/25にある博士学位論文公聴会に行ってまいります！ https://t.co/aiWIpLDLmg — 松本 亮介 / まつもとりー (@matsumotory) April 14, 2... 続きを読む

高度に発達したシステムの異常は神の怒りと見分けがつかない - IPSJ-ONE2017 - ゆううきブログ

2017/03/21 452 users 講堂 高度 システム ニコニコ生放送 名古屋大学

2017 - 03 - 21 高度に発達したシステムの異常は神の怒りと見分けがつかない - IPSJ-ONE2017 日記 名古屋大学で開催された IPSJ-ONE2017 で登壇しました。 IPSJ-ONEというのは、情報処理学会の各研究会から選ばれた日本の若手トップ研究者17人が集まり、自身の研究を高校生でもわかるように発表するイベントです。 1000人ぐらい入る講堂で、しかもニコニコ生放送で... 続きを読む

情報処理学会でウェブオペレーション技術について招待講演した話 - ゆううきブログ

2016/12/04 124 users 招待 探究 情報処理学会 招待講演 講演

2016 - 12 - 04 情報処理学会でウェブオペレーション技術について招待講演した話 Monitoring TSDB 日記 Architecture 情報処理学会インターネットと運用技術研究会 が主催されている IOTS2016 という研究会で、「サーバモニタリング向け時系列データベースの探究」というタイトルで招待講演をしてきました。 講演のきっかけ インターネットと運用技術研究会(以下IO... 続きを読む

Googleが数千台もある10年前のLinuxディストリをライブアップグレードした話 - ゆううきブログ

2016/05/31 888 users Linuxディストリ ディストリビューション USEN 太古

2016 - 05 - 31 Googleが数千台もある10年前のLinuxディストリをライブアップグレードした話 Linux 論文 Googleが、太古のディストリビューションであるRed Hat 7.1から、10年新しいDebianベースのディストリビューションへ、ライブアップグレードした話を紹介する。 そのあと、自分の身の回りの環境と比較し、参考にすべきポイントを考察する。 原文は USEN... 続きを読む

ウェブアプリケーション開発に新言語を採用したときにインフラで考えたこと - ゆううきブログ

2016/03/02 1318 users ウェブアプリケーション開発 インフラ サーバサイド 言語 一方

2016 - 03 - 02 ウェブアプリケーション開発に新言語を採用したときにインフラで考えたこと この文章は、サーバサイドのウェブアプリケーション開発において、社内実績の少ない新しい言語を採用したときにインフラ面で考慮したことを社内向けにまとめたものです。 はてなでは、長らくPerlでウェブアプリケーション開発を続けてきた一方、ここ数年で社内でScalaまたはGoの採用事例も増えてきました。 ... 続きを読む

Linuxサーバにログインしたらいつもやっているオペレーション - ゆううきブログ

2016/02/18 2316 users オペレーション Linuxサーバ Linuxサーバ上 現場

2016 - 02 - 18 Linuxサーバにログインしたらいつもやっているオペレーション Linux Performance 主にアプリケーション開発者向けに、Linuxサーバ上の問題を調査するために、ウェブオペレーションエンジニアとして日常的にやっていることを紹介します。 とりあえず調べたことを羅列しているのではなく、本当に自分が現場で使っているものだけに情報を絞っています。 普段使っている... 続きを読む

2015年の心に残った技術エントリ - ゆううきブログ

2016/01/03 316 users 感銘 エントリ 記憶 URL はてなブックマーク

2016 - 01 - 03 2015年の心に残った技術エントリ 日記 １年分の 自分のはてなブックマーク を見直した。 およそ 2,000 URLのエントリの中から、特に感銘を受けたり、記憶に残ったエントリを紹介したい。 2015年にブクマしたというだけで、必ずしも2016年に公開されたエントリばかりではないことに注意。 エントリ Scalable Deployments Advanced Te... 続きを読む

Serverspec + Mackerel APIによるインフラテストの実運用化 - ゆううきブログ

2015/12/24 134 users serverspec mackerel hitode909

2015 - 12 - 24 Serverspec + Mackerel APIによるインフラテストの実運用化 Mackerel Serverspec この記事は Mackerel Advent Calendar 2015 の24日目の記事です。 前回は、 id:hitode909 による 三度の飯より監視と通知！Mackerelで自分の心拍数を監視しよう - hitode909の日記 でした。 ... 続きを読む