“LLM for SRE“の世界探索 - ゆううきブログ

2024/03/21 165 users

ChatGPTが登場した当初、対話や要約、翻訳、コード生成などの典型的な言語タスクができても、SREやAIOpsの研究開発にはあまり関係ないのではないかと正直思っていた。AIOpsでは典型的にはいわゆるObservabilityデータ（メトリクス、ログ、トレースなど）が入力となるため、自然言語ではなく数値のデータを解析することが... 続きを読む

エンジニアのためのSRE論文への招待 - SRE NEXT 2023 - ゆううきブログ

2023/10/02 147 users 後記 補足 公募セッション SRE NEXT 基調講演

この記事では、2023年9月29日に開催されたSRE NEXT 2023 IN TOKYOでの講演の概要に加えて、講演では触れられなかった部分の補足と、発表を終えての後記、最後にSRE NEXT全体の感想を書きました。 SRE NEXT 2020の基調講演に招いていただいたところから始まり、昨年のSRE NEXT 2022の公募セッションでも発表し、今回で3回... 続きを読む

SRE NEXTで「AIOps研究録」講演を終えて - ゆううきブログ

2022/06/10 14 users SRE NEXT 講演 SRE Online 統計解析

5月14-15日に開催されたSREの国内カンファレンス SRE NEXT 2022 ONLINEにて、「AIOps研究録―SREのためのシステム障害の自動原因診断」と題して、ITシステムに障害が発生した際に、機械学習・統計解析の手法を用いて、障害の原因を自動で診断するための研究について講演しました。 講演に用いたスライド資料を以下に公開... 続きを読む

Linux eBPFトレーシング技術の概論とツール実装 - ゆううきブログ

2021/12/28 153 users 概論

eBPF（extended Berkley Packet Filter）という用語を著者が初めてみかけたのは、2015年ごろだった。最初は、eBPFをその字面のとおり、パケットキャプチャやパケットフィルタリングを担うだけの、Linuxの新しいサブシステムであろうと認識していた。しかし、実際にはそうではなかった。 システム性能の分析のための方法... 続きを読む

Redis Clusterとgo-redisの深刻な性能劣化を解決した話 - ゆううきブログ

2020/12/23 10 users Redis cluster redis ミドルウェア 性能

さくらインターネット Advent Calendar 2020の23日目です。 現時点では最新版のRedis 6.0のRedis Clusterに対して、Go言語の代表的なRedisクライアントライブラリであるgo-redisからアクセスしたときに、性能が深刻なレベルで劣化しました。 この記事では、ミドルウェアを利用したGo言語アプリケーションの性能劣化に関... 続きを読む

SRE NEXT基調講演を終えて - ゆううきブログ

2020/01/27 13 users

1月25日に開催されたSRE NEXT 2020 IN TOKYOにて，「分散アプリケーションの信頼性観測技術に関する研究」と題して，基調講演をさせていただきました． これまで一環してWebオペレーション・SREに取り組んできて，今ではSRE Researcherと名乗っている身からすると，国内初のSREのカンファレンスで基調講演にお声がけいた... 続きを読む

Webシステムアーキテクチャの地図を描く構想 - ゆううきブログ

2019/10/04 481 users 構想 地図

この記事は第5回Webシステムアーキテクチャ研究会の予稿です。 はじめに Webサービスにおいては、スマートフォンの普及によるアクセス増加に対してスケーラビリティを持ち、個人向けだけでなく企業向けサービスの可用性の要求に耐えられるようなシステム設計が必要とされている。 さらに、Webサービスが人々の生活に浸透... 続きを読む

サーバーレスアーキテクチャ再考 - ゆううきブログ

2019/09/11 587 users

2015年にAWS Lambdaが登場し、Lambdaのような関数を単位としてアプリケーションを実行する基盤をFunction as a Service(以下、FaaS)と呼ぶようになった。 そして、同時にサーバーレスアーキテクチャ、またはサーバーレスコンピューティングと呼ばれる新しいコンセプトが普及するに至った。 当初、そのコンセプトが一体何... 続きを読む

エッジコンピューティングを活かしたウェブアプリケーションホスティングの考察 - ゆううきブログ

2019/02/28 53 users エッジコンピューティング 考察

さくらインターネット研究所では、超個体型データセンターというコンセプトに則り、あらゆるデバイスと場所がデータセンターとなり、各データセンターが有機的に結合した集中と分散のハイブリッド構造をもつコンピューティングを目指している。 超個体型データセンターにとって、重要な先行コンセプトに、エッジコンピュ... 続きを読む

2019年SRE考 - ゆううきブログ

2019/01/16 426 users

この記事では、Site Reliability Engineering (SRE)について、自分が数年考えてきたことをまとめる。 先月開催されたMackerel Drink Up #8 Tokyoと先日開催された次世代Webカンファレンスでは、SREについて集中的に議論する機会に恵まれたため、議論を文章としてまとめておこうと考えた。 (以降では、SRE本の原著になら... 続きを読む

株式会社はてなを退職しました - ゆううきブログ

2018/12/21 352 users 株式会社

2018年12月21日の今日がはてなでの最終出社日となりました。 はてなには、2013年12月に新卒として入社し、その後5年間に渡りお世話になりました。 はてなとの出会いは、2011年のはてなインターンに参加したことがきっかけでした。 はてなインターンの特徴の一つに、ほとんどの参加者が参加したときの内容をブログ記事と... 続きを読む

時系列データベースの論文を書いた - ゆううきブログ

2018/12/17 336 users 時系列データベース 論文 招待 招待講演 情報処理学会

先週、第11回インターネットと運用技術シンポジウム (IOTS2018)にて、投稿した論文の発表をしてきました。 IOTSは査読付の国内の研究会であり、2年前に招待講演をさせていただいた研究会でもあります情報処理学会でウェブオペレーション技術について招待講演した話 - ゆううきブログ。 実は、そのときに、来年論文を投稿... 続きを読む

TCP接続の追跡による簡略化したネットワーク依存関係グラフの可視化基盤 - ゆううきブログ

2018/11/23 123 users TCP接続 追跡 簡略化

著者: 坪内佑樹(*1), 古川雅大(*1) 所属: (*1) 株式会社はてな 研究会: Web System Architecture研究会#3 はじめに ウェブシステムは，一般的に，分散したホスト上で動作するソフトウェアが互いにネットワーク通信することにより構成される． 相互にネットワーク通信するシステムにおいて，システム管理者があるネットワ... 続きを読む

サーバレス時代におけるヘテロジニアス時系列データベースアーキテクチャ - ゆううきブログ

2018/05/17 207 users ウェブシステム メトリック 予稿 サーバレス時代 性能特性

2018 - 05 - 17 サーバレス時代におけるヘテロジニアス時系列データベースアーキテクチャ Architecture DataBase TSDB この記事は、 第2回ウェブシステムアーキテクチャ研究会 の予稿です。 ウェブシステムをモニタリングするために、高可用性、高書き込みスケーラビリティ、メトリックの長期保存が可能な時系列データベースが求められている。 これらを実現するために、性能特性... 続きを読む

DynamoDBのインフラコスト構造と削減策 - ゆううきブログ

2018/04/16 213 users DynamoDB KINESIS RDS スループット 削減策

2018 - 04 - 16 DynamoDBのインフラコスト感覚 Database DynamoDB Amazon DynamoDB は、RDSのようなインスタンスサイズによる課金モデルではなく、ストレージのデータ使用量とスループットを基にした課金モデルになっている。 インスタンスサイズによる課金モデルでないデータストア系サービスとして、他にはS3、Kinesisなどがある。 これらは、AWSの... 続きを読む

Webサービスをデータセンター移行するときに必要となる技術要素 - ゆううきブログ

2018/02/19 72 users 技術要素 データセンター WEBサービス クラウド 移行

2018 - 02 - 19 Webサービスをデータセンター移行するときに必要となる技術要素 Infrastructure Migration クラウドへの移行を含むデータセンター(以下DC)移行事例を基に、WebサービスをDC移行するための基本的な技術要素を紹介します。 最近、社内で大規模なDC移行を実施しつつあり、DC移行とはなにかをメンバーへ共有するための文章でもあります。 ちなみに、この記... 続きを読む

AnsibleとDockerによる1000台同時SSHオペレーション環境 - ゆううきブログ

2018/01/29 311 users amazo Docker レジストリ SSHクライアント 手元

2018 - 01 - 29 AnsibleとDockerによる1000台同時SSHオペレーション環境 Operation Ansible Docker 1000台同時SSHオペレーション環境を構築するにあたって、手元のローカル環境の性能限界の問題を解決するために、オペレーションサーバをSSHクライアントとすることによりSSH実行を高速化した。実行環境としてDocker、レジストリとしてAmazo... 続きを読む

2017年のエンジニアリング振り返り - ゆううきブログ

2017/12/31 87 users エンジニアリング ゆううき y_uuk 時系列データベース

2017 - 12 - 31 2017年のエンジニアリング振り返り 日記 はてなに入社して4年経った。 入社4年成功 https://t.co/p3DaJCO1Tq — ゆううき (@y_uuk1) 2017年12月2日 2017年のエンジニアリング活動を一言でまとめてみよう。 時系列データベースの開発 にはじまり、なぜか IPSJ-ONEで登壇 し、その後IPSJ-ONEでの構想をベースに はて... 続きを読む

TimeFuzeアーキテクチャ構想 - 処理とデータとタイマーを一体化したデータパイプライン - ゆううきブログ

2017/12/25 37 users タイマー 予稿 WSA cron アーキテクチャ

2017 - 12 - 25 TimeFuzeアーキテクチャ構想 - 処理とデータとタイマーを一体化したデータパイプライン Architecture DataPipeline Redis Database この記事は 第1回ウェブシステムアーキテクチャ(WSA)研究会 の予稿です。 cronのようなタイムスケジューラーにより、定期的に実行されるバッチ処理の課題を解決するアーキテクチャを最近考えてい... 続きを読む

ウェブシステムの運用自律化に向けた構想 - 第3回ウェブサイエンス研究会 - ゆううきブログ

2017/12/02 120 users ウェブシステム 加筆 構想 Advent Calendar

2017 - 12 - 02 ウェブシステムの運用自律化に向けた構想 - 第3回ウェブサイエンス研究会 Monitoring Concept Experimentable はてなエンジニア Advent Calendar 2017 の2日目です。 この記事は、 人工知能学会 合同研究会2017 第3回ウェブサイエンス研究会 の招待講演の内容を加筆修正したものです。 講演のテーマは、「自然現象として... 続きを読む

サーバ「管理」ツールとしてのMackerelの起源 - ゆううきブログ

2017/11/08 185 users SaaS mackerel 起源 サーバ 経緯

2017 - 11 - 08 サーバ「管理」ツールとしてのMackerelの起源 Monitoring Mackerel この記事は、SaaSのサーバ監視サービス Mackerel を起源を遡り、そこから現在の姿に至った経緯をはてな社内のエンジニアに共有するためのものです。 なお、ここに書かれていることは、Mackerel開発チームの公式見解ではありません。 概要 Mackerelは、もともとは2... 続きを読む

コスト効率の悪いLambdaアプリケーションの性質に関する考察 - ゆううきブログ

2017/11/05 227 users 考察 性質 コスト効率 Lambda アプリケーション

2017 - 11 - 06 AWS Lambdaがコスト観点で不利になりやすいアプリケーション性質の考察 Serverless Architecture 概要 Lambdaは100msの実行時間単位でオンデマンドに課金されるため、立ち上げっぱなしのEC2インスタンスよりも、料金が安くなる可能性があることが一般に知られている。 しかし、以下の性質を満たすアプリケーションでは、Lambdaがコスト観... 続きを読む

RedisサーバのCPU負荷対策パターン - ゆううきブログ

2017/09/12 565 users インメモリDB CPU負荷 昨今 一方 手法

2017 - 09 - 12 RedisサーバのCPU負荷対策パターン Redis Database Performance Redisは多彩なデータ構造をもつ[^1]インメモリDBであり、昨今のWebアプリケーションのデータストアの一つとして、広く利用されている。 しかし、一方で、性能改善のための手法を体系的にまとめた資料が見当たらないと感じていた。 実際、最初にCPU負荷が問題になったときにど... 続きを読む

時系列データベースという概念をクラウドの技で再構築する - ゆううきブログ

2017/06/05 527 users 時系列データベース 概念 クラウド 再構築 mackerel

2017 - 06 - 05 時系列データベースという概念をクラウドの技で再構築する TSDB Architecture Mackerel サーバ監視サービス Mackerel において開発中の、高解像度・長期間のサーバメトリック収集を実現するための新しい時系列データベースDiamondを紹介します。具体的には、Amazon ElastiCache、Amazon DynamoDB、Amazon S... 続きを読む

matsumotoryさんの博士学位論文公聴会に参加し、見て聞いて考えたこと - ゆううきブログ

2017/05/03 108 users matsumotoryさん matsumotory 亮介

2017 - 05 - 03 matsumotoryさんの博士学位論文公聴会に参加し、見て聞いて考えたこと 日記 先日、京都大学で開かれた id:matsumoto_r さんの博士学位論文公聴会に参加してきた。 4/25にある博士学位論文公聴会に行ってまいります！ https://t.co/aiWIpLDLmg — 松本 亮介 / まつもとりー (@matsumotory) April 14, 2... 続きを読む