CloudFrontのログを使って機械学習で異常検知を試してみた - iimon tech blog

2023/12/16 5 users CloudFront ログデータ ＣＴＯ フィールド ロク

こんにちは、CTOの森です。 本記事はiimonアドベントカレンダー16日目の記事となります。 普段機械学習を使うことは無いのですが、勉強も兼ねてCloudFrontのログを機械学習させてみたらどうなるのか試してみました。 検証した環境 ログデータの形式 使用したログデータのフィールド 分析までの手順 正しくデータを読み込... 続きを読む

【異常検知】深層距離学習で画像の歪みを検出する - Qiita

2020/01/08 6 users 精度 ディープラーニング アプローチ 正常データ 課題

ディープラーニングを使った画像の異常検知について、研究が盛んに行われています。 工業製品を対象に、正常データのみを使って異常品を検出するアプローチとしては、 今のところ、@daisukelab　さんの自己教師あり学習が一番有力です。こちらの研究では、 課題として、一部の画像で精度が伸び悩み、異常クラスのデータ... 続きを読む

Microsoft、.NET開発者向け機械学習フレームワークの新版「ML.NET 1.2」を発表：ML.NETアプリとWebアプリを統合可能に - ＠IT

2019/07/19 37 users Microsoft 統合 Webアプリ TensorFlow

ML.NETアプリとWebアプリを統合可能に：Microsoft、.NET開発者向け機械学習フレームワークの新版「ML.NET 1.2」を発表 Microsoftは、.NET開発者向けの機械学習（ML）フレームワークの最新版「ML.NET 1.2」を発表した。下位互換性を維持しながら、さまざまな改良を施した。予測と異常検知を担うパッケージや「TensorFlow... 続きを読む

RIDITスコアによる不正検知 - MicroAd Developers Blog

2019/06/21 32 users 不正検知 マイクロアド 大学院 高橋 入札額

マイクロアドでデータを分析している高橋と申します。 大学院までは物理学を専攻していましたが、縁あってデータ分析の分野に飛び込むこととなりました。 入札額の最適化アルゴリズムに取り組んでいた時期もありましたが、現在は広告表示の異常検知・不正検知周りが主テーマです。 今回は、不正検知等で役に立ちそうなRI... 続きを読む

アプリログの自動異常検知を試してみた~密度比による異常検知入門~ - Gunosyデータ分析ブログ

2018/01/11 49 users 検知 Gunosyデータ分析ブログ ダミーデータ 実装例

2018 - 01 - 11 アプリログの自動異常検知を試してみた~密度比による異常検知入門~ Gunosyデータ分析部アルバイトの鈴木です。今回は 密度比を利用したバージョンリリースにおける異常検知 について学んだことをまとめたいと思います。 やりたいこと 超長期的にやりたいこと 密度比を用いた異常検知のイメージ ダミーデータでの実装例1 今回試したやり方 今後試していくやり方 ダミーデータでの... 続きを読む

ホストメトリックの異常検知を行なうmackerel-agentのチェックプラグインを作りました - yasuhisa's blog

2017/11/06 24 users mackerel-agent ホストメトリック 検知 実装

2017 - 11 - 06 ホストメトリックの異常検知を行なうmackerel-agentのチェックプラグインを作りました 異常検知 Mackerel 最近、異常検知の実験/実装を行なっていますが、その過程の中間成果物を mackerel-agent のチェックプラグインとして切り出しました(非公式のプラグインです。サポート宛てにお問い合わせしてもらっても回答できません。 id:syou6162... 続きを読む

Sparse Gaussian Markov Random Field Mixtures for Anomaly Detectionを読んだ - yasuhisa's blog

2017/09/24 19 users 検知 人手 yasuhisa's blog 一環 外れ値検知

2017 - 09 - 25 Sparse Gaussian Markov Random Field Mixtures for Anomaly Detectionを読んだ 機械学習 異常検知 異常検知の一環で外れ値検知をやっていると「どの事例が外れ値か分かるだけじゃなくて、 どの次元がおかしくなったかも 教えて欲しい。次元数が100とかあると、どの次元がおかしい動きをしているか人手で見るのは大変」... 続きを読む

Fitbitから取得した心拍データで時系列の異常検知を試してみる - About connecting the dots.

2016/10/19 185 users Fitbit 検知 時系列 ディ 変化検知

2016 - 10 - 19 Fitbitから取得した心拍データで時系列の異常検知を試してみる 井出先生の「異常検知と変化検知」を読んで，自分でも試してみたいと思ったんですが，あいにくちょうどいい時系列データが手元にないなーと思ってました．そんな折，データサイエンスLT祭りの発表の中に，Fitbitデータを可視化するものがあって *1 ，これはちょうどいいということで試してみましたよというていのエ... 続きを読む

イプシロン打ち上げ中止、0.07秒のずれが原因　「気づける人いなかった」森田プロジェクトマネージャー (1/2) - ITmedia ニュース

2013/09/02 67 users イプシロン 森田泰弘プロジェクトマネージャ JAXA 森田

新型ロケット「イプシロン」初号機の打ち上げ中止の原因について30日、鹿児島県肝付（きもつき）町の宇宙航空研究開発機構（JAXA）内之浦宇宙空間観測所で記者会見した森田泰弘プロジェクトマネージャの主な一問一答は次の通り。 ――異常検知の原因は 森田　地上の計算機からロケット搭載の計算機へタイマーをスタートせよとの命令を送る。この命令が地上側からロケット側に届くのに0・07秒を要したため、地上側とロケ... 続きを読む

異常検知（変化点検出）をPythonで書いてみた | Kitchen Garden Blog

2013/03/27 120 users Python 変化点検出 Rating データマイニング 山西

データマイニングについて勉強する機会があり、Python言語の練習がてら「変化点検出」と呼ばれる手法について、近似的ではありますが、試作してみました。 変化点検出とは 変化点検出とは、入力データの時系列的な振る舞いの変わり目（変化点）を検出する方法です（山西健司著『データマイニングによる異常検知』）。 データマイニングによる異常検知 山西 健司 Rank / Rating: 302282 / - ... 続きを読む

フリーのサーバ、ネットワークなどの総合監視ソフト「ZABBIX」日本語版 - GIGAZINE

2006/07/03 380 users GIGAZINE Zabbix サーバ BSD ネットワーク

オープンソースで開発されており、全ての設定・管理をブラウザからできるようになっている。グラフ作成機能も標準で搭載。各ノードの情報収集、異常検知、障害/復旧通知、詳細なアラート通知機能あり。SNMPv1、v2、v3をサポートし、Unix、Linux、BSD、Windows、MacOS X、NetWareなどで動作。CPU、メモリ、ディスク、ネットワーク、プロセスの状態などの監視が可能で、Apache... 続きを読む