シスコ、Splunkの買収を完了。「Splunkとともに世界最大級のソフトウェア企業に」とソフトウェア企業への変身を宣言

2024/03/20 6 users Splunk シスコ 買収 サーバ センサー

シスコ、Splunkの買収を完了。「Splunkとともに世界最大級のソフトウェア企業に」とソフトウェア企業への変身を宣言 Splunkは、サーバやネットワーク機器などあらゆるマシンやセンサー、ソフトウェアなどから生成されるログデータを収集、横断的に分析し、システムの状態やセキュリティを可視化し、監視するためのツール... 続きを読む

CloudFrontのログを使って機械学習で異常検知を試してみた - iimon tech blog

2023/12/16 5 users CloudFront ＣＴＯ 異常検知 フィールド ロク

こんにちは、CTOの森です。 本記事はiimonアドベントカレンダー16日目の記事となります。 普段機械学習を使うことは無いのですが、勉強も兼ねてCloudFrontのログを機械学習させてみたらどうなるのか試してみました。 検証した環境 ログデータの形式 使用したログデータのフィールド 分析までの手順 正しくデータを読み込... 続きを読む

TiDBによる大規模ログデータ管理の挑戦！シャーディングなしで大量インサートをさばくには？ - LINE株式会社 - TiDB User Day 2023

2023/07/14 25 users TiDB RDB シャーディング 大塚 ソフトウェアエンジニア

TiDBによる大規模ログデータ管理の挑戦！シャーディングなしで大量インサートをさばくには？ - LINE株式会社 - TiDB User Day 2023 イベント開催日：2023年7月7日 講演者：LINE株式会社　ITSC データベース室　MySQL 1チーム ソフトウェアエンジニア　大塚 知亮 氏 本スライドでは、TiDBで大量のログデータを管理するRDB... 続きを読む

[アップデート]Amazon CloudWatch Logsでログデータに含まれた機密情報を保護出来るようになりました #reinvent | DevelopersIO

2022/12/04 10 users reinvent DevelopersIO うち たくさん

こんにちは、AWS事業本部@福岡オフィスのべこみん(@beco_minn)です。 遂にAWS re:Invent 2022が始まりましたね。それに合わせてたくさんのアップデートが出てきました。 本記事ではそのうちの一つ、「Amazon CloudWatch Logsでの転送中の機密データ保護」についてまとめます。 ざっくりまとめ Amazon CloudWatch Logsで... 続きを読む

Amazon Elasticsearch ServiceによるECSアプリケーションのログ解析基盤の構築 - BASEプロダクトチームブログ

2020/11/27 17 users ECS Fargate ログ解析基盤 構築 前川

こんにちは、BASE BANK 株式会社 Dev Division でエンジニアとしてインターンをしている前川です。 今回、Amazon Elasticsearch Service(以下、Amazon ES)による、ECS/Fargate で稼働するアプリケーションのログデータの解析基盤を新規で構築することになったので、構築するにあたって調査した内容や関連する内容、実際... 続きを読む

API gateway + lambda + S3でDDoS攻撃を受けて1日あたりで$3000溶かした話 - Qiita

2020/07/15 279 users Lambda Qiita DDoS攻撃 木曜 ばいせん

qiita夏祭りに乗り遅れてしまったので一人後夜祭 ~2019年某日~ パイセン「それじゃあ、ワイ君は明日からフロントのログデータを飛ばすのにAPI gatewayとlambdaでS3に保存するようにしてな。木曜までな。その間に自分はサービンのドメイン取ったりRoute53周りの構築するから」 ワイ「これもcloud formationに書くんです？... 続きを読む

CloudWatch LogsのログデータをKinesis Data Firehose経由でS3に出力する | Developers.IO

2020/05/10 7 users CloudWatch Logs 本エントリ 手順 データ 設定

CloudWatch Logsのデータを、Kinesis Data Firehose経由でS3に出力する手順です。 Lambda Functionなどで作り込みを行わず、CloudWatch LogsのログデータをS3に出力するには、Kinesis Data Firehoseが利用できます。 本エントリでは、Kinesis Data Firehoseを介して、CloudWatch LogsのデータをS3へ出力する設定を紹介し... 続きを読む

【コラム】データドリブンなマーケティングオートメーションに関する特許 – コラムバックナンバー | アナリティクス アソシエーション

2019/09/20 18 users アソシエーション マーケティングオートメーション 特許 柳井

【コラム】データドリブンなマーケティングオートメーションに関する特許 Option合同会社 柳井 隆道 発信元：メールマガジン2019年9月18日号より 先日以下の情報処理装置に対する特許が取得されました。 一のユーザによるアプリケーションプログラムの利用履歴を示すログデータを取得するログデータ取得部と、 機械学習... 続きを読む

CloudWatch Logs Insightsで始める簡単！！ログ集計 - GA technologies Tech Blog

2019/04/12 22 users CloudWatch Logs Insights 永冶

GA technologies SREチームの永冶です。 社内でログを集計した際にCloudWatch Logs Insightsが便利だと感じたので早速ブログにしました。 これからCloudWatch Logs Insightsを使用する方の助けになればと思います。 CloudWatch Logs Insightsとは CloudWatch Logsのログデータを分析する機能です。 専用のクエリ言語が用... 続きを読む

Amazon Elasticsearch Service でペタバイト規模のクラスタを実行する | Amazon Web Services ブログ

2019/02/17 24 users クラスタ elasticsearch Kibana 潜在力

Amazon Web Services ブログ Amazon Elasticsearch Service でペタバイト規模のクラスタを実行する ログデータに Amazon Elasticsearch Service (Amazon ES) を使用するのは、あたかも強力な消火ホースから水を飲むようなもので、システムそのものの潜在力は絶大です。Elasticsearch と Kibana の知識が深まるにつれ、よ... 続きを読む

「日本は戦争できる国に」レーダー照射問題を巡り韓国左派が主張 - ライブドアニュース

2019/01/22 6 users レーダー照射問題 主張 ライブドアニュース 社説 駆逐艦

2019年1月22日 17時54分 ざっくり言うと レーダー照射問題をめぐり、韓国左派系の京郷新聞が社説で日本を非難した 韓国国防省と同様、周波数特性が分かるログデータを出すように要求 回避するなら、日本が「戦争ができる国」に向かうことを意味するとした 韓国海軍の駆逐艦が海自機に火器管制レーダーを照射した問題は、... 続きを読む

ソーシャルゲームの価値を上げるログデータのつくりかた – てっくぼっと！

2018/08/25 88 users 定量 サーバーサイドエンジニア 知見 小川 考察

はじめに 現在データ分析基盤の再構築を担当している、サーバーサイドエンジニアの小川です。これまで私は4つのソーシャルゲームの新規開発・運用を経験してきました。そこでの知見と考察をまとめます。 ログデータは、調査などに必要なただの履歴という立場に置かれがちです。ですが、作業工数を大幅カットしたり、定量... 続きを読む

ソーシャルゲームの価値を上げるログデータのつくりかた – てっくぼっと！

2018/07/13 88 users 定量 サーバーサイドエンジニア 知見 小川 考察

はじめに 現在データ分析基盤の再構築を担当している、サーバーサイドエンジニアの小川です。これまで私は4つのソーシャルゲームの新規開発・運用を経験してきました。そこでの知見と考察をまとめます。 ログデータは、調査などに必要なただの履歴という立場に置かれがちです。ですが、作業工数を大幅カットしたり、定量... 続きを読む

男女比，平均年齢，掛け持ち――ログデータから明かされるゲームアプリの姿。JOGA「オンラインゲーム・マーケティングセミナー」をレポート - 4Gamer.net

2018/07/02 102 users JOGA マーケティングセミナー 箭本進一 ゲームアプリ

男女比，平均年齢，掛け持ち――ログデータから明かされるゲームアプリの姿。JOGA「オンラインゲーム・マーケティングセミナー」をレポート ライター：箭本進一 一般社団法人 日本オンラインゲーム協会（JOGA）は2018年6月26日，東京都内にて「オンラインゲーム・マーケティングセミナー」を開催した。ゲームビジネスに特... 続きを読む

ホテルのカードキーを1分で偽造する方法を、15年かけて見つけた研究者の執念｜WIRED.jp

2018/05/09 54 users 執念 手品 形跡 WIRED.jp カードキー

SHARE STORY 2018.05.09 WED 19:00 ホテルのカードキーを1分で偽造する方法を、15年かけて見つけた研究者の執念 ホテルのドアがこじ開けられた形跡も、カードキーのログデータに記録もないのに、誰かが侵入してノートパソコンを持ち去った──。そんな手品のような窃盗事件の謎を解明しようとしていたセキュリティ研究者が、ホテルのカードキーの脆弱性を15年かけて発見した。全部屋の鍵を... 続きを読む

保険金目当ての自宅放火事件で容疑者の心臓ペースメーカーのログが調査される | スラド YRO

2017/02/09 20 users 放火 yro 自作自演 Washington Post スラド

保険金目当てでの自宅への放火が疑われた米オハイオ州の男性に対し、心臓ペースメーカーのログデータを使った検証が行われたという。その結果、「自作自演」の疑いが高いという結論になったそうだ（ Engadget Japanese 、 Washington Post 、 WLWT ）。 この男性は、「自宅が燃えているのに気付いて服や所持品などをスーツケースやほかのバッグに入れて窓から放り投げ、その後自身も家... 続きを読む

ASCII.jp：バショー、IoT／ログなど時系列データ用NoSQL「Riak TS」

2015/11/25 15 users BAS IoT 分散型NoSQLデータベース 時系列データ

Bashoジャパンは11月20日、同社が開発する分散型NoSQLデータベース（DB）シリーズにおいて、IoTセンサーデータやログデータなど、大量の“時系列データ（タイムスタンプのあるデータ）”を読み書きする用途に適したNoSQL DB「Riak TS」を発表した。12月より国内販売を開始する。 Bashoジャパンは、米Basho Technologies（バショーテクノロジーズ）の日本法人。Bas... 続きを読む

Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜 - Mercari Engineering Blog

2015/09/09 146 users fluentd BigQuery cubicdaiya 初期

2015-09-09 Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜 エンジニアではなくプログラマと呼ばれたい@cubicdaiyaです。今回はメルカリのログ分析基盤のお話です。 メルカリにおけるログデータ分析 メルカリでは初期の頃からログデータの分析をサービスの成長にとって重要なタスクとして位置づけ、そのための基盤作りに取り... 続きを読む

はてなブログのログデータを買い取りたい！利用規約に抵触するかな？人類補完計画を目指して(^ω^)禁煙881日目・今日のはてブ。 - 団劇スデメキルヤ伝外超

2014/09/07 20 users nanapi ひとこと 団劇スデメキルヤ伝外超 人類補完計画

2014-09-07 はてなブログのログデータを買い取りたい！利用規約に抵触するかな？人類補完計画を目指して(^ω^)禁煙881日目・今日のはてブ。 はてな アフィリエイト 日記 スポンサーリンク 今日のひとことはてなブログの寄稿者機能って、あまり使ってる人は知らないですが、原稿料とか出して、nanapiみたなことしたいですね。だけど、みんなが城（砂）を作れるのがブログの良さです。でも、今日もブロ... 続きを読む

BigQueryにTwitterのタイムラインを入れる [Ruby] - 9mのブログ

2014/07/03 188 users Twitter groonga MongoDB MySQL

Twitterのタイムラインを保存しておくとなにかと便利なので、色々と保存形式を変えながら4年くらい記録し続けている。かつてはテキストで、MongoDBやMySQLとかGroongaとかいろいろやってきた。どれも問題ないんだけど、増え続けるログデータを保存する場所として考えるとBigQueryが現代にマッチしてるようなのでそちらに移行した。 BigQueryにTLを保存するとできること TLの全て... 続きを読む

PHPアプリのイベントをKibana3+Elasticsearch+Fluentdで解析するための勘所 | nanapi TechBlog

2014/01/15 7777 users nanapi TechBlog PHPアプリ akiyan

サーバーサイドアプリのイベントを Kibana3 で解析したい エンジニアのakiyanです。 ログ解析、してますか？ 大量のログを超かっこよく可視化してくれる Kibana3 を最近知ったんですけど、すごいですよね。もう、エンジニアお手製のチマチマとした集計画面を作る気がしません。 参考：ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ (sl... 続きを読む

バイドゥ、スマホ向け日本語IME「Simeji」のログ送信認める - 理由は"バグ" | マイナビニュース

2013/12/26 15 users Simeji バイドゥ パク 見解 変換精度

日本語入力ソフト「Simeji」を提供するバイドゥは12月26日、同社が利用者に無断でログ情報などを送信しているとされる問題に対する見解を発表した。 同社によると、報道を受けて社内調査を行った結果、Simejiアプリはログセッションのデータ送信をオフにしていた場合でも一部のログデータを送信していた事実を確認したという。 ログセッションは、変換精度の向上を目的として同社は活用しているが、今年3月にリ... 続きを読む

Fluentdが流行る理由がいま分かる、10の実践逆引きユースケース集 - Y-Ken Studio

2013/12/04 471 users fluentd Y-Ken Studio トレンド ビジネス

2013-12-04 Fluentdが流行る理由がいま分かる、10の実践逆引きユースケース集 fluentd ElasticSearch MySQL ログデータを活用してビジネスに役立てようという最近のトレンドは理解できる。 しかし、なぜログ収集ソフトウェアのFluentdがこれほどまで話題になるのか、不思議に感じている方もいるのではないだろうか。単にログデータを収集するならばsyslog-ngや... 続きを読む

ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ

2013/11/12 219 users Nov 自己紹 テクニック 運用ノウハウ 視覚化

Elasticsearch kibnana fluentd management tips Presentation Transcript 12th Nov, 2013 ElasticSearch+Kibanaでログデータの検索と 視覚化を実現するテクニックと運用ノウハウ Kentaro Yoshida in ElasticSearch Study #2 page 1 1. はじめに 2. 自己紹... 続きを読む

クラウドからログ管理を提供するLogglyが$10.5Mを調達, 第二世代製品ではデータの‘意味’の視覚化を充実 | TechCrunch Japan

2013/09/04 15 users SaaS サンフランシスコ 抄訳 ラウンド デバイス

【抄訳】 ログ管理をクラウドからのサービスとして行うLogglyが、新たな投資家であるCiscoとData Collectiveから1050万ドルを調達した。Trinity VenturesとTrue Ventures、およびMatrix Partnersもこのラウンドに加わり、このサンフランシスコの企業の総資金額は2090万ドルになった。 同社のSaaSはどんなデバイスからでもログデータを取り、... 続きを読む