なぜ DuckDB を採用したのか

2024/11/17 148 users DuckDB DuckDB-Wasm http 中小規模 経由

概要 なぜ 自社 で DuckDB を採用したのかを、雑に書いていきます。 まとめ DuckDB / DuckDB-Wasm を利用する事で中小規模のサービスであれば、ログ解析や統計情報の可視化を低コストで提供することができる DuckDB を go-duckdb 経由で利用する事で、HTTP リクエスト単位での DuckDB を利用できる DuckDB-Wasm と OPFS ... 続きを読む

クエリのパフォーマンスチューニングの第一歩。実行計画や統計情報について入門する

2024/05/05 121 users SQL SQLクエリ パフォーマンスチューニング クエリ 以下

SQL実行の流れ まずはSQLがどのような流れで実行されるのかを見ていきます。 SQL実行の流れは大まかに捉えると以下のようになります。 パーサ パーサでは、ユーザーから送信されたクエリを受け取り、その文法的な正確さを検証します。SQLクエリが正しくフォーマットされているか、必要な構文要素が全て含まれているかを... 続きを読む

統計ダッシュボード機能を BigQuery と BI Engine で実装する

2023/07/28 8 users BigQuery Zenn tl;dr 本稿 課題

先日、統計ダッシュボード機能(β)をリリースしました。記事をひとつでも公開している場合、Zennにログインすればどなたでも統計情報を表示できます。執筆頻度の確認や閲覧回数の参考にお役立てください。 本稿ではどのように実現したかについて課題とともに記録します。 TL;DR 投稿ページの表示イベントは Google Analyt... 続きを読む

LINEの改正プライバシーポリシーがいろいろとひどいー委託の「混ぜるな危険」の問題・外国にある第三者 : なか2656のblog

2022/03/29 6 users なか 第三者 Blog 外国 line

１．LINEがプライバシーポリシーを改正 LINE社が3月31日付でLINEのプライバシーポリシーを改正するようです。その内容は、①提携事業者からのメッセージ送信・広告配信などに利用する情報の取得・利用、②統計情報の作成・提供、③越境移転に関する情報の追加、の３点となっています。 このなかで①②はどちらも他社データをL... 続きを読む

統計情報で見る生命のジェンダー格差 軽視される男性の命

2021/12/14 22 users ジェンダー格差 生命 男性

男性差別の存在を認識するために 差別の解消に向けた出発点は、男女の平等が達成されていないという現状を認識することだ。私たちは性差別についての啓蒙を受け、社会の中で女性が不利に扱われている多くの事柄、たとえば賃金や社会的地位の獲得に格差があり、女性が差別を受けていることを認識できるようになった。 し... 続きを読む

NICTER観測統計 - 2021年7月～9月

2021/11/30 12 users リアルタイム 観測データ 観測結果 可視化

はじめに NICTER プロジェクトのダークネット観測網における2021年第3四半期（7～9月）の観測結果を公開します． なお，プロジェクトの公式サイトNICTER WEB でも，観測データの⼀部をリアルタイムで可視化したり，統計情報として公開したりしていますので，そちらもご参照ください． 2021年第3四半期の観測統計 総観測... 続きを読む

政府が「ワクチン接種状況ダッシュボード」公開　性別や都道府県別に可視化 - ITmedia NEWS

2021/05/27 14 users 性別 政府 ITmedia News 都道府県別 CSV

政府が、全国の新型コロナワクチンの接種状況を一覧にまとめた「ワクチン接種状況ダッシュボード」を公開。統計情報をまとめたCSVやJSON形式のファイルも提供する。 政府は5月27日、全国の新型コロナワクチンの接種状況を一覧にまとめた「ワクチン接種状況ダッシュボード」を公開した。 ワクチンの接種数や接種率などを... 続きを読む

CPANに上がっているモジュールが対応しているPerlの最小バージョンの統計情報 - 私が歌川です

2021/05/04 8 users CPAN metacpan perl モジュール API

CPANに上がっているモジュールが対応しているPerlの最小バージョンの傾向が知りたくなったので、調査することにした。直感では、最低でもPerl 5.8に対応しているモジュールが最も多いと思っていた。 情報を取得する metacpanにはAPIがある*1ので、これを叩いて情報を取得する。 以下のコマンドで、この記事を書き始めた... 続きを読む

serdeにまつわる3つの小話 - OPTiM TECH BLOG

2020/12/23 7 users rust 齋藤 Advent Calendar プログラム

serdeにまつわる3つの小話 こんにちは、OPTiM TECH BLOG Advent Calendar 2020 12/23の記事をR&Dチームの齋藤（@aznhe21）からお送りします。 Rustでプログラムを書いたことのある人なら、serdeクレートは誰もが使ったことがあるのではないかと思います。 実際crates.ioの統計情報を見ると3000万回以上ダウンロード（202... 続きを読む

オープンソースのモニタリングデータ可視化ツール「Grafana 7.0」リリース | OSDN Magazine

2020/05/19 20 users OSDN Magazine Grafana グラフィカル

米Grafana Labsは5月18日、オープンソースのモニタリングデータ可視化ソフトウェア「Grafana 7.0」を公開した。ユーザーインターフェイスやカスタムプラグインなどで強化が図られている。 Grafanaはデータベース内に記録した監視データをグラフィカルに表示するダッシュボードを提供するソフトウェア。統計情報（メトリ... 続きを読む

GoogleのGmailやクラウドなどのサービスを支える技術「Borg」の統計情報が公開 - GIGAZINE

2020/05/07 13 users Borg GIGAZINE Gmail クラウド PDF

GoogleはGmailやサーチエンジン、Google Cloud Platformなどのさまざまなサービスを運営しています。そうした大規模なサービスを高い稼働率で提供するため、Googleは「Borg」と呼ばれるクラスタマネージャを開発してきました。そのBorgについて、Googleが2019年版の統計情報を公開しています。 (PDF)Borg:the Next Gener... 続きを読む

機械学習の短期集中コース - Learn | Microsoft Docs

2020/01/15 1460 users サイエンス モジュール 物事 コンピューター 人工知能

人工知能 (AI) と機械学習の大まかな概要。 モジュールは、コンピューター サイエンスや統計情報をほとんど、またはまったく知らない人を対象としています。 AI の基本概念について説明し、無料の使いやすいツールを使ってカスタム機械学習ソリューションを適用する方法を学習します。 AI の専門家が物事、人、将来につ... 続きを読む

Javascriptで帳票印刷したい - Qiita

2019/12/23 9 users SPA 知見 Qiita グラフ 集計

Vue.jsを利用したWebシステムで帳票印刷する必要がありました。 方法がいくつかあり、検討した知見を紹介します。 背景 フロントはVue.jsを利用したSPA 指定条件を入力しビジネスの統計情報を画面表示する 集計、グラフを伴う 統計画面上の「印刷」ボタンを押下すると帳票印刷 or PDFダウンロードする ビジネスレポート... 続きを読む

【アップデート】Lambdaの管理コンソールから直接CloudWatch Logs Insightsの統計情報が参照できるようになりました！ ｜ DevelopersIO

2019/06/21 9 users DevelopersIO Lambda 岩田 管理コンソール

サーバーレス開発部＠大阪の岩田です。 Lambdaの管理コンソールから直接CloudWatch Logs Insightsの統計情報が参照できるようになりました。 AWS Lambda Console shows rec […] 続きを読む

Nintendo Switch『フィットボクシング』を1か月以上プレイで平均“2キロ痩せる”との報告。メーカーが調査発表 | AUTOMATON

2019/06/05 393 users AUTOMATON イマジニア フィットボクシング 平均 報告

イマジニアは6月5日、『Fit Boxing（フィットボクシング）』の減量効果についての、メーカー調査結果を発表した。減量効果の調査については、株式会社ウィットが提供する食事管理アプリ「あすけん」 ユーザーの統計情報を参考にしたという。 『フィットボクシング』では発売当初より、食事管理アプリ「あすけん」の運動... 続きを読む

Octoverse 2018 (2018年10月時点の統計情報) ー GitHubで使われる絵文字 | The GitHub Blog

2018/12/13 7 users GitHub Git 洞察 github上 動向

この記事はGitHubの活動、オープンソースコミュニティの動向、さらにGitHubのデータサイエンスチームによる洞察によって作成された2018年のOctoverse(オクトバース)レポートに基づいたシリーズの一部です。 GitHub上で開発者はテキスト、コード、絵文字など好みのメディアを使って自分自身を表現することができます。Git... 続きを読む

「情報セキュリティ対策ベンチマーク バージョン4.7」と「診断の基礎データの統計情報」を公開：IPA 独立行政法人 情報処理推進機構

2018/10/26 12 users IPA Benchmark 独立行政法人 診断 基礎データ

IPAは、2005年8月からIPAのWebサイトで公開している「情報セキュリティ対策ベンチマーク」の診断の基礎データを最新のデータに入れ替え、バージョン4.7として新たにサービスを開始しました。 URL：https://www.ipa.go.jp/security/benchmark/ 情報セキュリティ対策ベンチマークは、組織の情報セキュリティ対策の取組状況... 続きを読む

今すぐ導入可能！JavaScriptで3Dの地球上にデータを可視化できる「Gio.js」を使ってみた！ - paiza開発日誌

2018/09/06 78 users paiza開発日誌 JavaScript インパ 可視化 機能

どうも、まさとらん（@0310lan）です！ 今回は、わずか数行のJavaScriptコードを書くだけで3Dの地球上にデータをマッピングして可視化できるライブラリをご紹介します！ 初心者でも簡単に扱えるように設計されており、カスタマイズ性やインタラクティブな機能を追加するのも簡単です。 輸出入のデータ・統計情報・インバ... 続きを読む

世界各国の「労働者1人あたりの平均労働時間」発表、日本の労働者たちはどれくらい働いているのか？ - GIGAZINE

2018/07/04 49 users GIGAZINE aspx OECD 世界各国 平均労働時間

by Solomon Hsu 世界経済について協議する国際機関経済協力開発機構(OECD)が公開している統計情報から、世界各国の「労働者1人あたりの平均年間労働時間」が明らかになっています。 Average annual hours actually worked per worker https://stats.oecd.org/Index.aspx?DataSetCode=ANHRS# OECDによる統計情報は以下の... 続きを読む

マイクロソフト、Windowsアプリ開発者向け「Desktop Application Analytics」提供開始。アプリのインストール数やクラッシュの原因などの統計情報を把握 － Publickey

2018/01/29 41 users Publickey アプリケーション クラッシュ バージョン

マイクロソフト、Windowsアプリ開発者向け「Desktop Application Analytics」提供開始。アプリのインストール数やクラッシュの原因などの統計情報を把握 マイクロソフトは、Windowsデスクトップアプリケーションの開発者が自分のアプリケーションのインストール数や、クラッシュした原因やそのときのOSのバージョンなどを把握できる「Windows Desktop Progra... 続きを読む

NHKさん、ビッグデータかAIかよくわからない視覚化した統計情報のようなもので、相関性が不安になる内容を特番で放送予定 - Togetterまとめ

2017/07/17 583 users 特番 Togetterまとめ 相関性 視覚化 ビッグデータ

「ニュースウオッチ９」（総合月～金午後９時）の公式アカウント。出演者とスタッフが現場の息づかいを届け、発見をシェアします。 ▼利用規約はこちら→https://t.co/Q11WanxIUh ▼フォローの考え方https://t.co/8lVsvM27YP http://t.co/1mxCfRtrnK 続きを読む

短縮URLサービスと短縮URLの展開方法をまとめてみた - あうとぷっと

2017/05/29 14 users 末尾 コマンド 遷移先 十分 ブラウザ

2017 - 05 - 28 短縮URLサービスと短縮URLの展開方法をまとめてみた Security Phishing memo 記事のまとめ 短縮URLの遷移先は危険な可能性があることを十分理解すること 末尾に「+」を加えると統計情報を展開してくれるサービスがある アクセスせずに遷移先を確認する方法が無い短縮URLは、ブラウザでアクセスせずコマンドで確認すると楽 短縮URLとは いまや当たり前... 続きを読む

政府統計システムに不正アクセス　２．３万人情報流出か：朝日新聞デジタル

2017/04/13 18 users 朝日新聞デジタル jSTAT MAP 氏名 総務省 流出

総務省は１３日、政府統計を扱うシステムに不正アクセスがあり、約２万３千人分の個人情報が流出した可能性があると発表した。 不正アクセスされたのは、統計情報と地図情報を組み合わせた「地図による小地域分析」（ｊＳＴＡＴ　ＭＡＰ）。利用に必要な氏名やメールアドレス、会社・学校名、利用目的のほか、任意で登録する住所や電話番号も流出した可能性がある。１３日午後６時時点で流出による被害は確認されていないという。... 続きを読む

総務省サイトで情報流出か　不正アクセス、2.3万人 - 共同通信 47NEWS

2017/04/13 123 users 不正アクセス 共同通信 情報流出 47NEWS stat

総務省は13日、運営する統計サイト「e―Stat」が提供しているサービスの一つが不正アクセスを受け、最大で約2万3千人の利用登録者のメールアドレスや名前、勤務先などの個人情報が流出した恐れがあると発表した。個人情報の管理用のサーバーが直接被害を受けたわけでないため、総務省は「流出の可能性は低い」としているが、詳細を調べている。 サービスは、地図と人口などの統計情報を組み合わせて分析できる「地図によ... 続きを読む

アニメは総選挙の代わりにならない - 総選挙ボイス占い、あるいはシンデレラガールズをデータで分析したら愉しかった話 - 電池冷蔵庫

2017/02/23 64 users シンデレラガールズ 総選挙 アニメ オサラバ データ

アニメは総選挙の代わりにならない - 総選挙ボイス占い、あるいはシンデレラガールズをデータで分析したら愉しかった話 「 声なしアイドル って…」 「 ボイスの有無 はもしかして…」 そんなモヤモヤに今日こそオサラバ！ モバPの疑問にデータで答えるぞ。あと総選挙の予想とかもやっちゃう。 この高度情報化社会では何をするにもデータが不可欠… Pなら担当の統計情報を知ってて当然だよね！ 基本的に愉しい記事... 続きを読む