機械学習におけるEDAって結局何するの？ - ABEJA Tech Blog

2023/12/25 5 users ABEJA 服部 データサイエンティスト 機械学習 データ分析

ABEJAでデータサイエンティストをしている服部です。 「EDAって結局何したらいいの？」っていう声をよく聞く気がするので、無謀にも今回はEDAについて記事を書いてみました。 本記事はABEJAアドベントカレンダー2023 25日目の記事です。 EDAとは EDAは「Exploratory Data Analysis」の略で「探索的データ分析」と日本語... 続きを読む

新型コロナ重症化リスクファクター分析　XGBoost+SHAPによるEDA - JMDC TECH BLOG

2022/01/11 28 users 齋藤 題材 実務 予測 JMDC TECH BLOG

JMDC データサイエンティストの齋藤です。 データ分析の第一歩、EDA（探索的データ分析）にどう取り組んでいますか？ 予測のための機械学習の話はよく聞きますが、EDAのための機械学習はあまり目にしないと感じるので、 今回は実務における「XGBoost+SHAPによるEDA」の実践例を取り上げてみたいと思います。 題材は２０... 続きを読む

ファーウェイ包囲の切り札　米半導体設計ツール断絶　　:日本経済新聞

2020/07/09 10 users 切り札 プロセッサー 日本経済新聞 包囲網 ファーウェイ

米国が中国通信機器大手の華為技術（ファーウェイ）への規制を強化している。包囲網の切り札として浮上してきたのが、最先端半導体の開発に不可欠な「EDA（電子設計自動化）」ツールだ。 同社が強みとするプロセッサーや通信用ベースバンドICなどの設計には、米企業製のEDAツールが欠かせない。米企業が提供するEDAツー... 続きを読む

レコメンドエンジン導入までの取り組みとアーキテクチャについて - コネヒト開発者ブログ

2020/03/31 12 users アーキテクチャ アルゴリズム レゴ レコメンドエンジン 目次

こんにちは！MLエンジニアのたかぱい（@takapy）です。 今回は、ママリのアプリ内にレコメンドエンジンを導入したので、導入までの取り組みやアーキテクチャについてご紹介できればと思います。 目次 ママリ内での課題 アーキテクチャ概要 EDAとアルゴリズムについて オフライン検証の失敗と学び A/Bテストについて レコ... 続きを読む

特徴量重要度にバイアスが生じる状況ご存知ですか？ - 学習する天然ニューラルネット

2019/07/15 212 users バイアス 天然ニューラルネット Kaggle 洞察 指標

なぜこの記事を書いたのか？ 決定木をベースにしたアルゴリズムのほとんどに特徴量重要度という指標が存在する。データに対する知識が少ない場合はこの指標を見て特徴量に対する洞察深めることができる。KaggleではEDAのときにとりあえず重要度を見てみるなんてこともするようだ。 しかし、この特徴量重要度にはバイアス... 続きを読む

Python: pandas-profiling でデータセットの概要を確認する - CUBE SUGAR CONTAINER

2018/10/30 30 users pandas DataFrame サマリー 相関係数 一度

今回は pandas-profiling というパッケージを使ってみる。 このパッケージを使うと pandas の DataFrame に含まれる各次元の基本的な統計量や相関係数などを一度に確認できる。 最初にデータセットのサマリーを確認できると、その後の EDA (Exploratory Data Analysis: 探索的データ分析) の取っ掛かりにしやすいと思う... 続きを読む

データフレームの特徴をもっと早く掴みたい ~ ハドリーへの挑戦 - まだ厨二病

2017/08/09 38 users 欠損 要約 性質 一方 有無

2017 - 08 - 09 データフレームの特徴をもっと早く掴みたい ~ ハドリーへの挑戦 precis data exploration 探索的なデータ分析 (Explore Data Analysis: EDA )を行う際は、データの要約や欠損の有無の確認、可視化が欠かせない作業となります。 特に可視化は、データのもつ性質や関係を表現するのに大変役立ちます。一方で、可視化に用いた図はコードと... 続きを読む

CQRSに対する批判的見解

2015/08/11 33 users CQRS コンテキスト 見解 イベント駆動アーキテクチャ テー

Command Query Responsibility Segregation(CQRS, コマンドクエリ責務分離)をもっと大きく，アーキテクチャ的コンテキストで眺めてみると，他にも利用可能なアーキテクチャスタイル，例えばEvent-Driven Architecture(EDA, イベント駆動アーキテクチャ)やパブリッシュ・サブスクライブといったものが存在することに気付く。さらには従来的なデー... 続きを読む

ニュース - 米当局が実体のない脅威に約300万ドルを浪費---米メディアが報道：ITpro

2013/07/10 12 users ITpro NOAA 実体 浪費 マルウェア感染

米商務省が6月に公表した報告書（PDF文書）から、同省の経済開発局（EDA）が実体のないマルウエア感染の対策に300万ドル近くを浪費したことが分かったと、複数の米メディアが現地時間2013年7月9日に報じた。 報告書によると、商務省のIT緊急対策チームは2011年12月、EDAと米海洋大気庁（NOAA）に対し、両組織の施設内ネットワークに不正侵入を検出したと警告した。実際の脅威は小規模なもので、N... 続きを読む