データ分析の基礎 - Qiita

2023/09/25 208 users モデリング 探索 抽出 Qiita プロセス

1. データ分析の概要と目的 データ分析とは、大量のデータから有用な情報や知識を抽出するプロセスです。 このプロセスには、データの収集、前処理、探索、モデリング、評価、そして最終的な知識の抽出が含まれます。 データ分析の主な目的は以下の通りです ビジネスの意思決定をサポートする 新しい市場の機会を発見す... 続きを読む

世界初、分析ツールnehanにPythonコード出力機能登場。プログラミング不要でプログラムを作れる！？｜株式会社nehanのプレスリリース

2019/09/30 108 users Pythonコード 常識 プレスリリース プログラミング 機能

株式会社nehanは、プログラミング不要の分析ツールnehan上にて、作成した分析プロセスをPythonコードとして出力できる機能の提供を開始いたしました。 分系ツールnehanは「"データ分析は前処理の時間が8割"の常識を覆す」をテーマに、プログラミング不要で様々な分析業務を可能にするサービスです。 2019年5月の提供開始... 続きを読む

実践データサイエンス─サンプルコードと図表で学ぶ、前処理・モデル評価・パラメータチューニング - エンジニアHub｜若手Webエンジニアのキャリアを考える！

2019/09/10 280 users 訓練 広域 データサイエンティスト ハイパーパラメータ スキル

データサイエンティストとしてのスキルを向上させるには、データの前処理や特徴量の作成、モデルの評価・訓練、ハイパーパラメータの調整など、広域にわたる知識を身に付ける必要があります。 この記事は、そうした知識を「サンプルコードと図表を見ながら、分かりやすく学習できること」を目指して作成されました。記事... 続きを読む

pandasで1000万件のデータの前処理を高速にするTips集 - Qiita

2018/12/21 372 users Qiita pandas 来春 体系 新卒入社

はじめに 当社にアルバイトに来ていた人（来春に新卒入社の予定）に「pandasを高速化するための情報は無いですか？」と尋ねられました。 このパッケージの使い方は多数の書籍やWebで体系立った記事で書かれています。 しかし、高速化に関しては体系的な情報源が思いつかなかったので、「実際に書いてみて、1つ1つチュー... 続きを読む

自然言語処理の前処理・素性いろいろ - Debug me

2018/05/29 398 users 言語処理 処理 SQL 素性 Python

2018 - 05 - 29 自然言語処理の前処理・素性いろいろ MeCab 機械学習 自然言語処理 ちゃお・・・† 舞い降り・・・† 先日、前処理大全という本を読んで影響を受けたので、今回は 自然言語処理 の前処理とついでに素性の作り方を Python コードとともに列挙したいと思います。必ずしも全部やる必要はないので適宜使ってください。 前処理大全[データ分析のためのSQL/R/Python実... 続きを読む

数独を解く(画像解析) - cuspy diary

2012/06/29 392 users cuspy diary 画像解析 数独 OpenCV ワザ

画像として与えられた数独を解きます。 新聞に掲載されていたこの問題をOpenCVを使って画像解析する。(画像が斜めなのはワザとです) グレースケール変換 画像解析の前処理として、まずグレースケールに変換し、ガウシアンフィルタをかけてぼかします。ガウシアンフィルタをかける事で、安定した二値化が画像が得られます。1 二値化 次に二値化を行います。 二値化には、普通の方法、大津さんの手法、適応的二値化、... 続きを読む