データ分析の基礎 - Qiita

2023/09/25 208 users モデリング 探索 抽出 Qiita プロセス

1. データ分析の概要と目的 データ分析とは、大量のデータから有用な情報や知識を抽出するプロセスです。 このプロセスには、データの収集、前処理、探索、モデリング、評価、そして最終的な知識の抽出が含まれます。 データ分析の主な目的は以下の通りです ビジネスの意思決定をサポートする 新しい市場の機会を発見す... 続きを読む

AutoMLを最短3行で！　表形式や画像、テキストのデータにも対応可能なOSS「AutoGluon」：AutoML OSS入門（4）（1/3 ページ） - ＠IT

2021/09/27 13 users AutoML OSS AutoML OSS テキスト 表形式

AutoMLを最短3行で！　表形式や画像、テキストのデータにも対応可能なOSS「AutoGluon」：AutoML OSS入門（4）（1/3 ページ） AutoML OSSを紹介する本連載第4回は、たった3行のコードでAutoMLが実行できるOSS「AutoGluon」を解説します。AutoGluonは表形式や画像、テキストのデータにも対応しており、データの前処理から... 続きを読む

Twitter、アップロード動画の品質を改善したとツイート - ITmedia NEWS

2021/09/25 8 users Twitter 米Twitter 同日 ピクセル化 品質

Twitterはツイート動画の品質を改善したとツイートした。新たにアップロードする動画が対象だ。アップロードの際の前処理を変更した。 米Twitterは9月24日（現地時間）、ツイート動画の品質を改善するための更新を行ったと発表した。過去の動画は改善されないが、同日からTwitterにアップロードする動画は「ピクセル化さ... 続きを読む

東映、アニメ背景制作をAIで効率化　写真をイラスト風に自動変換、前処理を1/6に短縮 - ITmedia NEWS

2021/03/12 17 users 東映 短縮 pfn ITmedia News イラスト風

東映アニメーションが、PFNのAI技術を活用してアニメ制作を効率化する実験を行った。背景写真をアニメ調やサイバーパンク調に自動変換することで、美術クリエイターが画像の前処理にかける時間を従来の約6分の1に短縮できた。 東映アニメーションは3月12日、AIベンチャーのPreferred Networks（以下、PFN）のAI技術を活... 続きを読む

JuliaとPythonを併用したデータ処理のススメ - Techブログ - MNTSQ, Ltd.

2020/12/07 23 users NumPy MNTSQ ルーチン Python 試行錯誤

Pythonでデータ処理をしている際、numpyにはまらないごちゃごちゃした前処理があり、ちょっと遅いんだよなぁ。。。となること、ないでしょうか。 ルーチンになっている解析であれば高速化を頑張る意味がありそうですが、新しい解析を試行錯誤している最中など、わざわざ高速化のためのコードをガリガリ書いていくのは辛... 続きを読む

Juliaでデータサイエンス100本ノック（構造化データ加工編） - Qiita

2020/08/02 11 users Qiita データサイエンティスト協会 用途 実行 昨今注目

データサイエンティスト協会によるデータサイエンス100本ノック（構造化データ加工編）をJuliaで解きました。 はじめに わざわざ紹介するまでもありませんが、Juliaは書きやすくて実行が速いモダンな科学計算向け言語として昨今注目を集めています。ただ、まだデータをこねくりまわすコード例が少なく、前処理などの用途... 続きを読む

flairを使って最速でNLPのベースラインモデルを作る - moriyamaのエンジニアリング備忘録

2020/07/10 18 users コーディング タスク 深層学習 moriyama 単語分割

自然言語処理に限らず、機械学習関連のプロジェクトではスタート時は、なるべく複雑なコーディングをせずにシンプルなベースラインモデルを低コストで作成し、そこからデータの傾向やタスクの複雑さを把握することが重要です。 ところが自然言語処理では前処理のコストが高く、最低限でも単語分割、ベクトル化、深層学習... 続きを読む

BigQuery で 1 円も溶かさない人の顔 (ZERO BYTE STRUCT を考案した) - Qiita

2019/12/05 13 users Qiita BigQuery 用途 コスト 機械学習モデル

自分は BigQuery で機械学習モデルの前処理、テラバイト級の特徴量エンジニアリングを含む、ほぼ全ての変換工程を行っています。この記事では、自分の BigQuery の用途とその中で BigQuery のコストを抑えるのに効果的であった汎用的な方法と裏技を紹介します。 ※ パロ元：BigQueryで150万円溶かした人の顔 速くて安い B... 続きを読む

世界初、分析ツールnehanにPythonコード出力機能登場。プログラミング不要でプログラムを作れる！？｜株式会社nehanのプレスリリース

2019/09/30 108 users Pythonコード 常識 プレスリリース プログラミング 機能

株式会社nehanは、プログラミング不要の分析ツールnehan上にて、作成した分析プロセスをPythonコードとして出力できる機能の提供を開始いたしました。 分系ツールnehanは「"データ分析は前処理の時間が8割"の常識を覆す」をテーマに、プログラミング不要で様々な分析業務を可能にするサービスです。 2019年5月の提供開始... 続きを読む

実践データサイエンス─サンプルコードと図表で学ぶ、前処理・モデル評価・パラメータチューニング - エンジニアHub｜若手Webエンジニアのキャリアを考える！

2019/09/10 280 users 訓練 広域 データサイエンティスト ハイパーパラメータ スキル

データサイエンティストとしてのスキルを向上させるには、データの前処理や特徴量の作成、モデルの評価・訓練、ハイパーパラメータの調整など、広域にわたる知識を身に付ける必要があります。 この記事は、そうした知識を「サンプルコードと図表を見ながら、分かりやすく学習できること」を目指して作成されました。記事... 続きを読む

COTOHA音声認識を中の人が仕組みからサンプルまで軽く解説 - Qiita

2019/07/22 25 users API Python NTT COTOHA API 長年

COTOHA APIのラインナップに音声認識をリリースしました!! しかし，いざAPIを動かそうと思っても，音声データは画像・テキストと比べて前処理が面倒．．． そこで本記事では，実際にCOTOHA音声認識の中の人がPythonで音声認識APIを実行する方法を説明していきます!! COTOHA APIとは NTTが長年頑張って得たノウハウを詰め... 続きを読む

PythonでDataFrameを省メモリに縦横変換する - MicroAd Developers Blog

2019/05/10 58 users pandas DataFrame 縦横 Python 関数

マイクロアドの京都研究所で機械学習エンジニアをしている田中です。 機械学習を利用したユーザーの行動予測の研究開発などを担当しています。 今回は、データの前処理に関するお話をしたいと思います。 データの縦横変換 縦横変換するためのpandasの関数 省メモリに縦横変換する サンプルデータの準備 pandas.Categoric... 続きを読む

pandasで1000万件のデータの前処理を高速にするTips集 - Qiita

2018/12/21 372 users Qiita pandas 来春 体系 新卒入社

はじめに 当社にアルバイトに来ていた人（来春に新卒入社の予定）に「pandasを高速化するための情報は無いですか？」と尋ねられました。 このパッケージの使い方は多数の書籍やWebで体系立った記事で書かれています。 しかし、高速化に関しては体系的な情報源が思いつかなかったので、「実際に書いてみて、1つ1つチュー... 続きを読む

自然言語処理の前処理・素性いろいろ - Debug me

2018/05/29 398 users 言語処理 処理 SQL 素性 Python

2018 - 05 - 29 自然言語処理の前処理・素性いろいろ MeCab 機械学習 自然言語処理 ちゃお・・・† 舞い降り・・・† 先日、前処理大全という本を読んで影響を受けたので、今回は 自然言語処理 の前処理とついでに素性の作り方を Python コードとともに列挙したいと思います。必ずしも全部やる必要はないので適宜使ってください。 前処理大全[データ分析のためのSQL/R/Python実... 続きを読む

機械学習の前に重要なデータ抽出・加工に便利なPythonライブラリ「pandas」の基本的な使い方のチュートリアル：Pythonで始める機械学習入門（6） - ＠IT

2018/02/12 79 users pandas チュートリアル Python ライブラリ 流行

Pythonで始める機械学習入門（6）： 機械学習の前に重要なデータ抽出・加工に便利なPythonライブラリ「pandas」の基本的な使い方のチュートリアル (1/4) 最近流行の機械学習／Deep Learningを試してみたいという人のために、Pythonを使った機械学習について主要なライブラリ／ツールの使い方を中心に解説する連載。今回は、データ分析の前処理などで便利に使えるオープンソースソフ... 続きを読む

Java で NEologd の前処理 neologdn-java - Qiita

2017/03/15 8 users Qiita mecab-ipadic-neologd 冗長

ちゃお・・・† @ragion さんの協力もあって、ついにJavaでのNEologdの前処理モジュール neologd-java をリリースしました！ これはなに？ https://github.com/neologd/mecab-ipadic-neologd/wiki/Regexp.ja 辞書データを冗長にして異表記を吸収するのにも限界がある。 辞書データを生成する際には以下で述べる正規化処理を... 続きを読む

Python pandas 欠損値/外れ値/離散化の処理 - StatsFragments

2016/01/31 96 users 欠損 Python StatsFragments 工程 考慮

2016 - 02 - 01 Python pandas 欠損値/外れ値/離散化の処理 Python pandas 前処理 データの前処理にはいくつかの工程がある。書籍「データ分析プロセス」にはそういった前処理のうち、欠損などデータ特性の考慮が必要なものについて その対処方法とあわせて詳しく記載されている。 が、書籍のサンプルは R なので、 Python でどうやればよいかよく分からない。同じこ... 続きを読む

言語処理のための機械学習入門

2014/07/28 32 users 機械学習入門 言語処理 クラスタリング 単語 文書

言語処理のための機械学習入門 2.4 文書に対する前処理とデータスパースネス問題 2.5 単語のベクトル表現 2.6 文書や単語の確率分布による表現 河野和平 ストップワード • 話題の種類と関連性を持たない単語 – the,is,haveなどはどんな文書にでも出現する。 • 文書のクラスタリングなどの場合 – ストップワードに関する情報は重要でない。 – ストップワードを削除してベクトル化を行... 続きを読む

Burrows Wheeler TransformとLF mapping | Preferred Research

2012/11/02 36 users Preferred Research 実装 ライセンス

最近オープンウォーターダイバーのライセンスを取りました。徳永です。 今日はBurrows Wheeler Transform（BW変換もしくはBWT）の逆変換において用いられるLF mappingを説明します。 BWTはデータ圧縮の前処理などに使われるテクニックです。Burrows Wheeler Transformはとても簡単でわかりやすい（高速な実装は複雑ですが……）のですが、逆変換で用いられ... 続きを読む

数独を解く(画像解析) - cuspy diary

2012/06/29 392 users cuspy diary 画像解析 数独 OpenCV ワザ

画像として与えられた数独を解きます。 新聞に掲載されていたこの問題をOpenCVを使って画像解析する。(画像が斜めなのはワザとです) グレースケール変換 画像解析の前処理として、まずグレースケールに変換し、ガウシアンフィルタをかけてぼかします。ガウシアンフィルタをかける事で、安定した二値化が画像が得られます。1 二値化 次に二値化を行います。 二値化には、普通の方法、大津さんの手法、適応的二値化、... 続きを読む