Colabでpysparkを利用する方法 | GMOアドパートナーズグループ TECH BLOG byGMO

2021/06/07 5 users Colab byGMO GMOアドマーケティング 機械学習

こんにちは、GMOアドマーケティングのS.Rです。 ColabはGoogleより提供されている人気の無料データ分析クラウドサービスです。Colabを使ってtensorflow,Kerasなどよく使われている機械学習のツールを利用できます。機械学習エンジニアにとってとても便利なツールです。 今回は、Colabで大規模データを処理する事ができる... 続きを読む

PySparkはじめました - 分散処理デビューする前にやったこと - JX通信社エンジニアブログ

2019/12/10 13 users 分散処理 JX通信社エンジニアブログ

「JX通信社Advent Calendar 2019」10日目の記事です. 昨日は, @rychhrさんの「Pure WebSocketsをサポートしたAWS AppSyncでWebとiOS間のリアルタイムチャットを作ってみた(1)」でした. 改めまして, こんにちは. JX通信社でシニア・エンジニア&データ基盤エンジニアをしています, @shinyorke（しんよーく）と申します. JX... 続きを読む

Pythonで大量データ処理！ PySparkを用いたデータ処理と分析のきほん // Speaker Deck

2017/09/08 367 users キホン Speaker Deck Python 分析

All slide content and descriptions are owned by their creators. 続きを読む

簡単なデータ操作を PySpark & pandas の DataFrame で行う - StatsFragments

2015/04/26 37 users DataFrame pandas 2015-04-26 比較

2015-04-26 簡単なデータ操作を PySpark & pandas の DataFrame で行う pandas 前処理 Python Spark v1.3.0 で追加された DataFrame 、結構いいらしいという話は聞いていたのだが 自分で試すことなく時間が過ぎてしまっていた。ようやく PySpark を少し触れたので pandas との比較をまとめておきたい。内容に誤りや よりよい... 続きを読む