CDH (Hadoop) 入門 - MicroAd Developers Blog

2021/09/21 5 users Hadoop CDH インプット アウトプット 入門

はじめに 初めまして。マイクロアド21年新卒インフラ担当の森( id:bosq )と申します。 7月に新卒研修を終えてからは、基盤開発グループにて日々勉強しています。 配属後は新しいことのインプットが多いため、今回は学んだことの整理とアウトプットを兼ねて、マイクロアドのデータ基盤で利用しているHadoopについて紹介し... 続きを読む

CTR予測における確率補正について - MicroAd Developers Blog

2021/01/24 9 users CTR予測 CTR RTB 福島 予測

はじめに こんにちは. マイクロアドで機械学習エンジニアをしている福島です. 主に広告のClick Through Rate (CTR)予測やReal-Time-Bidding (RTB)の入札最適化を担当しています. 今回はマイクロアドでのCTR予測における確率補正について紹介したいと思います. はじめに CTR予測とは 問題1　学習データが不均衡 問題2　機... 続きを読む

新卒2年目のエンジニアがモノイドの数学的な定義について調べてScalaで実装してみた - MicroAd Developers Blog

2020/05/19 14 users Scala 整数 飛田 おわり 実装

はじめに モノイド 代数学 圏論 Scalaでモノイドを実装する 代数学的な定義に従った整数を加算するモノイドの実装 圏論的な定義に従った整数を加算するモノイドの実装 モノイドの合成 Catsによるモノイドの利用例 おわりに はじめに こんにちは。マイクロアドでソフトウェアエンジニアをしている飛田と申します。私は主... 続きを読む

新卒がMLOpsに挑戦していく話 - MicroAd Developers Blog

2020/03/23 6 users MLOps 豊原 新卒 組織 機械学習システム

システム開発本部のデータサイエンスユニットに所属している19新卒の豊原です。 巷で結構耳にするMLOpsですが、結構苦労していらっしゃる組織も多いと考えます。 今回の記事では、マイクロアドで挑戦するMLOpsについての概要と、その挑戦について解説します。 機械学習システムが抱える根本的な問題 私たちの思うMLOpsと... 続きを読む

Digdagバッチの基本設計とビルドの実例紹介 - MicroAd Developers Blog

2020/01/14 5 users Digdag ビルド ワークフロー サーバサイドエンジニア

サーバサイドエンジニアの大澤です。主にETL処理のバッチ開発を行っています。 以前の記事で紹介していますが、マイクロアドではバッチ処理のワークフローを主にDigdagを使用して管理しています。 今回は、Digdagを1年以上使ってきてたどり着いた構成について紹介したいと思います。 Digdagバッチ CI/CDの構成 GitHub En... 続きを読む

京都のIT系学生コミュニティ CAMPHOR- さんとイベントを共催しました - MicroAd Developers Blog

2019/11/05 10 users MicroAd Developers Blog 京都 様子

こんにちは、まっつーです。10/5(土)に京都のIT系学生コミュニティ CAMPHOR-さんと「ネット広告を支える技術を知る」のテーマでイベントを共催させて頂きました。 マイクロアドのエンジニア3人で登壇して参りましたので、その時の様子や発表内容をご紹介したいと思います。 はじめに 今年の2月頃にCAMPHOR-さんにお声掛... 続きを読む

19年度新卒チームが研修でMVP投票システムを作った話 - MicroAd Developers Blog

2019/10/21 9 users MicroAd Developers Blog 研修 概要

ぼーちゃんトップページ マイクロアドの19新卒グループです。 全体研修が終わり、システム開発部の研修として「ぼーちゃん」という月間インセンティブ獲得者を決める、MVP投票システムの開発を行いました。 今回は、その概要と開発時に工夫した点をまとめて記事にします。 昨年度：マイクロアドの新卒4人が研修で社内シ... 続きを読む

Google Compute Engine を用いた機械学習モデル学習バッチのスケジュール実行 - MicroAd Developers Blog

2019/10/07 54 users Google Compute Engine GCE GCP

こんにちは、機械学習エンジニアの河本 (@nnkkmto) です。マイクロアドのシステムにおいて、機械学習が必要な部分の研究開発及び実装を担当しています。 この記事では GCP (Google Cloud Platform)、特に GCE (Google Compute Engine) を用いた機械学習モデル学習バッチのスケジュール実行について紹介できればと思いま... 続きを読む

Builderscon2019の参加レポート - MicroAd Developers Blog

2019/09/25 18 users MicroAd Developers Blog 目次 裏側

こんにちは、まっつーです。 Builderscon2019が終わって早1ヶ月が経とうとしていますが、builderscon2019の2日目に参加してきたのでそのレポートを書きたいと思います! ↓ マイクロアドのエンジニア達です。スポンサー特典で招待枠をもらったので参加させてもらいました! 目次 Open SKT: メルペイ開発の裏側 CN Buildpack... 続きを読む

「関数型言語をもっと使いこなしたい！」マイクロアドの新卒エンジニアがデータサイエンティストの先輩に圏論の初歩を指導してもらった話 - MicroAd Developers Blog

2019/09/06 84 users 初歩 データサイエンティスト 新卒エンジニア モナド 圏論

はじめに こんにちは、19新卒バックエンドエンジニアの飛田です。 弊社では、プロダクトの一部にCatsという関数型プログラミングを行うためのライブラリを導入しており、今後、Catsをより多くのプロダクトに使用していく予定です。 Catsにはモナドやファンクタという概念が登場しますが、これらの概念は圏論に由来してい... 続きを読む

Vue.jsを使ってメンテナンスツールを作ってみた - MicroAd Developers Blog

2019/08/23 53 users Vue.js アプリケーションエンジニア 反応 タイトル 社員

ご無沙汰しております。 マイクロアドでアプリケーションエンジニアをしているNです。 約1年前「JavaScriptフレームワーク（Vue.js）を導入して」というタイトルでブログを執筆させていただきました。 その時、 興味を示して頂き何らかの反応をいただければ、きっと別の社員がもう一歩踏み込んだVue.jsのお話を書いてく... 続きを読む

RIDITスコアによる不正検知 - MicroAd Developers Blog

2019/06/21 32 users 不正検知 異常検知 大学院 高橋 入札額

マイクロアドでデータを分析している高橋と申します。 大学院までは物理学を専攻していましたが、縁あってデータ分析の分野に飛び込むこととなりました。 入札額の最適化アルゴリズムに取り組んでいた時期もありましたが、現在は広告表示の異常検知・不正検知周りが主テーマです。 今回は、不正検知等で役に立ちそうなRI... 続きを読む

Ansible AWXでMySQLの構成管理を行う - MicroAd Developers Blog

2019/06/07 38 users Ansible AWX MySQL Ansible 長田 構成

マイクロアドでインフラエンジニアをやっている長田です。おもにMySQLなどのDBA業務に携わっていますが、今回はAnsible AWXを用いてMySQLのユーザやパラメータといった構成の管理を導入したことについてお話したいと思います。 Ansible / Ansible AWXとは ご存知の方も多くおられると思いますが、AnsibleとはRed Hat社が... 続きを読む

「メソッドの引数名 -> メソッド引数」のMapを生成しようとした話 - MicroAd Developers Blog

2019/05/23 19 users map メソッド引数 メソッド 引数名 SpringBoot

去年の10月1日から新卒エンジニアとしてマイクロアドで働いている宮田です。 今回は、現在開発中のプロダクトのサーバーサイドで、イケてない部分を改善しようとして失敗した話を書きます。 困っていたこと 開発中のプロダクトのDAOでは、SpringBootのNamedParameterJdbcTemplateを用いてデータベースを操作します。 こ... 続きを読む

PythonでDataFrameを省メモリに縦横変換する - MicroAd Developers Blog

2019/05/10 58 users pandas DataFrame 縦横 Python 関数

マイクロアドの京都研究所で機械学習エンジニアをしている田中です。 機械学習を利用したユーザーの行動予測の研究開発などを担当しています。 今回は、データの前処理に関するお話をしたいと思います。 データの縦横変換 縦横変換するためのpandasの関数 省メモリに縦横変換する サンプルデータの準備 pandas.Categoric... 続きを読む

dead code following this construct ...という警告 - MicroAd Developers Blog

2019/04/19 8 users Hoge Construct mock aNy 松宮

マイクロアドのサーバサイドエンジニアの松宮です。本日はある日の社内日報を焼き直して、外部公開することにしました。 ・・・ ある晴れた日のこと。Specs2でテストを書いていて、下記のようなコードをコンパイルをすると警告が出ることに気が付いた。 ... val hoge = mock[Hoge] hoge.apply(any()) returns fuga ... ... 続きを読む

Cloud Native Kansai #02 にて発表しました - MicroAd Developers Blog

2019/04/05 23 users MicroAd Developers Blog リモート

マイクロアドの京都研究所からリモートでインフラチームで働いている永富です。 今回は、3/15に開催された Cloud Native Kansai #02 で、Webアプリ開発者向けに Cloud Native 開発に必要なとっかかりについて話してきました。 Cloud Native Kansai について Cloud Native Kansai は、 個人的にオーガナイザーとして参加... 続きを読む

Akka Streamsで例外を扱う時の注意 - MicroAd Developers Blog

2019/02/22 28 users Akka Streams 松宮 サーバサイドエンジニア 例外

マイクロアドのサーバサイドエンジニアの松宮です。本日は技術Tips記事ということで、Akka Streamsで例外を扱う時の注意点についてのお話です。 Akka Streamsはフローを分岐した複雑なグラフを作る事が簡単に出来ます。また、例外についても捕捉する手段はいくつか用意されており、エラーにも柔軟な対応が出来ます。しか... 続きを読む

Spark Streaming と Kryo シリアライザーの話 - MicroAd Developers Blog

2019/02/08 25 users MicroAd Developers Blog バッチ

マイクロアドでアプリケーションエンジニアをしている「G」です。日々、バッチを作ったり WEB アプリケーションを作ったりしています。 今回はライトに Spark Streaming でカスタム Kryo （クライオ）シリアライザーが必要になってしまったお話を書いていきたいと思います。 Spark Streaming とは Spark Streaming とは ... 続きを読む

Scala関西Summit 2018に参加したので感想を書きます - MicroAd Developers Blog

2018/11/20 26 users Scala関西Summit 松宮 Scala 感想 少し時間

マイクロアドのサーバサイドエンジニアの松宮です。少し時間が経ってしまったんですが、今年もScala関西Summitに参加してきましたのでマイクロアドと絡めながらつらつらと感想を書きたいと思います。 ちなみに今年はマイクロアドからも初めてスポンサードさせて頂きました！ 今までもマイクロアドではScalaを採用したプ... 続きを読む

ホワイトボックススイッチとCumulus Linuxを使った話 - MicroAd Developers Blog

2018/11/01 50 users ホワイトボックススイッチ パタ インフラエンジニア 背景 検証

はじめまして。マイクロアドでインフラエンジニアをしているハダです。 今回の記事では、マイクロアドで採用しているホワイトボックススイッチと、 その上で動かしているCumulus Linuxについて導入から使用している感想までを書いていきたいと思います。 背景 マイクロアドでホワイトボックススイッチの検証を始めたのは... 続きを読む

Digdagを使ったジョブ管理 - MicroAd Developers Blog

2018/10/03 90 users Digdag アプリケーションエンジニア MicroAd

はじめまして。アプリケーションエンジニアの中野です。 以前、MicroAdのデータ基盤の記事で紹介されていましたが、マイクロアドではデータ基盤刷新のタイミングでワークフロー管理ツールのDigdagを採用しました。 今回の記事では、Digdag採用の経緯やワークフローを作成する際に注意した点を紹介します。 Digdag採用の... 続きを読む

大規模広告配信システムからデータプラットフォームまで　マイクロアドのインフラの舞台裏 - ログミーTech（テック）

2018/09/04 20 users テック ログミーTech インフラ データプラットフォーム

2018年7月20日、エンジニア向け情報共有サービスQiitaが主催するイベント「Qiita Career Meetup for Server Side Engineers」が開催されました。Qiita初の採用イベントで、今回のテーマは「サーバーサイド」。インターネットを飛び出して、6社のIT系起業が、自社のサーバーサイドにおける事例や開発環境について紹介しま... 続きを読む

JavaScriptフレームワーク（Vue.js）を導入して - MicroAd Developers Blog

2018/07/19 86 users Vue.js JavaScriptフレームワーク バッチ

マイクロアドでアプリケーションエンジニアをしているNです。 日々、バッチを作ったりWEBアプリケーションを作ったりしています。 今回はライトにJavaScriptフレームワークを導入したお話を書いていきたいと思います。 導入のきっかけ その１~きっかけのきっかけ~ マイクロアドではいろいろな用途でWEBアプリケーション... 続きを読む

日本人起業家がアジアで挑む広告プラットフォーム「AdAsia」が約13.6億円を調達 | TechCrunch Japan

2017/04/05 10 users JAFCO マネージングディレクター 調達 Apac COO

AdAsia はシンガポールに拠点を置く、創業1年のスタートアップだ。AdAsiaはシリーズAラウンドで JAFCO から総額1200万ドル（約13.6億円）を調達した。 AdAsiaは2016年4月にCEOの十河宏輔氏が創業した会社だ。十河氏は、アドプラットフォーム事業などを展開する マイクロアド でAPACのマネージングディレクターを務めた経験がある。また、COOの小堤音彦氏もマイクロアドのベ... 続きを読む