ZOZO研究所、 ZOZOTOWNのファッション推薦データとアルゴリズム研究開発基盤をオープンソースとして公開 - ニュース - 株式会社ZOZOテクノロジーズ

2020/08/18 6 users ZOZOTOWN 株式会社ZOZOテクノロジーズ 土俵 占有

ZOZOグループの研究開発組織「ZOZO研究所」は、大規模ファッション推薦データと研究基盤となる「Open Bandit(※1) Data & Pipeline」をオープンソースとして公開しました。 現在、米中の少数の大企業によるデータと技術の占有により、外部の企業や技術者が同じ土俵で技術進歩に貢献することが難しいという懸念が強まって... 続きを読む

PythonのPipelineパッケージ比較：Airflow, Luigi, Gokart, Metaflow, Kedro, PipelineX - Qiita

2020/02/03 9 users Qiita Luigi Airflow gokart DAG

この記事では、Open-sourceのPipeline/Workflow開発用PythonパッケージのAirflow, Luigi, Gokart, Metaflow, Kedro, PipelineXを比較します。 この記事では、"Pipeline"、"Workflow"、"DAG"の単語はほぼ同じ意味で使用しています。 要約 : 良い : より良い https://github.com/apache/airflow 2015年にAirbnb社からリリ... 続きを読む

Jenkins 2を使った究極のpipeline

2016/08/10 182 users util load Jenkins stage node

Jenkins 2を使った究極のpipeline 1. catchError { def stage def util // node { checkout scm stage = load 'jenkins/stage.groovy' util = load 'jenkins/util.groovy' } // stage.compile(util) if (!stage.test(util))... 続きを読む

PythonでJavaScriptを使ったWebサイトをスクレイピングする - Qiita

2015/10/29 200 users Qiita Python スク Selenium Scrapy

概要 JavaScriptでDOMを作ってるサイトをPythonを使ってスクレイピングしたので、手順をメモ。 大雑把には、ScrapyとSeleniumを組み合わせてやった。 Scrapy Scrapyは、クローラーを実装するためのフレームワーク。 クローラーをSpiderのサブクラス、スクレイピングした情報をItemのサブクラス、スクレイピングした情報に対する処理をPipelineのサブクラス、... 続きを読む

Markdownを拡張して独自記法をつくる - Qiita

2014/10/15 229 users Markdown Qiita 描画 方言 HTML

Qiita::Markdownの解説記事です。Markdown拡張ならHTML::Pipelineという旨の投稿です。 いま読んでいるこの投稿の描画にもQiita::Markdownが利用されています。 方言とライブラリ Markdownには様々な種類・方言があり、最近ではStandard Markdown is now Common Markdownが一部で話題になったりしました。かいつまんで言... 続きを読む

Amazon Elastic Transcoderを使ってみた - まめ畑

2013/01/29 139 users まめ畑 job エンコード AWS 課金

2013-01-30 Amazon Elastic Transcoderを使ってみた AWS 今日、AWSからAmazon Elastic Transcoderが発表されました。 簡単に言うと、AWS上で動画のエンコードを行えるソリューションです。動画エンコードもクラウドで行える時代ですね。 しかも、エンコードの時間ではなく、元動画の時間で課金がされます。また、Pipelineの中のJobという形... 続きを読む