C++でジョブシステムを作ってみる（2）

2023/11/10 11 users ジョブシステム 並列 ジョブ 前回 依存関係

はじめに この記事ではC++でジョブを並列に実行するためのジョブシステムを実装していきます。 前回 は下記のステップ1まで実装しました。 ジョブを並列実行する機能 ジョブ間の依存関係を設定する機能 大きなジョブを分割して並列化する機能 前回の記事はこちら ↓ 今回はステップ2とステップ3を実装してみます。前回と... 続きを読む

シングルGPUで動作するTransformer相当のRNNモデル　RWKV-Raven-14Bを試してみた | DevelopersIO

2023/04/10 7 users DevelopersIO LLM シングルGPU RWKV

こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回はシングルGPUで動作するTransformer相当のRNNモデル、という噂のRWKVについて試してみたいと思います。 RWKVとは TransformerベースのLLMと同等の性能を持つ、並列化可能なRNNモデルであり、Attentionフリー(Attention... 続きを読む

UNIXシェルの並列化により最大34倍高速化する「PaSh」、米MITなどが開発　プログラム結果も正確

2022/06/13 186 users ポーランド Pash 米ペンシルベニア大学 精度 速度

米ペンシルベニア大学、米MIT、ポーランドのXIV Staszic High School、米国の研究機関Aarno Labs、米Stevens Institute of Technologyによる研究チームが開発した「Practically Correct, Just-in-Time Shell Script Parallelization」は、UNIXシェルで実行されるプログラムの速度を精度を保証しながら劇的に加速させるシ... 続きを読む

Go言語でのテストの並列化 〜t.Parallel()メソッドを理解する〜 | メルカリエンジニアリング

2020/08/23 70 users testingパッケージ メルカリエンジニアリング 柴田

この記事は、Merpay Tech Openness Month 2020 の6日目の記事です。 メルペイでBackendエンジニアをしている柴田（@yoshiki_shibata）です。この記事では、Go言語のtestingパッケージに用意されている並列化の機能について説明します。 Go言語では、テストコードを作成するためのtestingパッケージが用意されています。... 続きを読む

RailsのCIにかかる時間を少しづつ改善している話 - dely engineering blog

2019/06/30 23 users Rails rspec dely KURASHIRU Push

はじめに こんにちは、delyでサーバサイドエンジニアをやっている山野井といいます。 kurashiruではサーバーサイドにRailsを使用しておりテストはRspecで書かれています。 CIはgithubリポジトリへのpushをフックしてAWS CodeBuild上でテストを走らせています。 またCI上のテストはparallel_tests gemを利用した並列化を... 続きを読む

遺伝的アルゴリズムの並列化とgoroutineによる実装 - Fire Engine

2019/06/24 14 users goroutine gor アルゴリズム 実装 パッケージ

先日、「遺伝的アルゴリズムをGoで実装してみた」という記事を書きました。 この内容で2019年7月13日（土）に開催されるGo Conference'19 in Fukuokaに登壇させていただくことになったので、開発中のeagoというパッケージをもっと作り込んで行きたいと思います。 今回は、遺伝的アルゴリズム（以下、GA）の計算処理をgor... 続きを読む

なぜRDBからCSV + COBOLに変更する事でコスト削減と高速化を同時に実現出来たかの考察 - ブログなんだよもん

2019/06/17 311 users COBOL RDB CSV nikkeibp.co.jp 既存

そもそも既存はどんなロジック？ RDBなんだからWhere句使ったら？ なぜファイルにすると速くなるのか？ 並列化と分散処理による高速化の可能性 COBOL使う必要あったの？ Javaとかじゃダメだったの？ まとめ TLを見てると以下の記事が少し話題になってました。 tech.nikkeibp.co.jp tech.nikkeibp.co.jp 対象の記事は有料... 続きを読む

Docker × Android エミュレータで、自動テスト(Appium)を並列化・爆速にする環境を作ったお話 - Mercari Engineering Blog

2018/12/09 226 users Docker Appium エミュレータ 爆速 Android

これは Mercari Advent Calendar 2018 10日目の記事です。 こんにちは、メルカリの自動化＆品質保証グループ（Automation & QA Group：通称AQA）で、自動化をぶりぶりしている tadashi0713 です。 私は普段、テスト自動化・CI / CD 改善・その他社内の生産性を上げるための自動化を行っています。 今回は、Android・Appi... 続きを読む

Spark 並列化チューニングの一例 | GMOアドパートナーズグループ TECH BLOG byGMO

2018/12/02 17 users byGMO Spark Program チューニング 一例

このエントリーは、GMOアドマーケティング Advent Calendar 2018 の 12/3の記事です。 GMOアドマーケティングとしては初のAdvent Calendar参戦です。 こんにちは、GMOアドマーケティングのS.Rです。 私がSparkのProgramを開発するときに常にあった問題は並列化のチューニングです。 良いチューニングをすればProgramのPe... 続きを読む

タチコマたちが並列化し悪質サイトの攻撃から守ってくれる無償ソフト「WrapDrive」が無償DL開始 | 男子ハック

2018/06/01 11 users タチコマ 無償 男子ハック 攻撃 通称

話題のニュース セキュリティに関するニュース タチコマたちが並列化し悪質サイトの攻撃から守ってくれる無償ソフト「WrapDrive」が無償DL開始 2018年6月1日 アイコン 0 国立研究開発法人情報通信研究機構による委託研究「Web媒介型攻撃対策技術の実用化に向けた研究開発」(通称、WrapDrive)の実証実験が1日より開始されたと発表されました。実験では「攻殻機動隊」に登場する「タチコマ」... 続きを読む

タチコマたちが並列化してサイバー攻撃に対応するソフト無償配布、「WarpDrive」プロジェクトが実証実験 - INTERNET Watch

2018/06/01 270 users WarpDrive 永沢 INTERNET Watch 機関

ニュース タチコマたちが並列化してサイバー攻撃に対応するソフト無償配布、「WarpDrive」プロジェクトが実証実験 永沢 茂 2018年6月1日 13:10 WarpDriveポータルサイト 　株式会社KDDI総合研究所や国立大学法人横浜国立大学など8社・機関が取り組むウェブ媒介型サイバー攻撃対策プロジェクト「WarpDrive（Web-based Attack Response with Pr... 続きを読む

Excelブックの読み取りパスワードを解析できるようになった「正規表現検索」v4.17 - 窓の杜

2017/08/06 26 users Excelブック 正規表現検索 樽井 アドイン 置換

ニュース Excelブックの読み取りパスワードを解析できるようになった「正規表現検索」v4.17 並列化で解析処理を高速化、「Excel」を操作しながらのバックグラウンド処理が行える 樽井 秀人 2017年8月7日 07:49 「正規表現検索」v4.17 　「Microsoft Excel」で正規表現を利用した検索・置換を可能にするアドイン「正規表現検索」の最新版v4.17が、7月30日に公開され... 続きを読む

攻殻機動隊「タチコマ」リアル再現、8分の1サイズで発売　音声認識でおしゃべり、“並列化”も (1/2) - ITmedia NEWS

2017/03/23 29 users タチコマ Cerevo 車輪 遠隔 攻殻機動隊

家電ベンチャーのCerevoは3月23日、アニメ「攻殻機動隊 S.A.C.」シリーズに登場する小型多脚戦車「タチコマ」を約8分の1のサイズで再現した「うごく、しゃべる、並列化する。1／8 タチコマ」の予約販売を始めた。スマートフォンアプリで脚や車輪を遠隔操作できるほか、音声認識機能を備え、ユーザーと自然な会話が楽しめるという。価格は15万7400円（税別）。発送は6月の予定。 タチコマは、人工知能... 続きを読む

Cerevo、愛らしく動いて喋る「タチコマ」発表--“並列化”も再現 - CNET Japan

2017/03/23 23 users タチコマ Cerevo キャラクタ スリープ 同日

「うごく、しゃべる、並列化する。 1/8タチコマ」の本体。「タチコマ」と声をかけるとスリープから復帰する。 Cerevoは3月23日、アニメ作品「攻殻機動隊 STAND ALONE COMPLEX」内に登場するキャラクタ「タチコマ」を再現した電動フィギュア「うごく、しゃべる、並列化する。 1/8タチコマ」を発表した。同日よりCerevoのオンラインストアで予約を開始し、6月の販売を予定している。 ... 続きを読む

Cerevo、攻殻機動隊に登場する「1/8 タチコマ」を6月に発売 ～情報をクラウドで“並列化”。税別予価157,400円 - PC Watch

2017/03/23 9 users タチコマ Cerevo DMM.make AKIBA 会見

株式会社Cerevoは、2017年3月22日、アニメ「攻殻機動隊 S.A.C.」に登場する多脚戦車「タチコマ」を8分の1サイズで再現したスマート・トイ「うごく、しゃべる、並列化する。1/8タチコマ」を6月に発売すると発表し、DMM.make AKIBAにて会見を開いた。税別価格は2年分の利用料込みで157,400円。22日から同社ストア上で予約受付開始している。 　また、主砲カバーや脚部先端など一... 続きを読む

「攻殻機動隊 S.A.C.」のキャラクターを再現した「うごく、しゃべる、並列化する。 1/8タチコマ」発売 | Cerevoからのお知らせ

2017/03/23 66 users Special Edition 株式会社Cerevo 企画

「攻殻機動隊 S.A.C.」のキャラクターを再現した「うごく、しゃべる、並列化する。 1/8タチコマ」発売 2017年3月23日 「攻殻機動隊 S.A.C.」のキャラクターを再現した 「うごく、しゃべる、並列化する。 1/8タチコマ」発売 アルミ削り出し部品を採用したSPECIAL EDITIONを数量限定で同時発売 コネクテッド・ハードウェアの企画・開発を手掛ける株式会社Cerevoは、アニメ「... 続きを読む

会話や“並列化”も実現、動いて走る「1/8 タチコマ」Cerevoが6月に発売 - ケータイ Watch

2017/03/23 17 users タチコマ Cerevo 太田 攻殻機動隊 S.A.C 多脚戦車

ニュース 会話や“並列化”も実現、動いて走る「1/8 タチコマ」Cerevoが6月に発売 太田 亮三 2017年3月23日 12:32 　Cerevoは、アニメ「攻殻機動隊 S.A.C.」に登場する多脚戦車「1/8 タチコマ」のスマート・トイを6月に発売する。予約は3月23日から。価格は15万7400円（税抜）。一部にアルミ削り出しパーツを使用した特別バージョンは台数限定で17万7400円。 「う... 続きを読む

速報：セレボの1/8サイズタチコマが正式発表。音声や画像認識で会話可能、6月発売で15万7400円（更新中） - Engadget 日本版

2017/03/23 41 users セレボ 音声 会話 正式発表 タチコマ

各種ネットワーク家電を手がけるセレボが、アニメ「攻殻機動隊 S.A.C.」に登場する多脚戦車「タチコマ」のコミュニケーションロボット『うごく、しゃべる、並列化する。1/8タチコマ』を発表しました（これが製品名です）。 発売は6月、予約受付は3月23日、つまり本日から。直販ストアでの価格は15万7400円（税別）です。また、本体のバンパー部や砲身カバーなど、一部パーツにアルミ削り出し部品を採用した限... 続きを読む

自然言語処理における畳み込みニューラルネットワークを用いたモデルのまとめ - Qiita

2017/02/03 96 users ニューラルネットワーク RNN CNN GPU 言語処理

はじめに 最近、畳み込みニューラルネットワーク(CNN)を用いた自然言語処理が注目を集めています。CNNはRNNと比べて並列化しやすく、またGPUを使うことで畳み込み演算を高速に行えるので、処理速度が圧倒的に速いという利点があります。 この記事は、自然言語処理における畳み込みニューラルネットワークを用いたモデルをまとめたものです。CNNを用いた自然言語処理の研究の進歩を俯瞰するのに役立てば幸いです... 続きを読む

RubyでHTTPリクエストを並列化する - 人間はコンピュータの仕事を奪ってはいけない

2016/12/13 22 users Ruby HTTPリクエスト コンピュータ HAProxy

この記事は、「 Speee Advent Calendar 2016 」の13日目です。 12日目は、 _miyachik より、「 HAProxyを使用した汎用的ABテスト基盤への挑戦 」です。 Ruby でHTTPリクエストを並列化したくないですか？ 例えば、リクエストしてからレスポンスが返るまで、1リクエストにつき100msかかるとします。 それを順次実行で10回行うと1000msかかってし... 続きを読む

ASCII.jp：電王・Ponanza開発者が語る、理由がわからないけどスゴイ“怠惰な並列化”

2016/10/26 540 users スゴイ ASCII.jp 理由

皆さんこんにちは。 私は将棋プログラム「Ponanza」の作者、山本一成と申します。Ponanzaは初めてプロ棋士を破った将棋プログラムで、近年最も強い将棋プログラムと言えると思われます。また、2017年もトッププロ棋士の方と対局することが予定されています。Ponazaの改良のための機械学習に現在 ジサトライッペイさんのPC「大紅蓮丸」の計算リソースを借りている のですが、その関係で原稿を書いてと... 続きを読む

スレッド処理は慎重に – PHPでのスレッド処理 : 前編 | 未分類 | POSTD

2015/12/22 60 users タスク POSTD タスク処理 非同期 PHP

私が覚えている限り、非常に重い（または非同期の）タスク処理に関して、PHPは常に厳しい評価をされていました。これまではずっと、長いタスクを並列化したければ```pcntl_fork```を通してフォークするという方法を取らなければいけなかったので、タスクの結果を適切に処理することができませんでした。 そこで私たち私が覚えている限り、非常に重い（または非同期の）タスク処理に関して、PHPは常に厳しい... 続きを読む

「フォロワーから友利奈緒を探す」を Web サービス化した | プログラミング生放送

2015/09/03 18 users フォロワー 友利奈緒 web プログラミング生放送 サービス化

先日の「フォロワーから友利奈緒を探す」を、Web サービス化しました。 コードは、基本同じですが、5000人以上対応と、並列化して API アクセス、例外処理を入れてあります。 デザインは、Bootstrap ではなく、公開されたばかりの Office UI Fabric を使っています。 将来的には、フレンドとフォロワー情報をキーワードで検索してデータ化するサービスの元になればいいかなと。 友利... 続きを読む

第5回　データ処理の並列化：Hadoopはどのように動くのか ─並列・分散システム技術から読み解くHadoop処理系の設計と実装｜gihyo.jp … 技術評論社

2015/05/27 22 users インターフェース Hadoop 並列性 並列 前回

はじめに 前回は，データ処理の方法を整理し，また，宣言型言語をインターフェースとして用いる並列データベースなどのデータ処理系を詳細に見ていく準備として，当該データ処理系における実行プランの作成の流れをかんたんに説明しました。今回は，当該データ処理系において，どのように実行プランを並列化するかについて，その概要を説明します。 データ処理における並列性について 並列データベースをはじめとするデータ処理... 続きを読む

通常版grepより100%高速なgrep実装「grab」

2014/12/22 48 users grab grep ユーティリティ コンピューター 過言

ファイルの中身を文字列で検索することができるユーティリティ「grep」は、コンピューターを扱う上で、なくてはならないツールといっても過言ではないかもしれません。grepは長い歴史を持つツールで、それ自体少しづつ改良さてきていますが、最近はもっと積極的に高速性を追求したgrep的なツールも開発されてきています。 今回紹介する「grab」もその中の一つ。複数コアを使った検索の並列化や(ただしほとんどの... 続きを読む