［速報］「Amazon Aurora DSQL」プレビュー公開、事実上無限にスケールする高性能なPostgreSQL互換の大規模分散データベース

2024/12/03 144 users 大規模分散データベース プレビュー公開 速報 事実上 AWS

Amazon Web Services（AWS）は、米ラスベガスで開催中のイベント「AWS re:Invent 2024」で、PostgreSQL互換の分散データベース「Amazon Aurora DSQL」のプレビュー公開を発表しました。 Amazon Aurora DSQLは、地理的に離れた複数のリージョンでデータベースが稼働する大規模分散データベースです。 分散処理による高い... 続きを読む

端末の文字幅問題の傾向と対策 | IIJ Engineers Blog

2022/02/15 249 users 端末 IIJ Engineers Blog 傾向 対策 TUi

電子メール、ネットワーク機器集中管理、異常検知、分散処理、クラウド基盤などのシステム開発に従事。古代Rubyist。 CLI や TUI なアプリケーションを使っていると、端末の画面が崩れてしまうことがよくあります。 たとえば、こんな TUI が、 環境によってはこんな感じで崩れます。 スクロールなどをしながらしばらく使... 続きを読む

JetBrainsが軽量なコードエディタ「Fleet」発表。エディタとバックエンドの分散処理、多言語対応、共同作業対応など

2021/11/29 13 users コードエディタ FLEET Kotlin JetBrains

JetBrainsが軽量なコードエディタ「Fleet」発表。エディタとバックエンドの分散処理、多言語対応、共同作業対応など プログラミング言語のKotlinや、統合開発ツールのIntelliJ IDEAなどの開発元であるJetBrainsは、同社が新規に開発した軽量なコードエディタの「Fleet」を発表しました。 JetBrains の最新プロジェクトで... 続きを読む

1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary

2020/11/04 1179 users 前提 規模 大規模データ処理 弊社 心構え

自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかり... 続きを読む

PySparkはじめました - 分散処理デビューする前にやったこと - JX通信社エンジニアブログ

2019/12/10 13 users PySpark JX通信社エンジニアブログ

「JX通信社Advent Calendar 2019」10日目の記事です. 昨日は, @rychhrさんの「Pure WebSocketsをサポートしたAWS AppSyncでWebとiOS間のリアルタイムチャットを作ってみた(1)」でした. 改めまして, こんにちは. JX通信社でシニア・エンジニア&データ基盤エンジニアをしています, @shinyorke（しんよーく）と申します. JX... 続きを読む

なぜRDBからCSV + COBOLに変更する事でコスト削減と高速化を同時に実現出来たかの考察 - ブログなんだよもん

2019/06/17 311 users COBOL RDB CSV nikkeibp.co.jp 既存

そもそも既存はどんなロジック？ RDBなんだからWhere句使ったら？ なぜファイルにすると速くなるのか？ 並列化と分散処理による高速化の可能性 COBOL使う必要あったの？ Javaとかじゃダメだったの？ まとめ TLを見てると以下の記事が少し話題になってました。 tech.nikkeibp.co.jp tech.nikkeibp.co.jp 対象の記事は有料... 続きを読む

HadoopのSQLクエリーをFPGAで高速処理、日立が2019年に製品化 | 日経 xTECH（クロステック）

2018/09/28 26 users Hadoop xTech FPGA 日立製作所 SQLクエリー

登録会員限定記事　現在はどなたでも閲覧可能です オープンソースソフトウエア（OSS）の分散処理ソフト「Hadoop」でのSQLクエリー処理をFPGAによって高速化する技術を日立製作所が2019年に製品化する。「Amazon Web Services（AWS）」のFPGAを搭載する仮想マシン「F1インスタンス」で利用可能にする。従来に比べて39倍の... 続きを読む

分散処理・コンテナなど、モダンなインフラにおける5つの問題点 - ログミーTech（テック）

2018/06/29 98 users コンテナ テック ログミーTech インフラ 問題点

2018年3月23日から24日にかけて、レバレジーズ株式会社が主催する国内最大級のエンジニア向け技術イベント「MANABIYA -teratail Developer Days-」が開催されました。同社が運営するITエンジニア向けのQ＆Aフォーラム「teratail」の中で解決できない問題を解くため、一流エンジニアたちが一同に会して、プレゼンテーショ... 続きを読む

Go言語でTCPやソケット通信を多重化，高速化するsmux(ソケットマルチプレクサ)をつくった · THINKING MEGANE

2018/05/03 276 users monochromegane github.com TCP

サーバ間で分散処理を行う際の相互通信におけるボトルネックを解消するため，smux(Socket multiplexer)を開発している． <a href="https://github.com/monochromegane/smux">monochromegane/smux</a> サーバ間の相互通信におけるボトルネックとその解決策 一対のサーバ間で多数のリクエストとレスポンスが送受信され，信頼性... 続きを読む

Laravelで作る分析・分散処理アプリケーション その1 - ytake Hatena

2017/10/22 65 users Laravel サンプルアプリケーション ミドルウェア 分析

2017 - 10 - 22 Laravelで作る分析・分散処理アプリケーション その1 先日の PHPカンファレンス や PHPカンファレンス 関西、buildersconでお話しした内容を元にして、 Laravel( PHP )を使って分析処理の簡単な実装や、 ミドルウェア を組み合わせた分散処理の実装を紹介します。 本ブログのサンプルアプリケーションは下記になりますので、 コードや ミドルウ... 続きを読む

シリコンバレーNextレポート - 存在感薄れつつあるビッグデータ処理ソフト「Spark」、深層学習で巻き返し：ITpro

2017/08/09 14 users OSS ITpro Spark 米Verizon傘下 深層学習

ビッグデータ処理のオープンソースソフトウエア（OSS）である「Apache Spark」のディープラーニング（深層学習）対応が進んでいる。Sparkの主要開発企業である米Databricksや米Intel、米Microsoft、米Verizon傘下の米Oath（旧Yahoo!）などが、Sparkの深層学習対応に熱心だ。 分散処理ソフトのSparkは、2014年ごろには機械学習の大規模化に欠かせない... 続きを読む

ニュース - PFNの深層学習フレームワーク「Chainer」が大幅な高速化へ、分散処理に対応：ITpro

2017/01/27 89 users pfn マルチノート Chainer ITpro 深層学習

Preferred Networks（PFN）が開発するディープラーニング（深層学習）フレームワーク「Chainer」が間もなく、分散処理に対応することで大幅に高速化する。PFNの西川徹社長が2017年1月26日（米国時間）に米サンフランシスコで開催された「Deep Learning Summit 2017」で明らかにした（ 写真1 ）。 現在のChainerは、マルチノード（複数サーバー）での学... 続きを読む

業務システムを強化するモダンWeb - ［2］サーバーとブラウザーで分散処理するモダンWeb：ITpro

2016/01/25 20 users 半信半疑 根幹 ITpro 概念 自社

前回は、モダンWebの概要を解説した。モダンWebがもたらす業務システムの本質的な性能向上とコストダウンの可能性を感じていただけただろうか。ただ、概念とメリットの説明が中心だったため、「本当に動作するのか」、「何か制限はないのか」、「自社の環境で使えるか」など、まだ半信半疑の読者もいるだろう。 そこで今回は、モダンWebの根幹である分散処理の仕組みを詳しく解説する。仕組みを知ることで、その稼働環境... 続きを読む

Python Dask で 並列 DataFrame 処理 - StatsFragments

2015/09/24 76 users StatsFragments NumPy pandas 処理

2015-09-24 Python Dask で 並列 DataFrame 処理 Python pandas Dask はじめに 先日のエントリで少し記載した Dask について、その使い方を書く。Dask を使うと、NumPy や pandas の API を利用して並列計算/分散処理を行うことができる。また、Dask は Out-Of-Core (データ量が多くメモリに乗らない場合) の処理も... 続きを読む

生徒が生み出した、ブラウザで動くJavaScript分散コンピューティング « WIRED.jp

2013/06/07 46 users WIRED.jp 生徒 ブラウザ Andr iPhone

2013.6.7 FRI 生徒が生み出した、ブラウザで動くJavaScript分散コンピューティング 「Smidge」は、有志によるコンピューティングプロジェクト「SETI@Home」のために開発された「BOINC」とも似ている。決定的な違いは、BOINCが専用ソフトウェアをインストールする必要があるのに対し、Smidgeはウェブブラウザを利用して分散処理ができるという点だ。iPhone、Andr... 続きを読む

大規模なJavaScript開発の話

2012/07/21 427 users JavaScript開発 silverlight

大規模なJavaScript開発の話 — Presentation Transcript 大規模なJavaScript開発の話terurou/YAGI.Teruo 自己紹介 2 terurouです。• Web・GUI・分散処理を手広くやってます – Windows 8（Metro Style Apps）, Silverlight, JavaScript, Android, … – Cassandr... 続きを読む

業務系処理の分散処理の実行基盤について(Asakusa0.2.6) - 急がば回れ、選ぶなら近道

2012/06/10 31 users 近道 実行基盤

Asakusa supports for the multi-clusterというお話で、多分解説がいるので書いておく。公式に書くものではない、という意見も強いので、ここで書く。先日のSIGMOD日本支部のMtgでも発表した内容ともかぶりますが。 具体的にはここで http://asakusafw.s3.amazonaws.com/documents/0.2/release/ja/html/yae... 続きを読む

Jubatus ソースコードリーディング - src/jubakeeper/main.cpp - flow and stock

2011/11/29 12 users Jubatus src cpp ソースコードリーディング 興味

Jubatus自分の理解のためにメモしながら読んでみる。内容の正しさは保証しません。どこまで続くかも保証しません。読むバージョンは現時点の最新版である 0.1.1。ソースコード総規模は *.cpp と *.hpp を合わせて13690行。自分は機械学習よりも分散処理に興味があるので、スケールアウトの肝っぽい jubakeeper から読んでいこうと思う。src/jubakeeper/main.cp... 続きを読む

AWSと国内DCサービス - 急がば回れ、選ぶなら近道

2011/11/27 67 users AWS 近道 Asakusa ノート エンタープライズ

自分的な話題なので書いておきたい。 まず立場的はっきりさせて置く。AWSを基本的にはエンタープライズ・ユースで考えています。もっと直裁にいえば、Asakusaの実行基盤として、すなわちEnterpise Hadoopの実行基盤として見ています。クラウドの利用は単社ではできないことをできるのが特長であり、それは現時点では分散処理です。多数のノードを利用する分散処理は、単社で持つにはコスト的にペイしま... 続きを読む

Kindle Fire搭載のブラウザ「Amazon Silk」は、クラウドとデバイスで分散処理を行う革新的なブラウザ － Publickey

2011/09/28 355 users 昨晩 あいだ 両者 背後 Webブラウジング

日本時間で昨晩、Amazonが発表したデバイス「Kindle Fire」には、クラウドとデバイスのあいだで分散処理を行う全く新しいWebブラウザ「Amazon Silk」が搭載されています。 Amazon Silkはローカルのデバイス上で動作するWebブラウザの背後に、クラウドであるAmazon EC2で動作するサービスがつねに存在し、両者が連動して高速なWebブラウジングを実現すると説明されてい... 続きを読む

TwitterやFacebookで使われている「Apache Hadoop」のメリットや歴史を作者自らが語る - GIGAZINE

2011/09/02 322 users GIGAZINE Twitter Facebook 作者自ら

大規模データの分散処理を支えるJavaソフトウェアフレームワークであり、フリーソフトウェアとして配布されている「Apache Hadoop」。その作者ダグ・カティング（Doug Cutting）さんが「Cloud Computing World Tokyo 2011」＆「Next Generation Data Center 2011」において「Apache Hadoop: A New Parad... 続きを読む

Hadoop Streaming で Locality-Sensitive Hashing を実装してみる | Atsushi TATSUMA Web Page

2011/03/01 33 users Atsushi TATSUMA アルゴリズム 研究室 対象

はじめに研究室では、大規模データベースを対象とした検索インデックスについて研究しています。 分散処理によるインデックス作成を考えていて、今回 Hadoop Streaming でどこまでできるかを試すべく、 Locality-Sensitive Hashing (LSH) を実装してみました。実装したアルゴリズムについてLSH にはいくつかのアルゴリズムのバリエーションがあります。 LSH の詳細... 続きを読む

Googleの並列ログ解析向け言語「Sawzall」が公開されたので使ってみた | Preferred Research Blog

2010/11/09 249 users Publickey Sawzall 太田 ドキュメント 論文

最近光麺にハマっている太田です。 グーグル、分散処理のためにデザインされた言語「Sawzall」をオープンソースで公開 ? Publickeyで紹介されている、並列ログ解析向け言語「Sawzall」を試してみます。本日社内で使ってみたのですが動かし方のドキュメントが少なかったので、紹介エントリを書いてみます。 プロジェクトページ ドキュメント Sawzallについては、5年前に論文が発表されており... 続きを読む

グーグル、分散処理のためにデザインされた言語「Sawzall」をオープンソースで公開 － Publickey

2010/11/04 261 users Publickey Sawzall DSL Szl グーグル

グーグルは、同社内でパラレルデータ処理に利用している言語「Sawzall」を、「Szl」というプロジェクト名のオープンソースとして公開しました。 書籍「Googleを支える技術」によると、Sawzallは分散処理のためにデザインされたDSL（Domain Specific Language）で、特定の用途に限っては非常に容易に処理を記述できるようになっているインタープリタ型のプログラミング言語。G... 続きを読む

Hadoopで、かんたん分散処理 (Yahoo! JAPAN Tech Blog)

2009/03/03 535 users Hadoop 吉田一星 プログラマ 敷居 プラットフォーム

こんにちは、地域サービス事業部の吉田一星です。 今回は、Hadoopについて、Yahoo!Japanでの実際の使用例を交えながら書きたいと思います。 Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 複数のマシンへの分散処理は、プロセス間通信や、障害時への対応などを考えなければならず、プログラマにとって敷居が高いものですが、 Hadoop... 続きを読む