［速報］「Amazon Aurora DSQL」プレビュー公開、事実上無限にスケールする高性能なPostgreSQL互換の大規模分散データベース

2024/12/03 144 users 大規模分散データベース プレビュー公開 速報 事実上 AWS

Amazon Web Services（AWS）は、米ラスベガスで開催中のイベント「AWS re:Invent 2024」で、PostgreSQL互換の分散データベース「Amazon Aurora DSQL」のプレビュー公開を発表しました。 Amazon Aurora DSQLは、地理的に離れた複数のリージョンでデータベースが稼働する大規模分散データベースです。 分散処理による高い... 続きを読む

端末の文字幅問題の傾向と対策 | IIJ Engineers Blog

2022/02/15 249 users 端末 IIJ Engineers Blog 傾向 対策 TUi

電子メール、ネットワーク機器集中管理、異常検知、分散処理、クラウド基盤などのシステム開発に従事。古代Rubyist。 CLI や TUI なアプリケーションを使っていると、端末の画面が崩れてしまうことがよくあります。 たとえば、こんな TUI が、 環境によってはこんな感じで崩れます。 スクロールなどをしながらしばらく使... 続きを読む

1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary

2020/11/04 1179 users 前提 規模 大規模データ処理 弊社 心構え

自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかり... 続きを読む

なぜRDBからCSV + COBOLに変更する事でコスト削減と高速化を同時に実現出来たかの考察 - ブログなんだよもん

2019/06/17 311 users COBOL RDB CSV nikkeibp.co.jp 既存

そもそも既存はどんなロジック？ RDBなんだからWhere句使ったら？ なぜファイルにすると速くなるのか？ 並列化と分散処理による高速化の可能性 COBOL使う必要あったの？ Javaとかじゃダメだったの？ まとめ TLを見てると以下の記事が少し話題になってました。 tech.nikkeibp.co.jp tech.nikkeibp.co.jp 対象の記事は有料... 続きを読む

分散処理・コンテナなど、モダンなインフラにおける5つの問題点 - ログミーTech（テック）

2018/06/29 98 users コンテナ テック ログミーTech インフラ 問題点

2018年3月23日から24日にかけて、レバレジーズ株式会社が主催する国内最大級のエンジニア向け技術イベント「MANABIYA -teratail Developer Days-」が開催されました。同社が運営するITエンジニア向けのQ＆Aフォーラム「teratail」の中で解決できない問題を解くため、一流エンジニアたちが一同に会して、プレゼンテーショ... 続きを読む

Go言語でTCPやソケット通信を多重化，高速化するsmux(ソケットマルチプレクサ)をつくった · THINKING MEGANE

2018/05/03 276 users monochromegane github.com TCP

サーバ間で分散処理を行う際の相互通信におけるボトルネックを解消するため，smux(Socket multiplexer)を開発している． <a href="https://github.com/monochromegane/smux">monochromegane/smux</a> サーバ間の相互通信におけるボトルネックとその解決策 一対のサーバ間で多数のリクエストとレスポンスが送受信され，信頼性... 続きを読む

Laravelで作る分析・分散処理アプリケーション その1 - ytake Hatena

2017/10/22 65 users Laravel サンプルアプリケーション ミドルウェア 分析

2017 - 10 - 22 Laravelで作る分析・分散処理アプリケーション その1 先日の PHPカンファレンス や PHPカンファレンス 関西、buildersconでお話しした内容を元にして、 Laravel( PHP )を使って分析処理の簡単な実装や、 ミドルウェア を組み合わせた分散処理の実装を紹介します。 本ブログのサンプルアプリケーションは下記になりますので、 コードや ミドルウ... 続きを読む

ニュース - PFNの深層学習フレームワーク「Chainer」が大幅な高速化へ、分散処理に対応：ITpro

2017/01/27 89 users pfn マルチノート Chainer ITpro 深層学習

Preferred Networks（PFN）が開発するディープラーニング（深層学習）フレームワーク「Chainer」が間もなく、分散処理に対応することで大幅に高速化する。PFNの西川徹社長が2017年1月26日（米国時間）に米サンフランシスコで開催された「Deep Learning Summit 2017」で明らかにした（ 写真1 ）。 現在のChainerは、マルチノード（複数サーバー）での学... 続きを読む

Python Dask で 並列 DataFrame 処理 - StatsFragments

2015/09/24 76 users StatsFragments NumPy pandas 処理

2015-09-24 Python Dask で 並列 DataFrame 処理 Python pandas Dask はじめに 先日のエントリで少し記載した Dask について、その使い方を書く。Dask を使うと、NumPy や pandas の API を利用して並列計算/分散処理を行うことができる。また、Dask は Out-Of-Core (データ量が多くメモリに乗らない場合) の処理も... 続きを読む

大規模なJavaScript開発の話

2012/07/21 427 users JavaScript開発 silverlight

大規模なJavaScript開発の話 — Presentation Transcript 大規模なJavaScript開発の話terurou/YAGI.Teruo 自己紹介 2 terurouです。• Web・GUI・分散処理を手広くやってます – Windows 8（Metro Style Apps）, Silverlight, JavaScript, Android, … – Cassandr... 続きを読む

AWSと国内DCサービス - 急がば回れ、選ぶなら近道

2011/11/27 67 users AWS 近道 Asakusa ノート エンタープライズ

自分的な話題なので書いておきたい。 まず立場的はっきりさせて置く。AWSを基本的にはエンタープライズ・ユースで考えています。もっと直裁にいえば、Asakusaの実行基盤として、すなわちEnterpise Hadoopの実行基盤として見ています。クラウドの利用は単社ではできないことをできるのが特長であり、それは現時点では分散処理です。多数のノードを利用する分散処理は、単社で持つにはコスト的にペイしま... 続きを読む

Kindle Fire搭載のブラウザ「Amazon Silk」は、クラウドとデバイスで分散処理を行う革新的なブラウザ － Publickey

2011/09/28 355 users 昨晩 あいだ 両者 背後 Webブラウジング

日本時間で昨晩、Amazonが発表したデバイス「Kindle Fire」には、クラウドとデバイスのあいだで分散処理を行う全く新しいWebブラウザ「Amazon Silk」が搭載されています。 Amazon Silkはローカルのデバイス上で動作するWebブラウザの背後に、クラウドであるAmazon EC2で動作するサービスがつねに存在し、両者が連動して高速なWebブラウジングを実現すると説明されてい... 続きを読む

TwitterやFacebookで使われている「Apache Hadoop」のメリットや歴史を作者自らが語る - GIGAZINE

2011/09/02 322 users GIGAZINE Twitter Facebook 作者自ら

大規模データの分散処理を支えるJavaソフトウェアフレームワークであり、フリーソフトウェアとして配布されている「Apache Hadoop」。その作者ダグ・カティング（Doug Cutting）さんが「Cloud Computing World Tokyo 2011」＆「Next Generation Data Center 2011」において「Apache Hadoop: A New Parad... 続きを読む

Googleの並列ログ解析向け言語「Sawzall」が公開されたので使ってみた | Preferred Research Blog

2010/11/09 249 users Publickey Sawzall 太田 ドキュメント 論文

最近光麺にハマっている太田です。 グーグル、分散処理のためにデザインされた言語「Sawzall」をオープンソースで公開 ? Publickeyで紹介されている、並列ログ解析向け言語「Sawzall」を試してみます。本日社内で使ってみたのですが動かし方のドキュメントが少なかったので、紹介エントリを書いてみます。 プロジェクトページ ドキュメント Sawzallについては、5年前に論文が発表されており... 続きを読む

グーグル、分散処理のためにデザインされた言語「Sawzall」をオープンソースで公開 － Publickey

2010/11/04 261 users Publickey Sawzall DSL Szl グーグル

グーグルは、同社内でパラレルデータ処理に利用している言語「Sawzall」を、「Szl」というプロジェクト名のオープンソースとして公開しました。 書籍「Googleを支える技術」によると、Sawzallは分散処理のためにデザインされたDSL（Domain Specific Language）で、特定の用途に限っては非常に容易に処理を記述できるようになっているインタープリタ型のプログラミング言語。G... 続きを読む

Hadoopで、かんたん分散処理 (Yahoo! JAPAN Tech Blog)

2009/03/03 535 users Hadoop 吉田一星 プログラマ 敷居 プラットフォーム

こんにちは、地域サービス事業部の吉田一星です。 今回は、Hadoopについて、Yahoo!Japanでの実際の使用例を交えながら書きたいと思います。 Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 複数のマシンへの分散処理は、プロセス間通信や、障害時への対応などを考えなければならず、プログラマにとって敷居が高いものですが、 Hadoop... 続きを読む

Webアプリ開発における「内部APIモデル」 - スケールするサイトのアーキテクチャ考 (Lang-8開発日報)

2009/01/20 248 users WebAPI Webアプリ開発 リソース データベース 前回

18:05 | 前回の話は、一回のエントリーでは書ききれない内容でした。。以下補足。Webアプリ開発における「内部APIモデル」とは、ネットワーク越しに外部サイトのWebAPIを呼び出すかのごとく、自サイト内のリソースに対して内部専用のWebAPIでアクセスする仕組みを導入し、分散処理を行うモデルのことです。典型的なWebアプリでは、データベースがここでいうリソースに該当するかと思います。図にする... 続きを読む