［速報］「Amazon Aurora DSQL」プレビュー公開、事実上無限にスケールする高性能なPostgreSQL互換の大規模分散データベース

2024/12/03 144 users 大規模分散データベース プレビュー公開 速報 事実上 AWS

Amazon Web Services（AWS）は、米ラスベガスで開催中のイベント「AWS re:Invent 2024」で、PostgreSQL互換の分散データベース「Amazon Aurora DSQL」のプレビュー公開を発表しました。 Amazon Aurora DSQLは、地理的に離れた複数のリージョンでデータベースが稼働する大規模分散データベースです。 分散処理による高い... 続きを読む

端末の文字幅問題の傾向と対策 | IIJ Engineers Blog

2022/02/15 249 users 端末 IIJ Engineers Blog 傾向 対策 TUi

電子メール、ネットワーク機器集中管理、異常検知、分散処理、クラウド基盤などのシステム開発に従事。古代Rubyist。 CLI や TUI なアプリケーションを使っていると、端末の画面が崩れてしまうことがよくあります。 たとえば、こんな TUI が、 環境によってはこんな感じで崩れます。 スクロールなどをしながらしばらく使... 続きを読む

1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary

2020/11/04 1179 users 前提 規模 大規模データ処理 弊社 心構え

自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかり... 続きを読む

なぜRDBからCSV + COBOLに変更する事でコスト削減と高速化を同時に実現出来たかの考察 - ブログなんだよもん

2019/06/17 311 users COBOL RDB CSV nikkeibp.co.jp 既存

そもそも既存はどんなロジック？ RDBなんだからWhere句使ったら？ なぜファイルにすると速くなるのか？ 並列化と分散処理による高速化の可能性 COBOL使う必要あったの？ Javaとかじゃダメだったの？ まとめ TLを見てると以下の記事が少し話題になってました。 tech.nikkeibp.co.jp tech.nikkeibp.co.jp 対象の記事は有料... 続きを読む

Go言語でTCPやソケット通信を多重化，高速化するsmux(ソケットマルチプレクサ)をつくった · THINKING MEGANE

2018/05/03 276 users monochromegane github.com TCP

サーバ間で分散処理を行う際の相互通信におけるボトルネックを解消するため，smux(Socket multiplexer)を開発している． <a href="https://github.com/monochromegane/smux">monochromegane/smux</a> サーバ間の相互通信におけるボトルネックとその解決策 一対のサーバ間で多数のリクエストとレスポンスが送受信され，信頼性... 続きを読む

大規模なJavaScript開発の話

2012/07/21 427 users JavaScript開発 silverlight

大規模なJavaScript開発の話 — Presentation Transcript 大規模なJavaScript開発の話terurou/YAGI.Teruo 自己紹介 2 terurouです。• Web・GUI・分散処理を手広くやってます – Windows 8（Metro Style Apps）, Silverlight, JavaScript, Android, … – Cassandr... 続きを読む

Kindle Fire搭載のブラウザ「Amazon Silk」は、クラウドとデバイスで分散処理を行う革新的なブラウザ － Publickey

2011/09/28 355 users 昨晩 あいだ 両者 背後 Webブラウジング

日本時間で昨晩、Amazonが発表したデバイス「Kindle Fire」には、クラウドとデバイスのあいだで分散処理を行う全く新しいWebブラウザ「Amazon Silk」が搭載されています。 Amazon Silkはローカルのデバイス上で動作するWebブラウザの背後に、クラウドであるAmazon EC2で動作するサービスがつねに存在し、両者が連動して高速なWebブラウジングを実現すると説明されてい... 続きを読む

TwitterやFacebookで使われている「Apache Hadoop」のメリットや歴史を作者自らが語る - GIGAZINE

2011/09/02 322 users GIGAZINE Twitter Facebook 作者自ら

大規模データの分散処理を支えるJavaソフトウェアフレームワークであり、フリーソフトウェアとして配布されている「Apache Hadoop」。その作者ダグ・カティング（Doug Cutting）さんが「Cloud Computing World Tokyo 2011」＆「Next Generation Data Center 2011」において「Apache Hadoop: A New Parad... 続きを読む

Googleの並列ログ解析向け言語「Sawzall」が公開されたので使ってみた | Preferred Research Blog

2010/11/09 249 users Publickey Sawzall 太田 ドキュメント 論文

最近光麺にハマっている太田です。 グーグル、分散処理のためにデザインされた言語「Sawzall」をオープンソースで公開 ? Publickeyで紹介されている、並列ログ解析向け言語「Sawzall」を試してみます。本日社内で使ってみたのですが動かし方のドキュメントが少なかったので、紹介エントリを書いてみます。 プロジェクトページ ドキュメント Sawzallについては、5年前に論文が発表されており... 続きを読む

グーグル、分散処理のためにデザインされた言語「Sawzall」をオープンソースで公開 － Publickey

2010/11/04 261 users Publickey Sawzall DSL Szl グーグル

グーグルは、同社内でパラレルデータ処理に利用している言語「Sawzall」を、「Szl」というプロジェクト名のオープンソースとして公開しました。 書籍「Googleを支える技術」によると、Sawzallは分散処理のためにデザインされたDSL（Domain Specific Language）で、特定の用途に限っては非常に容易に処理を記述できるようになっているインタープリタ型のプログラミング言語。G... 続きを読む

Hadoopで、かんたん分散処理 (Yahoo! JAPAN Tech Blog)

2009/03/03 535 users Hadoop 吉田一星 プログラマ 敷居 プラットフォーム

こんにちは、地域サービス事業部の吉田一星です。 今回は、Hadoopについて、Yahoo!Japanでの実際の使用例を交えながら書きたいと思います。 Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 複数のマシンへの分散処理は、プロセス間通信や、障害時への対応などを考えなければならず、プログラマにとって敷居が高いものですが、 Hadoop... 続きを読む

Webアプリ開発における「内部APIモデル」 - スケールするサイトのアーキテクチャ考 (Lang-8開発日報)

2009/01/20 248 users WebAPI Webアプリ開発 リソース データベース 前回

18:05 | 前回の話は、一回のエントリーでは書ききれない内容でした。。以下補足。Webアプリ開発における「内部APIモデル」とは、ネットワーク越しに外部サイトのWebAPIを呼び出すかのごとく、自サイト内のリソースに対して内部専用のWebAPIでアクセスする仕組みを導入し、分散処理を行うモデルのことです。典型的なWebアプリでは、データベースがここでいうリソースに該当するかと思います。図にする... 続きを読む