コンピュートとストレージの分離から紐解くBigQueryの権限モデル - ZOZO Technologies TECH BLOG

2021/09/02 9 users BigQuery コンピュート DWH 塩崎 ストレージ

こんにちは。SRE部DATA-SREチームの塩崎です。Software Design誌の2021年9月号に弊社でのBigQuery活用事例を寄稿しましたので、書店などで見かけた際は購入していただけますと嬉しいです。 gihyo.jp さて、BigQueryはコンピュートとストレージを分離することで高いスケーラビリティを達成しているData WareHouse(DWH)で... 続きを読む

ASCII.jp：オラクル、OCIで“1コア＝1セント／時間”のArmベースインスタンスを発表

2021/05/25 7 users OCI コンピューティングサービス IaaS オラクル 1コア

米オラクルは日本時間2021年5月26日、同社のIaaS「Oracle Cloud Infrastructure（OCI）」において、Armベースのコンピューティングサービス「OCI Ampere A1 Compute」の提供を開始した。仮想マシン利用料が「1コア（1 OCPU）あたり0.01ドル／時間」と安価な設定であるのと同時に、高いスケーラビリティも有しており、汎... 続きを読む

Kubernetes 1.11が正式リリース。より軽量なIPVSロードバランシング採用、KubeDNSからCoreDNSへ、Kubeletの動的コンフィグレーションなど － Publickey

2018/07/03 73 users コンフィグレーション Publickey CoreDNS

Kubernetes 1.11が正式リリース。より軽量なIPVSロードバランシング採用、KubeDNSからCoreDNSへ、Kubeletの動的コンフィグレーションなど Kubernetes 1.11ではクラスタのスケーラビリティに関する2つの大きな変更が完了し、より高いスケーラビリティを安定して実現できるようになっています。Kubernetesのコア機能が大き... 続きを読む

日本ヒューレット・パッカード、FPGA搭載でリアルタイム重複排除を備えるハイパーコンバージドインフラストラクチャ「HPE SimpliVity」発表。Nutanix追撃へ － Publickey

2017/06/15 27 users Publickey クラスタ化 ソフトウェア サーバ市場 分野

日本ヒューレット・パッカード、FPGA搭載でリアルタイム重複排除を備えるハイパーコンバージドインフラストラクチャ「HPE SimpliVity」発表。Nutanix追撃へ 現在、サーバ市場においてもっとも成長している分野が、多数のストレージ内蔵サーバをソフトウェアによりクラスタ化することで高いスケーラビリティを実現した「ハイパーコンバージドインフラストラクチャ」です。 しかもこの分野を立ち上げて切... 続きを読む

Google Spannerクローンを目指した「CockroachDB」正式版リリース。クラウド上にグローバル展開することで大規模障害からも生き残れる分散型SQLデータベース － Publickey

2017/05/16 64 users Publickey NoSQL Spanner 大規模障害

Google Spannerクローンを目指した「CockroachDB」正式版リリース。クラウド上にグローバル展開することで大規模障害からも生き残れる分散型SQLデータベース CockroachDBは、Googleの Spanner に触発されて開発が始まったオープンソースソフトウェアです。 GoogleのSpannerは地球規模の大規模分散データベースで、NoSQLの非常に高いスケーラビリティと... 続きを読む

「Amazon Machine Learning」発表。クラウドで機械学習サービスを提供 － Publickey

2015/04/09 288 users 既存 予測 Amazonクラウド パターン 機械学習

Amazonクラウドはクラウド上で機械学習を提供するサービス「Amazon Machine Learning。 これはAmazon社内でデータサイエンティスト達が使っているのと同じものと説明されており、既存のデータ群から適切な機械学習モデルを作りだし（データからパターンを学習し）、そのモデルを新しいデータに適用して予測などを行っていくというもの。 高いスケーラビリティで日々何十億もの予測を行う能力... 続きを読む

今風にPostgreSQLの開発環境をつくってみた - tehepero note(・ω<)

2015/03/24 191 users PostgreSQL GINインデックス 進歩 目覚しいもの

2015-03-24 今風にPostgreSQLの開発環境をつくってみた 最近ホットすぎるPostgreSQL界隈ですが、せっかくなので今風に開発環境を作ってみました。 PostgreSQLおさらい 近年のPostgreSQLの進歩は目覚しいものがあって、高いスケーラビリティはもちろん、アプリとの親和性の高さもあって注目度を増しています。 9.4系からはJSONBサポートに加えGINインデックスの... 続きを読む

「Apache HBase」がバージョン1.0に到達、開発開始から7年で － Publickey

2015/03/02 30 users Publickey Hadoop HBase 到達 特長

GoogleのBigTableを参考にオープンソースで開発されたHBaseは、HadoopのファイルシステムであるHDFS上に構築されたキーバリューストア型のデータベース。高いスケーラビリティや柔軟なテーブル構造、自動シャーディングやフェイルオーバー機能などを特長とします。 そのHBaseがバージョン1.0に到達したことが、The Apache Software Foundation Blogにポ... 続きを読む

SUSE、Cephベースの分散ストレージ「SUSE Storage」のベータ版を発表 － Publickey

2014/12/04 21 users SUSE Publickey Ceph ストレージ 特長

SUSEは、オープンソースとして開発されている分散ストレージ「Ceph」をベースにした「SUSE Storage」のベータ版を発表しました。 Cephはストレージを備えた複数のLinuxサーバを束ねて巨大なストレージに見せる分散ストレージを実現するソフトウェアです。数ペタバイトにまで容量を増やせる高いスケーラビリティと、自己管理機能および自己修復機能を備えているのが特長。 オブジェクトストレージと... 続きを読む

Amazon Web Services ブログ: 【AWS発表】S3の新しいイベント通知機能

2014/11/13 55 users AWS発表 Amazon Web Services ブログ

多くのAWS顧客が、コスト効率の高く高いスケーラビリティを誇る永続化領域として、また一時的なオブジェクトストレージとしてAmazon Simple Storage Service (S3)を利用して、アプリケーションを構築しています。 その中の顧客から、オブジェクトがS3に入ったときに、何かしらの初期化プロセスを行いたいという要望を持っています。 またトラッキングやセキュリティのため、オブジェクト... 続きを読む

データベースのシャーディングを自動運用してくれる「Azure SQL Database Elastic Scale」が公開 － Publickey

2014/10/05 46 users Publickey シャーディング データベースサーバ 分散

データを分割して複数のデータベースサーバで分散処理することで高いスケーラビリティを実現する手法「シャーディング」が、Microsoft Azureの新機能「Azure SQL Database Elastic Scale」としてプレビュー公開されました。 シャーディングの処理は一般に、データの分割方法や分割したシャードごとのデータベースサーバの割り当て、データベースサーバに割り当てた後で負荷に偏り... 続きを読む

直近の6カ月で2倍以上に成長したモバイルBaaSのParse。レイテンシの問題をAWSのストレージ機能で解決。AWS re:Invent 2013 － Publickey

2013/11/17 106 users Parse フレキシビリティ レイテンシ Facebook

直近の6カ月で2倍以上に成長したモバイルBaaSのParse。レイテンシの問題をAWSのストレージ機能で解決。AWS re:Invent 2013 モバイルBaaSを提供するParseは、4月にFacebookに買収されたてからの半年で、2倍以上のアプリケーションから利用されるようになりました。 その急速な成長を高いスケーラビリティで支えることができたのは、Amazonクラウドのフレキシビリティだ... 続きを読む

松尾芭蕉が名前の由来。分散型NoSQLデータベース「Riak」のBashoが日本法人設立 － Publickey

2012/09/27 47 users Publickey Riak Basho 松尾芭蕉 由来

NoSQLデータベースを主力製品とする米国のソフトウェアベンダー「Basho Technologies」が日本法人「バショー・ジャパン」を設立、日本における展開を開始しました。日本語版のWebサイトも公開されています。 同社のNoSQLデータベース「Riak」は分散型キーバリューストア。クラウドに対応した高いスケーラビリティや、単一障害点がなく高い可用性が特徴。 Riakはオープンソースとして開発... 続きを読む

NoSQLデータベースの「Cassandra」最新動向。Cassandra Summit 2012（前編） － Publickey

2012/08/27 88 users Cassandra サンタクララ Publickey 入出力

代表的なNoSQLデータベースの1つ「Apache Cassandra」をテーマにしたイベント「Cassandra Summit 2012」が、8月8日にサンタクララで開催されました。 Cassandraは、キーバリュー型データストアとして高速なデータの入出力や高いスケーラビリティが特徴です。最新バージョンではマルチデータセンター、マルチテナンシーなど高度な機能も搭載しました。 そうした最新機能な... 続きを読む

Amazon CTOに聞く、NoSQLデータベース「DynamoDB」がクラウドに何をもたらすのか？ － Publickey

2012/03/01 103 users Publickey NoSQL DynamoDB 一線 制御

Amazon Web Serviceが提供する、SSD上に構築された高速でスケーラブルなNoSQLデータベース「Amazon DynamoDB」が、東京データセンターでも利用可能になりました。 DynamoDBは、単にNoSQLの持つ高いスケーラビリティを提供するだけではなく、一貫性の制御が可能で、必要なスループット性能も自由に設定できるなど、従来のNoSQLとは一線を画す高性能を、メンテナンスな... 続きを読む

HBaseとはどんなNoSQLデータベースなのか？ 日本語で読める情報を集めてみた － Publickey

2010/11/21 435 users Publickey HBase Cassandra 負荷 基盤

Facebookが新しいサービス「Messages」の基盤として、NoSQLデータベースの「HBase」を選択したことを、先日の記事「Facebookが新サービスの基盤にしたのは、MySQLでもCassandraでもなく、HBaseだった」で紹介しました。 HBaseは、Facebookによると次のような特徴を備えていると説明されてます。 負荷に対して非常に高いスケーラビリティと性能を発揮 Cas... 続きを読む