はてブログ

はてなブックマーク新着エントリーの過去ログサイトです。



タグ 分散処理

新着順 人気順 5 users 10 users 50 users 100 users 500 users 1000 users
 
(1 - 25 / 30件)

「Webに対して不満があるからWebブラウザに手を加える」は大げさか? 植山類氏が語る、“クレイジーなアイデアに挑戦する”ということ

2024/03/05 このエントリーをはてなブックマークに追加 9 users Instapaper Pocket Tweet Facebook Share Evernote Clip クレイジー 植山類氏 Webブラウザ web mold

Blue Whale Systems株式会社の植山類氏は、「LLVM lld」「mold」が解決したプログラムのビルドの問題を例に、“大きな問題”を解決することについて話しました。全3回。前回はこちらから。 サーバーサイドのアプリケーションで分散処理をさせる必要は本当にあるのか? 植山類氏:「では、大きな問題って何?」という話で、... 続きを読む

Kubernetesで構築する大規模時系列データのスケーラブルな分散処理

2023/12/11 このエントリーをはてなブックマークに追加 6 users Instapaper Pocket Tweet Facebook Share Evernote Clip Kubernetes

CloudNative Days Tokyo 2023 での登壇資料です 続きを読む

端末の文字幅問題の傾向と対策 | IIJ Engineers Blog

2022/02/15 このエントリーをはてなブックマークに追加 249 users Instapaper Pocket Tweet Facebook Share Evernote Clip 端末 IIJ Engineers Blog 傾向 対策 TUi

電子メール、ネットワーク機器集中管理、異常検知、分散処理、クラウド基盤などのシステム開発に従事。古代Rubyist。 CLI や TUI なアプリケーションを使っていると、端末の画面が崩れてしまうことがよくあります。 たとえば、こんな TUI が、 環境によってはこんな感じで崩れます。 スクロールなどをしながらしばらく使... 続きを読む

JetBrainsが軽量なコードエディタ「Fleet」発表。エディタとバックエンドの分散処理、多言語対応、共同作業対応など

2021/11/29 このエントリーをはてなブックマークに追加 13 users Instapaper Pocket Tweet Facebook Share Evernote Clip コードエディタ FLEET Kotlin JetBrains

JetBrainsが軽量なコードエディタ「Fleet」発表。エディタとバックエンドの分散処理、多言語対応、共同作業対応など プログラミング言語のKotlinや、統合開発ツールのIntelliJ IDEAなどの開発元であるJetBrainsは、同社が新規に開発した軽量なコードエディタの「Fleet」を発表しました。 JetBrains の最新プロジェクトで... 続きを読む

1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary

2020/11/04 このエントリーをはてなブックマークに追加 1179 users Instapaper Pocket Tweet Facebook Share Evernote Clip 前提 規模 大規模データ処理 弊社 心構え

自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかり... 続きを読む

PySparkはじめました - 分散処理デビューする前にやったこと - JX通信社エンジニアブログ

2019/12/10 このエントリーをはてなブックマークに追加 13 users Instapaper Pocket Tweet Facebook Share Evernote Clip PySpark JX通信社エンジニアブログ

「JX通信社Advent Calendar 2019」10日目の記事です. 昨日は, @rychhrさんの「Pure WebSocketsをサポートしたAWS AppSyncでWebとiOS間のリアルタイムチャットを作ってみた(1)」でした. 改めまして, こんにちは. JX通信社でシニア・エンジニア&データ基盤エンジニアをしています, @shinyorke(しんよーく)と申します. JX... 続きを読む

なぜRDBからCSV + COBOLに変更する事でコスト削減と高速化を同時に実現出来たかの考察 - ブログなんだよもん

2019/06/17 このエントリーをはてなブックマークに追加 311 users Instapaper Pocket Tweet Facebook Share Evernote Clip COBOL RDB CSV nikkeibp.co.jp 既存

そもそも既存はどんなロジック? RDBなんだからWhere句使ったら? なぜファイルにすると速くなるのか? 並列化と分散処理による高速化の可能性 COBOL使う必要あったの? Javaとかじゃダメだったの? まとめ TLを見てると以下の記事が少し話題になってました。 tech.nikkeibp.co.jp tech.nikkeibp.co.jp 対象の記事は有料... 続きを読む

HadoopのSQLクエリーをFPGAで高速処理、日立が2019年に製品化 | 日経 xTECH(クロステック)

2018/09/28 このエントリーをはてなブックマークに追加 26 users Instapaper Pocket Tweet Facebook Share Evernote Clip Hadoop xTech FPGA 日立製作所 SQLクエリー

登録会員限定記事 現在はどなたでも閲覧可能です オープンソースソフトウエア(OSS)の分散処理ソフト「Hadoop」でのSQLクエリー処理をFPGAによって高速化する技術を日立製作所が2019年に製品化する。「Amazon Web Services(AWS)」のFPGAを搭載する仮想マシン「F1インスタンス」で利用可能にする。従来に比べて39倍の... 続きを読む

分散処理・コンテナなど、モダンなインフラにおける5つの問題点 - ログミーTech(テック)

2018/06/29 このエントリーをはてなブックマークに追加 98 users Instapaper Pocket Tweet Facebook Share Evernote Clip コンテナ テック ログミーTech インフラ 問題点

2018年3月23日から24日にかけて、レバレジーズ株式会社が主催する国内最大級のエンジニア向け技術イベント「MANABIYA -teratail Developer Days-」が開催されました。同社が運営するITエンジニア向けのQ&Aフォーラム「teratail」の中で解決できない問題を解くため、一流エンジニアたちが一同に会して、プレゼンテーショ... 続きを読む

Go言語でTCPやソケット通信を多重化,高速化するsmux(ソケットマルチプレクサ)をつくった · THINKING MEGANE

2018/05/03 このエントリーをはてなブックマークに追加 276 users Instapaper Pocket Tweet Facebook Share Evernote Clip monochromegane github.com TCP

サーバ間で分散処理を行う際の相互通信におけるボトルネックを解消するため,smux(Socket multiplexer)を開発している. <a href="https://github.com/monochromegane/smux">monochromegane/smux</a> サーバ間の相互通信におけるボトルネックとその解決策 一対のサーバ間で多数のリクエストとレスポンスが送受信され,信頼性... 続きを読む

Laravelで作る分析・分散処理アプリケーション その1 - ytake Hatena

2017/10/22 このエントリーをはてなブックマークに追加 65 users Instapaper Pocket Tweet Facebook Share Evernote Clip Laravel サンプルアプリケーション ミドルウェア 分析

2017 - 10 - 22 Laravelで作る分析・分散処理アプリケーション その1 先日の PHPカンファレンス や PHPカンファレンス 関西、buildersconでお話しした内容を元にして、 Laravel( PHP )を使って分析処理の簡単な実装や、 ミドルウェア を組み合わせた分散処理の実装を紹介します。 本ブログのサンプルアプリケーションは下記になりますので、 コードや ミドルウ... 続きを読む

シリコンバレーNextレポート - 存在感薄れつつあるビッグデータ処理ソフト「Spark」、深層学習で巻き返し:ITpro

2017/08/09 このエントリーをはてなブックマークに追加 14 users Instapaper Pocket Tweet Facebook Share Evernote Clip OSS ITpro Spark 米Verizon傘下 深層学習

ビッグデータ処理のオープンソースソフトウエア(OSS)である「Apache Spark」のディープラーニング(深層学習)対応が進んでいる。Sparkの主要開発企業である米Databricksや米Intel、米Microsoft、米Verizon傘下の米Oath(旧Yahoo!)などが、Sparkの深層学習対応に熱心だ。 分散処理ソフトのSparkは、2014年ごろには機械学習の大規模化に欠かせない... 続きを読む

ニュース - PFNの深層学習フレームワーク「Chainer」が大幅な高速化へ、分散処理に対応:ITpro

2017/01/27 このエントリーをはてなブックマークに追加 89 users Instapaper Pocket Tweet Facebook Share Evernote Clip pfn マルチノート Chainer ITpro 深層学習

Preferred Networks(PFN)が開発するディープラーニング(深層学習)フレームワーク「Chainer」が間もなく、分散処理に対応することで大幅に高速化する。PFNの西川徹社長が2017年1月26日(米国時間)に米サンフランシスコで開催された「Deep Learning Summit 2017」で明らかにした( 写真1 )。 現在のChainerは、マルチノード(複数サーバー)での学... 続きを読む

業務システムを強化するモダンWeb - [2]サーバーとブラウザーで分散処理するモダンWeb:ITpro

2016/01/25 このエントリーをはてなブックマークに追加 20 users Instapaper Pocket Tweet Facebook Share Evernote Clip 半信半疑 根幹 ITpro 概念 自社

前回は、モダンWebの概要を解説した。モダンWebがもたらす業務システムの本質的な性能向上とコストダウンの可能性を感じていただけただろうか。ただ、概念とメリットの説明が中心だったため、「本当に動作するのか」、「何か制限はないのか」、「自社の環境で使えるか」など、まだ半信半疑の読者もいるだろう。 そこで今回は、モダンWebの根幹である分散処理の仕組みを詳しく解説する。仕組みを知ることで、その稼働環境... 続きを読む

Python Dask で 並列 DataFrame 処理 - StatsFragments

2015/09/24 このエントリーをはてなブックマークに追加 76 users Instapaper Pocket Tweet Facebook Share Evernote Clip StatsFragments NumPy pandas 処理

2015-09-24 Python Dask で 並列 DataFrame 処理 Python pandas Dask はじめに 先日のエントリで少し記載した Dask について、その使い方を書く。Dask を使うと、NumPy や pandas の API を利用して並列計算/分散処理を行うことができる。また、Dask は Out-Of-Core (データ量が多くメモリに乗らない場合) の処理も... 続きを読む

ワークスアプリケーションズ、クラウドネイティブの次世代ERPシステムを発表、RDBから脱却して分散処理 | BCN Bizline

2014/10/07 このエントリーをはてなブックマークに追加 9 users Instapaper Pocket Tweet Facebook Share Evernote Clip ワークスアプリケーションズ Hue RDB ユーザビリテ 従来

ワークスアプリケーションズ、クラウドネイティブの次世代ERPシステムを発表、RDBから脱却して分散処理 ワークスアプリケーションズ(牧野正幸代表取締役CEO)は、10月7日、ERP(統合基幹業務システム)の新製品「HUE」の製品化に成功したと発表した。「脱RDB(リレーショナルデータベース)」「クラウドネイティブ」の二点が技術的なポイントで、「従来のERPにはない圧倒的なハイスピードとユーザビリテ... 続きを読む

DatameeerがシリーズDで$19Mを調達, Hadoopとデータ分析/BIの市場は成熟期に入る | TechCrunch Japan

2013/12/19 このエントリーをはてなブックマークに追加 9 users Instapaper Pocket Tweet Facebook Share Evernote Clip Hadoop Cloudera クラスタ ハードウェア 調達

データ分析市場のブームが始まっている。Clouderaなどのビッグデータ企業が提供するHadoopディストリビューションが成熟し、またリアルタイムのデータ処理ができるようになって有用性も増した。今では安価な日用雑貨のようなハードウェアを集めてクラスタを作り、データの分散処理を行い、その結果を分析する。そして顧客たちはHadoopとデータ分析を組み合わせたデータハブを作って、それまでのデータウェアハ... 続きを読む

生徒が生み出した、ブラウザで動くJavaScript分散コンピューティング « WIRED.jp

2013/06/07 このエントリーをはてなブックマークに追加 46 users Instapaper Pocket Tweet Facebook Share Evernote Clip WIRED.jp 生徒 ブラウザ Andr iPhone

2013.6.7 FRI 生徒が生み出した、ブラウザで動くJavaScript分散コンピューティング 「Smidge」は、有志によるコンピューティングプロジェクト「SETI@Home」のために開発された「BOINC」とも似ている。決定的な違いは、BOINCが専用ソフトウェアをインストールする必要があるのに対し、Smidgeはウェブブラウザを利用して分散処理ができるという点だ。iPhone、Andr... 続きを読む

大規模なJavaScript開発の話

2012/07/21 このエントリーをはてなブックマークに追加 427 users Instapaper Pocket Tweet Facebook Share Evernote Clip JavaScript開発 silverlight

大規模なJavaScript開発の話 — Presentation Transcript 大規模なJavaScript開発の話terurou/YAGI.Teruo 自己紹介 2 terurouです。• Web・GUI・分散処理を手広くやってます – Windows 8(Metro Style Apps), Silverlight, JavaScript, Android, … – Cassandr... 続きを読む

業務系処理の分散処理の実行基盤について(Asakusa0.2.6) - 急がば回れ、選ぶなら近道

2012/06/10 このエントリーをはてなブックマークに追加 31 users Instapaper Pocket Tweet Facebook Share Evernote Clip 近道 実行基盤

Asakusa supports for the multi-clusterというお話で、多分解説がいるので書いておく。公式に書くものではない、という意見も強いので、ここで書く。先日のSIGMOD日本支部のMtgでも発表した内容ともかぶりますが。 具体的にはここで http://asakusafw.s3.amazonaws.com/documents/0.2/release/ja/html/yae... 続きを読む

富士通研究所、ビッグデータを効率的に収集する分散処理技術を開発~ネットワーク通信量を1/100に - クラウド Watch

2012/03/13 このエントリーをはてなブックマークに追加 9 users Instapaper Pocket Tweet Facebook Share Evernote Clip クラウド Watch ビッグデータ 富士通研究所 開発 通信量

富士通研究所、ビッグデータを効率的に収集する分散処理技術を開発~ネットワーク通信量を1/100に Twitterに投稿 はてなブックマークに追加 富士通研究所 ヒューマンセントリックコンピューティング研究所 主任研究員の佐々木和雄氏 株式会社富士通研究所は13日、収集される大量の“ビッグデータ”を効率的に分散処理し、データ集中に伴う通信量を削減する技術を開発したと発表した。さまざまな収集データの生... 続きを読む

Jubatus ソースコードリーディング - src/jubakeeper/main.cpp - flow and stock

2011/11/29 このエントリーをはてなブックマークに追加 12 users Instapaper Pocket Tweet Facebook Share Evernote Clip Jubatus src cpp ソースコードリーディング 興味

Jubatus自分の理解のためにメモしながら読んでみる。内容の正しさは保証しません。どこまで続くかも保証しません。読むバージョンは現時点の最新版である 0.1.1。ソースコード総規模は *.cpp と *.hpp を合わせて13690行。自分は機械学習よりも分散処理に興味があるので、スケールアウトの肝っぽい jubakeeper から読んでいこうと思う。src/jubakeeper/main.cp... 続きを読む

AWSと国内DCサービス - 急がば回れ、選ぶなら近道

2011/11/27 このエントリーをはてなブックマークに追加 67 users Instapaper Pocket Tweet Facebook Share Evernote Clip AWS 近道 Asakusa ノート エンタープライズ

自分的な話題なので書いておきたい。 まず立場的はっきりさせて置く。AWSを基本的にはエンタープライズ・ユースで考えています。もっと直裁にいえば、Asakusaの実行基盤として、すなわちEnterpise Hadoopの実行基盤として見ています。クラウドの利用は単社ではできないことをできるのが特長であり、それは現時点では分散処理です。多数のノードを利用する分散処理は、単社で持つにはコスト的にペイしま... 続きを読む

Kindle Fire搭載のブラウザ「Amazon Silk」は、クラウドとデバイスで分散処理を行う革新的なブラウザ - Publickey

2011/09/28 このエントリーをはてなブックマークに追加 355 users Instapaper Pocket Tweet Facebook Share Evernote Clip 昨晩 あいだ 両者 背後 Webブラウジング

日本時間で昨晩、Amazonが発表したデバイス「Kindle Fire」には、クラウドとデバイスのあいだで分散処理を行う全く新しいWebブラウザ「Amazon Silk」が搭載されています。 Amazon Silkはローカルのデバイス上で動作するWebブラウザの背後に、クラウドであるAmazon EC2で動作するサービスがつねに存在し、両者が連動して高速なWebブラウジングを実現すると説明されてい... 続きを読む

TwitterやFacebookで使われている「Apache Hadoop」のメリットや歴史を作者自らが語る - GIGAZINE

2011/09/02 このエントリーをはてなブックマークに追加 322 users Instapaper Pocket Tweet Facebook Share Evernote Clip GIGAZINE Twitter Facebook 作者自ら

大規模データの分散処理を支えるJavaソフトウェアフレームワークであり、フリーソフトウェアとして配布されている「Apache Hadoop」。その作者ダグ・カティング(Doug Cutting)さんが「Cloud Computing World Tokyo 2011」&「Next Generation Data Center 2011」において「Apache Hadoop: A New Parad... 続きを読む

 
(1 - 25 / 30件)