Linuxの各種仮想ネットワークデバイスにおけるSegmentation Offloadの振る舞い

2024/04/21 45 users Linux NIC MTU レイヤ TCP

LinuxにおけるSegmentation OffloadとはTCPなどのトランスポートレイヤのプロトコルが送信するデータをMTUに収まるように分割する処理(Segmentation)をNICのレイヤにオフロードすることによってスループットを向上させる技術です. Segmentation Offloadを使った場合, トランスポートレイヤのプロトコルはIPレイヤで許容... 続きを読む

レイテンシ(遅延)とスループット(帯域幅)と帯域幅遅延積 - Qiita

2024/01/30 317 users レイテンシ コロケーション Qiita 互い 帯域幅

マルチクラウド展開にまつわる既成概念を覆すより データ転送では、特に長距離の場合にレイテンシ（遅延）が問題になることがありますが、現在はすべてのクラウド・プロバイダーがそれぞれの物理インフラストラクチャを互いの近くに配置（専門用語では「コロケーション」）しているため、これはさほど問題となりません。... 続きを読む

Google Cloud Spanner、価格据え置きのままスループットを1.5倍に向上、ノード当たりのストレージも10TBに増強と発表

2023/10/15 7 users DynamoDB ストレージ 増強 AWS 自画

Google Cloudは、大規模分散データベース「Cloud Spanner」について価格を変更することなく従来よりも大幅な性能向上を提供すると発表しました。 Google Cloudとしては珍しく、AWSのAmazon DynamoDBを名指しして「DynamoDBよりも高い性能を半額で提供する」と自画自賛しています。 スループットの50％向上とノード当たり... 続きを読む

大規模モデルを単一GPUで効率的に学習する方法｜npaka

2023/10/02 13 users npaka LLM 大規模モデル パフォーマンス サンプル

A以下の記事が面白かったので、かるくまとめました。 ・Methods and tools for efficient training on a single GPU 1. LLMを単一GPUで効率的に学習する方法大規模モデルの学習では、次の2つを考慮する必要があります。 ・スループット・学習時間 ・モデルのパフォーマンス 「スループット」 (サンプル / 秒) を最大化す... 続きを読む

大規模言語モデルの出力スピードを最大24倍に高めるライブラリ「vLLM」が登場、メモリ効率を高める新たな仕組み「PagedAttention」とは？

2023/06/22 14 users Transformers vLLM ライブラリ メモリ効率

大規模言語モデルを利用する際には、モデルそのものだけでなく、モデルを扱うためのライブラリが必要になってきます。多くの場合Transformersというライブラリが使用されていますが、「PagedAttention」という仕組みを導入した新たなライブラリ「vLLM」を利用することでスループットを最大24倍に向上できることが大規模... 続きを読む

「帯域幅」を計算する簡単な方法は？　ユーザー数の上限を把握する方法も：ネットワーク帯域幅の求め方【後編】 - TechTargetジャパン ネットワーク

2021/08/11 7 users TechTargetジャパン 帯域幅 ネットワーク帯域幅

関連キーワード ネットワーク | ネットワーク管理 ネットワークの「帯域幅」の要件を求める際、計算式を間違えると大きな影響が出る。十分な帯域幅を確保していない場合は、帯域制限がかかり「スループット」（データ伝送速度）が遅くなるのはほぼ確実だ。逆に、帯域幅のオーバープロビジョニング（過度な配備）は、過剰... 続きを読む

A Pure HTTP/3 Alternative to MQTT-over-QUIC in Resource-Constrained IoT の備忘録 - neko--suki’s blog

2021/07/03 10 users http 備忘録 IoT 帯域 文脈

HTTP3 でpub-subとMQTT-over-QUICの比較をIoTの観点から行った論文の備忘録です。 IoTという文脈で、ネットワークエミュレータに遅延と帯域を設定して、性能（最初のデータが到達するまでの時間、通信終了までの時間やスループット）、ネットワークへのオーバーヘッド（バイト量とパケット数）、リソースの使用状況（CPU... 続きを読む

HDD・SATA SSD・NVMe SSD・Optane SSDで「レイテンシ」にどれほど差があるのか？ - GIGAZINE

2021/06/06 12 users レイテンシ GIGAZINE 主眼 SSD 反面

コンピューターのメインバスなどに直接接続される主記憶装置はレイテンシやスループットに優れていますが、その反面として小容量という問題を抱えています。容量問題を主眼に据える場合はHDDやSSDなどの補助記憶装置を用いるべきですが、その際に重要となる「レイテンシの差」について、エンジニアのルスラン・サフチェ... 続きを読む

2.4GHz帯無線LANのチャネルはぶつけてしまった方がよい - hgot07 Hotspot Blog

2021/05/20 401 users チャネル syd 無線LAN 空港 会議場

もう少し正確に書くと、 「2.4GHz帯無線LANのチャネルは、少しずらすよりは、ぶつけてしまった方がよい(スループットが上がる)」です。 無線LANがよく設計されたホテルや会議場、空港などでは、下の図のように1-6-11chに綺麗に山が立っています。 1-6-11ch 上はシドニー空港(SYD)の例ですが、おそらく無線LANコントロー... 続きを読む

「ハイトラフィック運用 〜スループットの向上を目指して〜」という話をしました #devio2020 | Developers.IO

2020/06/17 7 users Developers.IO セッション devio2020

こんにちは(U・ω・U) AWS事業部の深澤です。 さて弊社では昨日よりDevelopersIO2020 〜connect〜というイベントが開かれています。 セッションもりもりだよ！ あつまれー！https://t.co/viwYQqiKG7#devio2020_connect — 深澤俊 (@shun_quartet) June 3, 2020 その中で僕は「ハイトラフィック運用 〜スループットの向上を... 続きを読む

大規模レガシー環境に立ち向かう有機的な開発フォーメーション #devsumi #devsumic

2019/07/02 51 users devsumi リソ リソース 黒田 i2key

大規模レガシー環境に立ち向かう有機的な開発フォーメーション #devsumi #devsumic 1. 大規模レガシー環境に 立ち向かう有機的な 開発フォーメーション 黒田　樹 @i2key #devsumi 2. ニーズ発生に対してJUST IN TIMEでリソースを割り当て、 スループットに最速で変換できること 3. ニーズ発生に対してJUST IN TIMEでリソ... 続きを読む

Google、TCPのスループットとレイテンシを改善する輻輳制御アルゴリズム「TCP BBR」をGoogle Cloudで利用開始 － Publickey

2019/03/31 424 users レイテンシ UDP Publickey TCP TCP BBR

Google、TCPのスループットとレイテンシを改善する輻輳制御アルゴリズム「TCP BBR」をGoogle Cloudで利用開始 Googleは、同社が開発したTCPの輻輳制御アルゴリズム「TCP BBR」をGoogle Cloud Platformで利用可能にしたと発表しました。 インターネットにおける通信にはTCPを用いる場合とUDPを用いる場合に分かれますが、... 続きを読む

「USB4」の仕様が発表、より高速かつスマートな転送が可能に - CNET Japan

2019/03/05 24 users 転送 CNET Japan 仕様 USB4 ルネサス

Apple、HP、Intel、Microsoft、ルネサス エレクトロニクス、ST Microelectronics、Texas Instrumentsで構成されるUSB Promoter Groupは米国時間3月4日、新しいUSB4の仕様を発表した。USB4は、40Gbpsのスループットを提供し、より効率的にデータを処理できる。 既存のUSB Type-Cケーブルを使用した2レーン動作と40Gbps認... 続きを読む

無料でLANの速度を計測できる「LAN Speed Test」＆キャッシュやディスク速度に左右されない最速を計測できる「LST Server」レビュー - GIGAZINE

2018/11/06 32 users GIGAZINE タスクマネージャー LAN 速度 キャッシュ

ローカルのネットワーク速度を測定しようと実際にファイルを転送してタスクマネージャーなどでモニターしても、Windowsが持っているキャッシュ機能の影響を受けてしまい、本来の速度は分かりません。LANの実際のスループットを測定し、キャッシュやディスク速度に左右されない最速を計測できるのが「LAN Speed Test」と... 続きを読む

次世代無線伝送規格の呼称が「WiFi 6」に。最大速度9.6GbpsのIEEE802.11axをわかりやすく - Engadget 日本版

2018/10/03 63 users 呼称 6Gbps IEEE802.11ax 呼び名 WiFi

WiFiは、スループットを高めるためにIEEE 802.11 b /a /g /n /ac と世代を重ねた結果、いくつもの重ねた結果、互換性を示すWiFi認証のロゴマークがあったとしても、特に初心者にはその伝送速度の違いが分かりづらくなっていました。 新たなWiFi 6という呼び名は、理論上最大伝送速度が9.6Gbpsに達する802.11axをサポート... 続きを読む

DynamoDBのインフラコスト構造と削減策 - ゆううきブログ

2018/04/16 213 users DynamoDB KINESIS RDS ゆううきブログ

2018 - 04 - 16 DynamoDBのインフラコスト感覚 Database DynamoDB Amazon DynamoDB は、RDSのようなインスタンスサイズによる課金モデルではなく、ストレージのデータ使用量とスループットを基にした課金モデルになっている。 インスタンスサイズによる課金モデルでないデータストア系サービスとして、他にはS3、Kinesisなどがある。 これらは、AWSの... 続きを読む

良質のアウトプットは「出がらしのお茶っ葉」からは生まれない!? | 東京大学 中原淳研究室 - 大人の学びを科学する

2018/03/21 482 users input 出がらし インプット アウトプット 他人

「良質なアウトプット」を行うために必要なものは、「十分なインプット」と「適度なスループット」を確保すること です。 ここで 「十分なインプット（input）」とは、「自己の外部から、世の中の最先端を走る知識を、十分仕入れること」 を意味します。 一方、 「適度なスループット(throughput)」とは、「外部からたくわえた知識を自分のなかで咀嚼したり、他人と対話しながら、自分の腹におとすこと」 ... 続きを読む

Amazon Auroraの先進性を誰も解説してくれないから解説する - Qiita

2017/12/12 941 users Qiita メインメモリ tl;dr 新地平 従来

TL;DR; Amazon AuroraはIn-Memory DBでもなくDisk-Oriented DBでもなく、In-KVS DBとでも呼ぶべき新地平に立っている。 その斬新さたるやマスターのメインメモリはキャッシュでありながらWrite-BackでもなくWrite-Throughでもないという驚天動地。 ついでに従来のチェックポイント処理も不要になったのでスループットも向上した。 詳細が気に... 続きを読む

Google、TCPのスループットとレイテンシを改善する輻輳制御アルゴリズム「TCP BBR」をGoogle Cloudで利用開始 － Publickey

2017/07/26 424 users レイテンシ Publickey TCP BBR TCP BBR

Google、TCPのスループットとレイテンシを改善する輻輳制御アルゴリズム「TCP BBR」をGoogle Cloudで利用開始 Googleは、同社が開発したTCPの輻輳制御アルゴリズム「TCP BBR」をGoogle Cloud Platformで利用可能にしたと 発表しました 。 インターネットにおける通信にはTCPを用いる場合とUDPを用いる場合に分かれますが、BBRはTCPにおける輻輳... 続きを読む

SpaceX、2週間で3度目の衛星打ち上げに成功――大型静止衛星のためブースターは使い捨て | TechCrunch Japan

2017/07/06 15 users SpaceX ペイロード Intelsat ブースター 衛星

SpaceXのFalcon 9の打ち上げは今日（米国時間7/5）も成功した。ケネディー宇宙センターのLC-39A発射台から打ち上げられたFalcon 9は2週間で3基目となった。6月23日と6月25日のミッションも完全な成功を収めている。 今回のペイロード、Intelsat 35eはボーイングがIntelsatのために製作した大型の静止衛星でブロードバンド接続とビデオ配信のために高速のスループット... 続きを読む

フレッツ回線が遅すぎる問題を IPv6/IPoE と DS-Lite で解決した - CUBE SUGAR CONTAINER

2017/04/08 1007 users IPoE モバイルネットワーク DS-Lite 使い物 下手

2017 - 04 - 08 フレッツ回線が遅すぎる問題を IPv6/IPoE と DS-Lite で解決した IPv6 Linux 最近というほど最近でもないんだけど、近頃はとにかくフレッツ回線のスループットが出ない。 下手をすると、モバイルネットワークの方が速いので時間帯によってはテザリングをし始めるような始末だった。 今回は、そんなスループットの出ないフレッツ回線を何とか使い物になるようにす... 続きを読む

10 Gigabit Ethernet対応で実売54,800円、QNAP製NASキット「TS-431X」が登場 - AKIBA PC Hotline!

2017/02/24 31 users Hotline QNAP製NAS メモリ 発売 AKIBA

ニュース 10 Gigabit Ethernet対応で実売54,800円、QNAP製NASキット「TS-431X」が登場 スループットは最高956MB/s、8ベイモデルも発売 AKIBA PC Hotline!編集部 2017年2月25日 00:30 TS-431X 　10 Gigabit Ethernet対応で実売5万円台半ばのQNAP製NASが登場、「TS-x31X」シリーズの4ベイ/メモリ2... 続きを読む

システムエンジニアのエレベータの乗り方 - Qiita

2016/07/28 358 users Qiita biz エレベータ archives 乗り物

エレベータはシステムエンジニア思考を鍛えるよい乗り物です。 対象について注意深く観察し、エラーを起こさずスループットが最大化されるように設計・行動する力を付けましょう。 ボタンキャンセルの仕様を確認しておく メーカーによって異なります。 http://karapaia.livedoor.biz/archives/52138000.html 基本的にはダブルクリックでキャンセル可能ですが、扉が開いて... 続きを読む

Sidekiq による非同期処理を Redis の分散ロックで排他制御した話 - peroli Developer's Blog

2016/04/22 179 users redis Mery sidekiq 排他 排他制御

MERY のサーバーサイドエンジニアの @saidie です。 MERY では画像アップロードや記事投稿による検索インデックス作成などなど、ユーザからのリクエスト起因で起こる時間のかかる処理の多くを非同期に行うことでレスポンスタイムの向上に努めています。また、重複した非同期処理が並行して走ることによる スループット の劣化を分散ロックを用いた 排他制御 で緩和する取り組みなども行っています。 ME... 続きを読む

Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（前編） － Publickey

2015/08/04 121 users レイテンシ Publickey Hadoop Spark 前編

Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（前編） 最近ビッグデータ処理基盤として急速に注目を集めているのが「Apache Spark」です。 Sparkは、Hadoopと比較されることも多く、Hadoopよりも高速かつ高機能な分散処理基盤だと言われています。Sparkとはいったい、どのようなソフトウェアな... 続きを読む