S3へのファイル転送を高速化する手順 - skymatix Developers Blog

2023/07/09 138 users ファイル転送 手順 高速化 椎葉 転送

システムエンジニアの椎葉です。 ファイル数が多くなるとファイルの転送に時間がかかってしまいます。 ファイル転送の改善で処理時間やEC2のコストを削減することができます。 今回の例でも30%ほど転送時間＆コストを削減することができているので是非参考にしてみてください。 設定項目 今回改善するために変更する設定... 続きを読む

新潟県の公文書データ10万件消失事故、7万件超が復旧できず　保守業者の人為ミスが原因、改めて謝罪

2023/05/10 32 users 人為ミス 公文書管理システム 謝罪 システム保守 ファイル

新潟県の公文書管理システムに保存されていた公文書データ10万件が消失した件を巡り、システム保守をしていた富士電機ITソリューション（東京都千代田区）が7万7000件以上のファイルを復旧できなかったと発表した。 消失したファイルの数は計10万3389件。復旧できたファイル数は2万5439件、復旧できなかったのは7万7950... 続きを読む

新山祐介 (Yusuke Shinyama) on Twitter: "GNU tar形式は実は展開するのにファイル数 nに応じたO(n^2)の時間がかかるアルゴリズムになっている。これは ".." をパス名に含むシンボリックリンクが悪用さ

2022/07/24 7 users シンボリックリンク tar 新山祐介 アルゴリズム https

GNU tar形式は実は展開するのにファイル数 nに応じたO(n^2)の時間がかかるアルゴリズムになっている。これは ".." をパス名に含むシンボリックリンクが悪用されて無関係な位置のファイルが改ざんされるのを防ぐため。.tar… https://t.co/QAGJ8N7G1f 続きを読む

tslib/import-helpers の効果を測定する - mizdev

2020/08/08 13 users mizdev await async TypeScript

tldr target: es2017 以降なら tslib 使っても置き換えられるコードはないので、使う必要はない target: es5/es2015 で async await を多く使っている場合はファイル数に比例して削れる importHelpers / tslib とは typescript で async/await をコンパイルすると次のようなコードを生成する var __awaiter = (this && t... 続きを読む

AWS CLIを利用してS3上のファイルをgrepする ｜ Developers.IO

2017/06/13 10 users Developers.IO AWS CLI ファイル EMR

先日Hadoop Streamingを利用してS3上のファイル群にgrepコマンドを実行する方法を紹介しました。 grepコマンドをHadoop Streaming上で実行する とはいえ、ファイル数が少ない場合や時間が掛かってもいいからEMRを利用せずにローカルPC上でgrepコマンドを実行したいこともありますよね。ということで、今回用意したのがAWS CLIを利用してS3上のファイル群をローカル... 続きを読む

AWS CLIを使ってS3上にあるファイル数とファイルサイズの合計を取得する ｜ Developers.IO

2017/05/22 32 users Developers.IO AWS CLI 合計 S3上 特定

Amazon Athenaの料金はスキャンしたデータ量で決まるので、特定のフォルダ以下のファイルサイズの合計をAWS CLIで取得する方法を調べたのですが忘れそうなのでメモしておきます。以下のコマンドでファイル一覧の後にファイル数とサイズの合計が出力されます。 aws s3 ls s3://[バケット名]/[フォルダ名]/ --recursive --human --sum オプションの説明になり... 続きを読む

phpDocumentor でドキュメント自動生成してみた

2016/12/16 41 users 榎本 PHP ドキュメント エンジニア クラス

こんにちは、エンジニアの榎本です。 チーム開発において、ファイル数やクラスが増えてくると、新しいメンバーに説明をする際など、ドキュメントがないと説明が難しくなってくることがあります しかし実際のところ、ドキュメントを作成する工数を確保できず、せっかく作ったドキュメントがあってもどんどん陳腐化している現場も多いのではないでしょうか そのため、今回は phpDocumentor を用いて PHP のコ... 続きを読む

4GBの容量削減例も!! Googleフォトの新機能「容量を開放」で既存写真を削除せずに消費容量を削減 - Engadget Japanese

2015/12/04 84 users 静止画 Engadget Japanese フルHD解像度

4GBの容量削減例も!! Googleフォトの新機能「容量を開放」で既存写真を削除せずに消費容量を削減 BY Shingi Hashimoto 2015年12月04日 16時00分 0 5月の終わりに「静止画は1600万画素以下、動画でもフルHD解像度・15分未満であれば、ファイル数無制限に保存可能」という嬉しいプランとともに開始 (看板掛け替え)がなされたGoogleのオンライン写真管理サービス... 続きを読む

Big Sky :: Vim の CtrlP matcher、cpsm がヤバイくらいに速すぎる

2015/06/05 106 users vim ctrlp マッチャー Big Sky デフォルト

Vim で CtrlP を使っている人もそこそこいるかと思いますが、ファイル検索が終わり文字をタイプした時に行を絞り込む部分(マッチャーと言います)がデフォルトの状態だと Vim script を使って処理される為、ファイル数が多くなるとモッサリして来ます。これを解消する為に幾らかの人が頑張っています。 FelikZ/ctrlp-py-matcher - GitHub Fast vim CtrlP... 続きを読む

［ウェブサービスレビュー］容量、同時UP数無制限の国産ファイル転送サービス「BitSend」 - CNET Japan

2015/04/25 35 users ウェブサービスレビュー 同種サービス 国産 容量 ファイル

内容：「BitSend」は、メールに添付できない大容量のファイルをオンラインで送付できる、国産のファイル転送サービスだ。同種サービスの多くが容量やファイル数に制限を設けている中、本サービスは容量無制限、同時アップロード数無制限で利用できることが大きな特徴だ。 「BitSend」は、メールに添付できない大容量のファイルをオンラインで送付できる、国産のファイル転送サービスだ。同種サービスの多くが容量や... 続きを読む

無料＆登録なしで最大3GBのファイルを同時に100個も転送可能な「BitSend」 - GIGAZINE

2015/02/24 131 users GIGAZINE 転送 ビジネス用途 アカウント ファイル

1ファイル最大3GBのものがアップロード可能で、同時にアップロードできるファイル数はなんと100ファイルという超強力かつ無料の大容量ファイル転送サービス「BitSend」が2015年2月からサービス提供を開始しています。利用時にアカウントを作成する必要も一切なく、ビジネス用途にも便利な「パスワード保護機能」「ダウンロード回数」「データの保管日数」も設定可能で、ページを開いてすぐにサービスが使えると... 続きを読む

【レビュー】空のフォルダーを見つけ出して一括削除可能な「Empty Folder Finder」 - 窓の杜

2015/01/29 20 users フォルダー 寄付歓迎 微調整 合計 一括削除

レビュー 空のフォルダーを見つけ出して一括削除可能な「Empty Folder Finder」 ファイル数やファイルサイズの合計などを指定して抽出対象の微調整も可能 （2015/1/29 17:13） 「Empty Folder Finder」v1.2.0.0 「Empty Folder Finder」は、中に何も入っていないフォルダーを見つけ出し、一括削除を行えるソフト。寄付歓迎のフリーソフトで... 続きを読む

無制限に写真を保存できるAmazonの「Prime Photos」に300GB以上アップロードしてわかったこと - GIGAZINE

2014/11/07 82 users GIGAZINE 写真ストレージサービス RAW画像 容量

Amazonがプライム会員向けに無料・容量無制限の写真ストレージサービス「Prime Photos」を開始しました。本当に容量が無制限なのであれば、写真を大量に撮影する人はよいバックアップ先を得られることになりますが、保存するファイル数に限界はないのか、JPEG画像だけではなくRAW画像もちゃんと保存できるのか、ムービーファイルが混ざっていても大丈夫か、などの使用上で気になるポイントをHiram ... 続きを読む

無制限に写真を保存できるAmazonの「Prime Photos」に300GB以上アップロードしてわかったこと - GIGAZINE

2014/11/07 82 users GIGAZINE 写真ストレージサービス RAW画像 容量

Amazonがプライム会員向けに無料・容量無制限の写真ストレージサービス「Prime Photos」を開始しました。本当に容量が無制限なのであれば、写真を大量に撮影する人はよいバックアップ先を得られることになりますが、保存するファイル数に限界はないのか、JPEG画像だけではなくRAW画像もちゃんと保存できるのか、ムービーファイルが混ざっていても大丈夫か、などの使用上で気になるポイントをHiram ... 続きを読む

Kinectで店員を呼ぶ装置：openFrameworksのサンプル一覧（3d/gl/graphics編） | Advanced Technology Lab

2014/03/25 35 users Kinect openFrameworks 実装 装置 店員

客室研究員のテライです。3/27のイベント”未来レストラン”に向けて展示品の開発を続けております。 さて、openFrameworksのexampleディレクトリに入っているサンプルプロジェクトは、似たような実装をしたい時に役立つのですが、ファイル数が多いので「あのサンプルってどれだっけ？」「こういうサンプルあったっけな？」と、また探す時間がかかってしまうことが（私は）あります。 一度は一通りサン... 続きを読む

agとUnite.vimで快適高速grep環境を手に入れる - Thinking-megane

2013/09/19 115 users Thinking-megane Ack unite.vim

今までVim内のgrepにはUnite.vimを使っていたんですが、ファイル数が多いときに遅く感じることがあったので、前回導入した ag(The Silver Searcher)と組み合わせて快適高速grep環境をつくりました。 The Silver Searcher と Unite.vim The Silver Searcherは、grepやackより高速な検索が売りのパターン検索を行うコマンド... 続きを読む

MacでAndroidの内部ストレージを見るにはソフトが必要｜Mac

2013/03/27 29 users 内部ストレージ Mac Android iPhone やりとり

これまで、iPhoneよりもAndroidをメインに使ってきた元週刊アスキー編集者の山口ひろ美です。Macユーザーでアンドロイド端末をお使いの方ならご存知かもしれませんが、Macにアンドロイド端末を接続しても、Windowsのように中身をストレージの内部をのぞき見ることができません。 最近までWindowsユーザーだった私にとっては衝撃的!　スマホとPC間のデータのやりとりには、ファイル数やそのと... 続きを読む

Dropboxに毎日アップされるファイル数は全部でいくつ？ : ギズモード・ジャパン

2013/03/05 17 users Dropbox ギズモード ドリュー・ヒューストン CEO

Webサービス Dropboxに毎日アップされるファイル数は全部でいくつ？ 2013.03.05 12:00 ここで問題です。世界では一日に何個くらいのファイルがDropboxにアップロードされているのでしょうか？　100万？　500万？　正解は、なんと一日に10億ファイルです。 今年2月に開催されたMobile World Congressで、CEOのドリュー・ヒューストン（Drew Houst... 続きを読む

Photoshop VIP ☞ 商用可、74個のPhotoshopデザイン素材をまとめて無料ダウンロードする「Zero Bundle」

2012/01/23 68 users 商用可 Photoshop Vip 無料 ＨＯＭＥ スゴイ

Home　>　 ニュース　>　商用可、74個のPhotoshopデザイン素材をまとめて無料ダウンロードする「Zero Bundle」 13人のデザイナーさんが集まって、総計74個のPhotoshopデザイン素材をまとめてダウンロードできるプロジェクト「Zero Bundle」を期間限定で行っているので、ご紹介します。 収録されているファイル数にも驚きですが、なによりもすごいのがデザインクオリティー... 続きを読む