pandas でメモリに乗らない 大容量ファイルを上手に扱う - StatsFragments

2021/06/30 183 users pandas StatsFragments Wor CSV

概要 分析のためにデータ集めしていると、たまに マジか！? と思うサイズの CSV に出くわすことがある。なぜこんなに育つまで放っておいたのか、、、？ このエントリでは普通には開けないサイズの CSV を pandas を使ってうまいこと処理する方法をまとめたい。 サンプルデータ たまには実データ使おう、ということで Wor... 続きを読む

大容量ファイルのSCP転送を高速にする方法 (ver.2019) - 元RX-7乗りの適当な日々

2019/11/11 88 users 元RX-7乗り 日々 方法

9年ほど前にこういうエントリを書いたのですが、まだそれなりに見られているようなので、最近はどうなのかなーと、再検証・再計測してみたエントリーです。 ↑の過去エントリにも記載しているのですが、SSH/SCP では暗号化方式（強度）によってファイル転送のスループットが変わります。 もちろん、オープンなネットワー... 続きを読む

無料で100GBまでデータをバックアップ！　大容量ファイルも簡単に共有できるクラウドストレージ「Degoo」【仕事お役立ちアプリ】 - INTERNET Watch

2018/05/08 51 users クラウドストレージ INTERNET Watch 料金 登録

お仕事にも役立つスマホアプリ 無料で100GBまでデータをバックアップ！　大容量ファイルも簡単に共有できるクラウドストレージ「Degoo」 すずまり 2018年5月9日 06:00 クラウドストレージ「Degoo」 サービス名 Degoo 運営会社名 Degoo Backup AB 料金 無料（月額9.99ドルの有料プランあり） 登録 必要 URL https://degoo.com/ https... 続きを読む

GitHub、Gitで画像や動画など大容量ファイルを扱える「Git LFS」（Git Large File Storage）正式リリース － Publickey

2015/10/02 290 users GitHub Git Publickey Git LFS 音声

GitHub、Gitで画像や動画など大容量ファイルを扱える「Git LFS」（Git Large File Storage）正式リリース GitHubは10月1日（日本時間10月2日早朝）、サンフランシスコで同社初の大型プライベートイベント「GitHub Universe」を開催しています。 その基調講演にて同社CEOのChris Wanstrath氏は、画像や動画、音声といった大容量のファイルを... 続きを読む

【2015年上半期】どれだけ知っている？話題になったWebサービス・アプリ総まとめ

2015/07/23 721 users WEBサービス 話題 2015年上半期 tenpu 上半期

2015年も半分以上が過ぎました。今年の上半期も多くのWebサービスやアプリがリリースされていますが、数が多すぎてどれも同じに見えるという方もいらっしゃいますよね。 今回は、6月までに一般公開されたものから、特に「これは新しい！」と話題になったアプリ、サービスをまとめてご紹介します。 tenpu tenpu 「tenpu」は2GBの大容量ファイルを、ユーザー登録無し＆広告表示なしで送ることができる... 続きを読む

大容量ファイルの共有に便利なアプリ4選 ｜ ライフハッカー［日本版］

2015/04/29 236 users ライフハッカー 共有 アプリ MakeUseOf 日本版

MakeUseOf：何時間もかけて書類をまとめたり、動画を編集したり、画像を加工修正したりしたのに、いざメールに添付して送ろうと思ったらファイルが大きすぎてダメだった...。そんな経験が、皆さんにもありますよね？ もちろん、近くにいる人となら、ファイルをUSBメモリに保存して簡単に共有できますが、地球の裏側にいる友だちや同僚に大容量ファイルを転送しなければならない場合はどうすればいいのでしょうか？... 続きを読む

無料＆ユーザー登録や広告なしで2GBまでのファイルが送受信できる「tenpu」 - GIGAZINE

2015/01/20 120 users GIGAZINE tenpu イマイチ 操作体系 従来

ユーザー登録をしなくても、無料で2GBまでの大容量ファイルを転送できるのが「tenpu」です。従来のファイル転送サービスは広告だらけでどこからファイルをアップロードしたりダウンロードしたりするのかがイマイチ分かりにくかったりするものですが、「tenpu」はすっきりとしたデザインとシンプルな操作体系で、ファイル転送サービスなどに慣れていないユーザーでも簡単に使用できるようになっています。 tenpu... 続きを読む

Macの容量を大きく占めるlost+foundファイルの正体と処理について | あなたのスイッチを押すブログ

2014/12/06 332 users Mac 正体 スイッチ 容量 処理

久しぶりに「Macの容量がいっぱいですよ警告」をもらいました。 こういう時の対応は決まっていて、アプリ「GrandPerspective」を使って、Macのハードディスクにおけるファイルの占有率を可視化します。 パッと見て、大きい四角が大容量ファイルである証拠。その中でも右の大きな四角が気になります。 「lost+found」 聞いたことも見たことも無いファイルなので、処理していいのかどうか分から... 続きを読む

インターネット経由で大容量ファイルを転送できるサービスあれこれ ｜ ライフハッカー［日本版］

2014/08/11 85 users ライフハッカー インターネット経由 日本版

Digital Inspiration：インターネットで大きなサイズのファイルを送りたいとき、大きく分けて2つの方法があります。メールにファイルを添付するか、ファイルをファイルホスティングサービスにアップロードして、相手にダウンロードリンクを送るかです。 メールで送る 『Gmail』や『Outlook』などのウェブメールサービスは、25MBまでのファイルならメール添付で送れます。それより大きいサイ... 続きを読む

大容量ファイルの受け渡しツールの決定版( corabbit )のご紹介 | レンタルサーバーのCPIスタッフブログ

2014/03/18 92 users corabbit レンタルサーバー セキュリティー 容量 特徴

大容量ファイルの受け渡しにみなさんは何をお使いでしょうか。容量、ダウンロード速度、セキュリティーなど様々な問題がありますが、Corabbitを使うことで、最大2GBのデータ受け渡しができ、さらに高速にダウンロードすることが可能です。 今回は、そのCorabbitを使って、面倒なファイルの受け渡し方法をご紹介いたします。 特徴 最大2GBのファイルの受け渡し ダウンロード速度が速い ダウンロードの有... 続きを読む

ファイル転送サービスが不要になる、Dropboxの「Public Link」。iPhoneでの使い方 - AppBank

2012/06/11 60 users iPhone AppBank GoodReader 受信 経験

iPhoneで大容量ファイルを転送する時に困った経験はありませんか？ メールが大容量ファイルの送信・受信に対応していなかったり、そもそもファイルが重すぎてメール添付がなかなか完了しなかったり・・・ でも、DropboxのPublic Link機能を使えば、Dropbox内にあるファイルならばiPhoneからサクッと転送できます。また、iPhoneで撮影した動画、GoodReaderなどのアプリに保... 続きを読む

Dropboxだけじゃない！ 大容量ファイルでも楽に使える5つのファイル共有サービス : ライフハッカー［日本版］

2012/02/08 407 users Dropbox MEGAUPLOAD ライフハッカー 日本版

Webツール , ストレージ Dropboxだけじゃない！ 大容量ファイルでも楽に使える5つのファイル共有サービス 2012.02.08 21:00 コメント数：[ 0 ] Tweet ファイル共有サイト「MegaUpload」が閉鎖されることになりました。著作権侵害が本当なのかは少々疑わしいところですが、サービスが使えなくなることは確かなので、利用中の人はすぐにデータを他のファイル共有サイトやオ... 続きを読む

無料で5GBまで保存できる、音声端末・スマフォにも対応の「Yahoo!ボックス」の使い方 - GIGAZINE

2011/10/12 234 users GIGAZINE パソコ オンラインストレージ スマフォ 無料

パソコンやスマートフォン、そしてフィーチャーフォンを使って、大容量ファイルのアップロードなどができるのかどうかを、昨日発表された5GBまで保存できる無料のオンラインストレージ「Yahoo!ボックス」で試してみました。 ◆アップロード再開機能も備えたパソコン版「Yahoo!ボックス」 まずは「Yahoo!ボックス」のトップページ。パソコンで利用するためには「インストールページへ」をクリック。 パソコ... 続きを読む

無料ストレージ「Nドライブ」の容量が30Gバイトに拡張--Mac OSにも対応 - CNET Japan

2011/08/03 384 users Nドライブ 拡張 容量 無料ストレージ CNET Japan

ネイバージャパンは8月3日、無料のオンラインストレージサービス「Nドライブ」のバージョンアップを実施し、最大保存容量を従来の10Gバイトから約3倍の30Gバイトに拡張したと発表した。iPhoneおよびAndroidアプリ版も近日中に対応する予定。 また、1ファイルあたりの転送量制限を200Mバイトから4Gバイトに大容量化し、大容量ファイルの保存制限も撤廃した。これまで1ファイルあたり50Mバイトを... 続きを読む

大容量ファイルのSCP転送を高速にする方法 - RX-7乗りの適当な日々

2010/10/24 237 users RX-7乗り 日々 方法

IT, Linux 比較的大きいサイズのファイルをSCPで転送することがあって、できるだけ高速化してみたかったので、色々試してみたメモ。scpというかsshには、暗号化方式と圧縮有無の指定があるので、それらのベンチマークを。尚、以下は、SSH v2が対象です。v1はかなり遅かったのと、そもそも使っていないので試していません。 ベンチマークで利用した環境 Server1 Gigabit Switch... 続きを読む

無料！大容量ファイル転送のFileTruck

2007/03/22 338 users ファイル 送信 相手 大容量 最大1GB

無料で最大1Gまでの大容量ファイルを超高速転送大容量ファイル転送のFileTruckは、メールには添付できない大容量のファイルをあなたに代わってお届けする無料サービスです。 １回の送信で最大1GBまでの大容量ファイルを相手の方へ無料転送する事が可能です。 大容量ファイル転送のFileTruck 機能紹介 [1] 最大1Gまでの大容量ファイルを相手の方へ無料転送します。 [2] 簡易アドレス帳機能 ... 続きを読む

無料大容量ファイル転送サービス「宅ふぁいる便」

2005/02/12 1345 users 宅ふ オンラインストレージ セキュア SSL暗号化 提供

大容量ファイル無料転送サービスといえば宅ふぁいる便! メールでは送れない大容量ファイルをssl暗号化によってセキュアに、安全に送信できます。無料のオンラインストレージを1999年から提供、大阪ガスグループ(株)エルネットお問い合わせは[よくあるご質問]の お問い合わせフォームからお寄せください。 ※電話でのお問い合わせはご遠慮ください。 続きを読む