データ解析用ライブラリ - Qiita

2024/03/21 5 users Qiita pandas ライブラリ データ解析 皆さん

はじめに 皆さん、データ解析やデータ処理にどのライブラリを使用していますか？ 恐らく、ほとんどの人がpandasを使用していると思います。 今回は、その他のデータ解析用ライブラリやデータ処理ライブラリについて紹介したいと思います(/・ω・)/ Pandas 言わずと知れたデータ解析用ライブラリですね。 データフレームと... 続きを読む

「長年のサポートに感謝」県庁の電子計算機運用終了の催し｜NHK 愛媛のニュース

2024/02/21 101 users 県庁 演算装置 愛媛県庁 愛媛 税金

愛媛県庁でおよそ５０年にわたって税金の計算や会計業務などに使われてきた大型の演算装置、電子計算機の運用が２０日で終了となり県庁で催しが行われました。 愛媛県庁の機械室に設置されている電子計算機は、縦およそ１メートル８０センチ、横およそ６０センチで、複雑なデータ処理を高速で行うことができ、昭和４８年... 続きを読む

NVMeに新機能。ストレージがデータ処理を行う「コンピュテーショナルストレージ」、NVM Expressが発表

2024/01/30 93 users NVMe ストレージ NVM Express ストレージ内

NVMe関連規格の標準化団体であるNVM Expressは、ストレージ内でデータ処理を行うための業界標準「コンピュテーショナルストレージ」機能を発表しました。 コンピュテーショナルストレージとは、その名前が示す通り計算機能を備えたストレージのことです。 基本的にストレージに格納されたデータは、ストレージから取り出... 続きを読む

NTTと東京電力、再生エネルギー型データセンターを共同開発 - 日本経済新聞

2023/12/19 6 users 東京電力ホールディングス 東京電力 生成AI 人工知能 電力

NTTと東京電力ホールディングスは再生可能エネルギーで電力をまかなうデータセンター（DC）を共同で開発する。今後普及が見込まれる生成AI（人工知能）は膨大なデータ処理が必要で大量の電力を消費する。環境負荷が低いDCの開発を進め、脱炭素化と需要取り込みを両立する。NTTグループのDC事業を統括するNTTグローバルデ... 続きを読む

Googleアナリティクスの過去データをMatomoにインポートして移行し解析結果を保存する手順まとめ

2023/07/15 13 users ユニバーサル アナリティクス GA4 前世代 Google

Googleが提供するアクセス解析サービスのGoogleアナリティクスでは、2023年7月1日に「Google アナリティクス 4(GA4)」への完全移行が実施され、前世代のGoogleアナリティクスである「ユニバーサル アナリティクス(UA)」でのデータ処理が終了しました。完全に更新が止まったUAのデータをそのうちGoogleが消したりアクセス... 続きを読む

OpenAIがイタリアからのChatGPTへのアクセスをブロック

2023/04/03 5 users OpenAI chatgpt 命令 人工知能 チャットAI

人工知能(AI)研究所のOpenAIが、チャットAIであるChatGPTへのイタリアからのアクセスをブロックし始めたことが明らかになりました。これはイタリアのデータ保護機関による「イタリア人のデータ処理を停止せよ」という命令に従うものです。 Italy orders ChatGPT blocked citing data protection concerns | TechCrunch h... 続きを読む

まつもとゆきひろと考えるデータ処理の未来 RubyからStreemへ〜Ruby開発者 まつもとゆきひろ（Matz）さん【データ×まつもとゆきひろ】｜株式会社primeNumber

2023/02/17 13 users Matz Streem Ruby もとゆきひろ リリース

まつもとゆきひろと考えるデータ処理の未来 RubyからStreemへ〜Ruby開発者 まつもとゆきひろ（Matz）さん【データ×まつもとゆきひろ】 ソフトウェア技術者のまつもとゆきひろ（Matz）さんが開発したRubyは、1995年のリリースから現在まで世界中のユーザーに愛され、開発に利用されてきたプログラミング言語です。一般財... 続きを読む

Meta が公開したデータ処理の効率化・高速化を狙うエンジン Velox が面白そう

2022/09/01 5 users Meta OSS リポジトリ 日課 エンジン

日課の RSS フィードを眺めていると、クエリエンジンやデータ処理の最適化のための高速化ライブラリが Meta が OSS として公開した1 のを知った。 Velox のリポジトリはこちら facebookincubator/velox: A C++ vectorized database acceleration library aimed to optimizing query engines and data processing systems... 続きを読む

ユニバーサル アナリティクスのサポートは終了します - アナリティクス ヘルプ

2022/03/16 212 users アナリティクス プロパティ ヘルプ サポート 最終更新日

この記事では、2023 年 7 月 1 日（アナリティクス 360 プロパティの場合は 2023 年 10 月 1 日）をもってデータ処理が停止されるユニバーサル アナリティクス プロパティについて説明します。まだ使用していない場合は、Google アナリティクス 4 プロパティの使用を開始してください。 （最終更新日: 2022 年 3 月 16 ... 続きを読む

CPU使用率90%を超える高負荷がLNEのHive Metastoreで発生　Hive table formatの課題はApache Icebergで解消

2021/11/16 6 users 齋藤氏 エンジニア向け技術カンファレンス 導入 オンライン

2021年11月10日と11日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2021」がオンラインで開催されました。そこで齋藤氏と尾野氏が「LINEデータプラットフォームにおけるApache Icebergの導入」というテーマで、データ処理とデータのインジェスチョンパイプラインについて紹介... 続きを読む

なぜ私はデータ処理においてNimをPythonの代わりに使うのか（翻訳）

2021/09/26 9 users 怠け者 プログラマー アルゴリズム nim プログラミング

この記事は以下の翻訳です Why I Use Nim instead of Python for Data Processing 怠け者のプログラマーは、計算の手間をプログラミングの手間に置き換えたがるものです。私はまさにそのようなプログラマーです。私の研究では、テラバイト級の大規模データを対象としたアルゴリズムを設計・実行することがよくあります。... 続きを読む

NTTとスカパーJ、宇宙でデータ処理　電力消費削減: 日本経済新聞

2021/05/19 20 users NTT 日経 地上 複製 宇宙

日経の記事利用サービスについて 企業での記事共有や会議資料への転載・複製、注文印刷などをご希望の方は、リンク先をご覧ください。 詳しくはこちら NTTが宇宙空間でデータ処理をする仕組みの実用化に乗りだす。地上の自動車や発電所から得たデータを衛星間で処理をして、効率的な運転につながる情報にして戻す。宇宙... 続きを読む

ワクチン接種の予約受け付け停止　LINE利用のシステム ｜ 共同通信

2021/05/12 18 users ワクチン接種 新型コロナウイルス セールスフォース 米国 障害

新型コロナウイルスのワクチン接種を巡り、東京都狛江市など複数の自治体で12日、予約の受け付けができなくなった。通信アプリのLINE（ライン）を使った予約システムなどで、データ処理に関わる米国のIT企業「セールスフォース・ドットコム」に障害が起きたのが原因とみられる。 受け付けができなくなったのは、東京都目... 続きを読む

ディアキス、大規模通信支援システム開発: 日本経済新聞

2021/04/19 6 users 日経 サーバー 複製 渋谷 会議資料

日経の記事利用サービスについて 企業での記事共有や会議資料への転載・複製、注文印刷などをご希望の方は、リンク先をご覧ください。 詳しくはこちら ディアキス（東京・渋谷）は大規模通信支援システムを開発した。複数のサーバーが協力してデータ処理をすることで、1つのサーバーに不具合が起きた場合でもシステム全... 続きを読む

TwitterがGoogle Cloudプラットフォームと戦略的パートナーシップを拡大する複数年契約に署名 - GIGAZINE

2021/02/05 6 users GIGAZINE Twitter ワークロード 署名 自社

Googleが2021年2月4日に、Google Cloudを通じた戦略的パートナーシップの拡大に関する複数年契約をTwitterと締結したと発表しました。この契約はTwitterが自社で行っていたツイートの分析や機械学習のワークロードをGoogle Cloudプラットフォームに移行するもので、Twitterはさらに高速なデータ処理を行えるようになると... 続きを読む

「SSD」を駄目にする間違った使い方と、正しい使い方：特選プレミアムコンテンツガイド - TechTargetジャパン サーバ＆ストレージ

2021/01/07 14 users ストレージ TechTargetジャパン HDD SSD 保管

ダウンロードはこちら SSDとHDDはどちらもストレージだが、仕組みは異なる。HDDと同じような管理方法や設定でSSDを使用すると、故障しやすくなったり、データ処理の効率を低下させたりする恐れがある。保管に適したデータの種類も、SSDとHDDでは異なる。 読み出しが速いというSSDのメリットを生かすには、どのような設定... 続きを読む

JuliaとPythonを併用したデータ処理のススメ - Techブログ - MNTSQ, Ltd.

2020/12/07 23 users NumPy MNTSQ ルーチン Python 試行錯誤

Pythonでデータ処理をしている際、numpyにはまらないごちゃごちゃした前処理があり、ちょっと遅いんだよなぁ。。。となること、ないでしょうか。 ルーチンになっている解析であれば高速化を頑張る意味がありそうですが、新しい解析を試行錯誤している最中など、わざわざ高速化のためのコードをガリガリ書いていくのは辛... 続きを読む

今すでに2人の研修中の新卒を受け持ってるんだけど差が酷い。 1人は商業高..

2020/03/18 256 users 新卒 商業 word 研修中 ワード

今すでに2人の研修中の新卒を受け持ってるんだけど差が酷い。 1人は商業高校出身で入力速度もデータ処理も早いし 機能を理解しているから説明すれば気持ちいくらいすぐにできるようになる 対してもう1人 今までOffice自体をほとんど使ったことがないらしく、 「Wordを開いて」という指示さえ通じなかった。 「わーどって... 続きを読む

無料で機械学習やデータ処理の流れを簡単に可視化してくれるワークフローツール「Flyte」を触ってみた - GIGAZINE

2020/01/11 14 users サイコパス GIGAZINE 手作りキット 運転カー 自動車

「宿泊者がサイコパスかどうか」を予約前にチェックする仕組みやわずか11万円で自動車を「完全自動運転カー」に改造できる手作りキットが開発されるなど、機械学習を利用した技術の開発はますます活発になっています。そうした機械学習やデータ処理においては開発プロジェクトのコードやデータなどのワークフロー全体を... 続きを読む

AWS GlueでApache Sparkジョブをスケーリングし、データをパーティション分割するためのベストプラクティス | Amazon Web Services ブログ

2019/10/28 16 users ベストプラクティス パーティション AWS Glue 抽出

Amazon Web Services ブログ AWS GlueでApache Sparkジョブをスケーリングし、データをパーティション分割するためのベストプラクティス AWS GlueはApache Spark ETLジョブでのデータ分析・データ処理を行うために、様々なデータソースから大量のデータセットを準備(抽出および変換)し、ロードするサーバーレスな環境を... 続きを読む

Rubyコミッターの村田賢太がApache Arrowのコミッターに就任 | 株式会社Speee

2019/10/01 17 users コミッター mrkn Committers 村田賢太 村田

株式会社Speee開発部R&Dグループ所属のRubyコミッター、村田賢太/mrkn がApache Arrowのコミッターに就任いたしました。 https://arrow.apache.org/committers/ Apache Arrowとは、オンラインメモリのデータ表現、データ処理を効率化するプロジェクトです。 村田は弊社のデータ利活用を推進するR&D領域に対して指導的な... 続きを読む

MongoDB〜OSSのNoSQLサーバ〜 | OSSでのシステム構築・デージーネット

2019/09/03 25 users OSS NoSQL MongoDB IoT デージーネット

MongoDBとは、ビッグデータやIoTのデータ処理に利用されるオープンソースソフトウェアのNoSQLサーバです。MongoDB Enterprise Advancedという商用版もあります。AmazonやGoogleが、クラウド・サービス上でMongoDB互換のDBを提供するなど、NoSQLとしては最もスタンダードなソフトウェアです。 MongoDBとは MongoDBとは、... 続きを読む

Data Associate - Japanese（契約社員） - ジョブID：804692 | Amazon.jobs

2019/04/15 54 users Annotation Japanese メタデータ テキスト

説明Amazonではご自宅で日本語のデータ処理を行うData Associateを募集しています。このチームではAlexaの音声認識を支える様々なデータ処理に携わっています。Data Associateは音声データをテキストとして入力するTranscription、そのテキストにメタデータを付与するAnnotationなど、データを分析するチームからの様々... 続きを読む

Pandasで行うデータ処理を100倍高速にするOut-of-CoreフレームワークVaex - フリーランチ食べたい

2019/04/13 243 users pandas Panda tl;dr メソッド マルチコア

TL;DR アウトオブコア、かつマルチコアでデータ処理を行えるVaexの紹介です。 string関係のメソッドで平均して100倍以上の高速化が確認できました。(作者のベンチマークだと最大1000倍) 文字列処理以外でも数倍~数十倍の高速化が行えそうです。 この記事では性能の比較のみ行い、解説記事は別で書こうと思います。 panda... 続きを読む

新発表 – AWS Transfer for SFTP – Amazon S3と連携したマネージドなSFTPサービス | Amazon Web Services ブログ

2018/11/26 48 users AWS Transfer for SFTP sftp 長年

Amazon Web Services ブログ 新発表 – AWS Transfer for SFTP – Amazon S3と連携したマネージドなSFTPサービス SFTP（Secure File Transfer Protocol） は、長年に渡って使用されてきたデータ処理やパートナー連携の一部として、現在でも多くの組織で利用されています。このようなシステムを「レガシー」という言葉で片... 続きを読む