「長年のサポートに感謝」県庁の電子計算機運用終了の催し｜NHK 愛媛のニュース

2024/02/21 101 users 県庁 演算装置 愛媛県庁 愛媛 税金

愛媛県庁でおよそ５０年にわたって税金の計算や会計業務などに使われてきた大型の演算装置、電子計算機の運用が２０日で終了となり県庁で催しが行われました。 愛媛県庁の機械室に設置されている電子計算機は、縦およそ１メートル８０センチ、横およそ６０センチで、複雑なデータ処理を高速で行うことができ、昭和４８年... 続きを読む

NVMeに新機能。ストレージがデータ処理を行う「コンピュテーショナルストレージ」、NVM Expressが発表

2024/01/30 93 users NVMe ストレージ NVM Express ストレージ内

NVMe関連規格の標準化団体であるNVM Expressは、ストレージ内でデータ処理を行うための業界標準「コンピュテーショナルストレージ」機能を発表しました。 コンピュテーショナルストレージとは、その名前が示す通り計算機能を備えたストレージのことです。 基本的にストレージに格納されたデータは、ストレージから取り出... 続きを読む

ユニバーサル アナリティクスのサポートは終了します - アナリティクス ヘルプ

2022/03/16 212 users アナリティクス プロパティ ヘルプ サポート 最終更新日

この記事では、2023 年 7 月 1 日（アナリティクス 360 プロパティの場合は 2023 年 10 月 1 日）をもってデータ処理が停止されるユニバーサル アナリティクス プロパティについて説明します。まだ使用していない場合は、Google アナリティクス 4 プロパティの使用を開始してください。 （最終更新日: 2022 年 3 月 16 ... 続きを読む

今すでに2人の研修中の新卒を受け持ってるんだけど差が酷い。 1人は商業高..

2020/03/18 256 users 新卒 商業 word 研修中 ワード

今すでに2人の研修中の新卒を受け持ってるんだけど差が酷い。 1人は商業高校出身で入力速度もデータ処理も早いし 機能を理解しているから説明すれば気持ちいくらいすぐにできるようになる 対してもう1人 今までOffice自体をほとんど使ったことがないらしく、 「Wordを開いて」という指示さえ通じなかった。 「わーどって... 続きを読む

Data Associate - Japanese（契約社員） - ジョブID：804692 | Amazon.jobs

2019/04/15 54 users Annotation Japanese メタデータ テキスト

説明Amazonではご自宅で日本語のデータ処理を行うData Associateを募集しています。このチームではAlexaの音声認識を支える様々なデータ処理に携わっています。Data Associateは音声データをテキストとして入力するTranscription、そのテキストにメタデータを付与するAnnotationなど、データを分析するチームからの様々... 続きを読む

Pandasで行うデータ処理を100倍高速にするOut-of-CoreフレームワークVaex - フリーランチ食べたい

2019/04/13 243 users pandas Panda tl;dr メソッド マルチコア

TL;DR アウトオブコア、かつマルチコアでデータ処理を行えるVaexの紹介です。 string関係のメソッドで平均して100倍以上の高速化が確認できました。(作者のベンチマークだと最大1000倍) 文字列処理以外でも数倍~数十倍の高速化が行えそうです。 この記事では性能の比較のみ行い、解説記事は別で書こうと思います。 panda... 続きを読む

すぐ辞める若者は合理的——「裁量労働悪用する」会社は採用できない | BUSINESS INSIDER JAPAN

2018/02/26 53 users 裁量労働 BUSINESS INSIDER JAPAN

裁量労働制の対象拡大をめぐり、政府のデータ処理が不適切だったとして実施の先送りが検討されるなど、国会が紛糾している。 裁量労働制とは、実際の労働時間に関係なく、労使で合意した時間だけ働いたとみなして、賃金を支払う仕組み。 何時間働いても賃金が一定であることから、裁量労働制が結果的に企業の人件費削減に使われるのでは、との声は根強い。 時は空前の人手不足時代。無制限に残業をさせたら、若者はすぐに辞める... 続きを読む

東京新聞:裁量労働データ「時間取れず ずさんな調査に」　担当監督官が証言:政治(TOKYO Web)

2018/02/25 278 users 証言 政治 内規 調査 TOKYO Web

裁量労働制に関する厚生労働省調査に不適切なデータ処理があった問題で、調査に当たった労働基準監督官の男性が二十四日までの共同通信の取材に「一社当たりの調査時間を約一時間半とする内規に従ったが、（私の場合）十分な時間が取れなかった。結果的に調査がずさんになってしまった」と証言した。 この調査を巡っては、これまで不自然な数値が二百件以上見つかっているが、実際に担当した監督官が調査手法の不備を証言するのは... 続きを読む

暗号通貨ブームの裏側で顕在化してきた、その基盤技術の「構造的な問題」｜WIRED.jp

2018/01/21 307 users 顕在化 WIRED.jp 基盤技術 裏側 問題

SHARE INSIGHT 2018.01.22 MON 08:00 暗号通貨ブームの裏側で顕在化してきた、その基盤技術の「構造的な問題」 ビットコインの価格は1月に入って暴落したとはいえ、まだ高い水準にある。そんななか、暗号通貨にまつわるデータ処理の遅さやそれに伴う売買手数料の高止まりなどの問題が改めて浮き彫りになっている。こうした基盤技術の構造的な問題は、いかに解決されていくものなのか。 TE... 続きを読む

Pythonで大量データ処理！ PySparkを用いたデータ処理と分析のきほん // Speaker Deck

2017/09/08 367 users PySpark キホン Python 分析 大量データ処理

All slide content and descriptions are owned by their creators. 続きを読む

Pandasによる実践データ分析入門 - Gunosyデータ分析ブログ

2017/05/11 177 users pandas Python 米津玄師 テクニック データ集計

2017 - 05 - 11 Pandasによる実践データ分析入門 Python 時系列分析 Pandas こんにちは。データ分析部のオギワラです。最近は「NANIMONO (feat.米津玄師)」をよく聞いています。 今回はPythonのデータ分析ライブラリであるPandasについて、実践的なテクニックを「データ処理」「データ集計(Group By)」「時系列処理」の３カテゴリに分けてご紹介して... 続きを読む

AIが新聞記事を書いてみた　執筆1秒、データ処理に強み （西日本新聞） - Yahoo!ニュース

2017/01/10 58 users 強み Yahoo 西日本新聞 ニュース 新聞記事

人工知能（AI）やロボットの技術革新が進み、文章を自動作成する手法も急速に向上している。AI関連技術はどこまで進んだのだろうか。データを基に原稿を書ける「ロボット記者」に、10日の天気予報を記事化してもらった。 利用したのは、米IT企業「オートメーテッド・インサイツ」（AI社）のサービス。「人間の記者」が日本気象協会九州支社（福岡市）から、10日の気温や降水確率など約20項目の天気予報データを受け... 続きを読む

［速報］「AWS Batch」発表。AWS上でスケーラブルなバッチ処理を実現。AWS re:Invent 2016 － Publickey

2016/12/01 62 users マネージドサービス Publickey 演算 ラスベガス 速報

Amazon Web Servicesはラスベガスで開催中の年次イベント「AWS re:Invent 2016」において、バッチ処理のマネージドサービス「AWS Batch」を発表しました。 金融サービスやライフサイエンス、デジタルメディアなどでは膨大な演算をAWS上で行っているお客様がいると、Amazon.com CTOのWerner Vogels氏。 こうした膨大なデータ処理にはバッチ処理が用... 続きを読む

AWSの無料枠についてまとめた - 食べられません

2016/05/21 260 users AWS ごっちゃ 無料枠 毎月 １２ヶ月間

2015 - 04 - 07 AWSの無料枠についてまとめた AWS 登録から12ヶ月間無料で使える枠と、その後も引き続き無料で使える枠がゴッチャになるのでまとめた 新規利用から12ヶ月間（毎月）無料の枠 EC2 t2.micro Linux 750時間 ELB 750時間 + 15GB分のデータ処理 EBS 30GB + 1GB分のスナップショットストレージ S3 5GBの標準ストレージ 20,... 続きを読む

TreasureData - Luigi によるワークフロー管理 - Qiita

2015/12/07 75 users Qiita TreasureData Luigi 過程 ツール

Workflow Hacks! #1 が開催されるなど、データ分析のワークフロー管理が見直されつつある今日この頃ですが、Treasure Data 社内ではこれまでのところ Luigi を主なツールとして利用しています。ここでは Luigi を使ったワークフローがどのようなものであるかを紹介します。 ワークフロー管理ツールとは？ データ分析における「ワークフロー管理ツール」とは、データ処理の過程で... 続きを読む

CSV/TSVに対してSQL発行できるツール「Q」 ｜ Developers.IO

2015/08/24 96 users TSV CSV SQL Excel Developers.IO

今日はCSV/TSVなどのテキストファイルをSQLで操作できるツール「Q」の紹介です。 使いどころ データ処理を実施する時にはDBに保存されているデータやテキストファイルなどをCSVやTSV等の一定のフォーマットに変換して処理することが多いと思います。そのデータ内容を確認するときには、例えばExcel等に貼り付けることもあると思います。ただ、Excelではデータ量が数百万件規模になってくるとソフト... 続きを読む

初心者でもほぼ無料でR言語を勉強できるコンテンツ10選 - paiza開発日誌

2015/06/04 767 users paiza開発日誌 R言語 谷口 プログラミング言語 初心者

2015-06-04 初心者でもほぼ無料でR言語を勉強できるコンテンツ10選 Photo by Alejandro Hurtadoこんにちは。谷口がお送りします。ITエンジニアの方の中には「R言語を学習したい」という方も多くいらっしゃるかと思います。R言語は、データ分析やデータ処理に特化したオープンソースのプログラミング言語です。システムを開発をする他のプログラムミング言語とは位置付けが異なり、統... 続きを読む

OSC・シェルのプロが語る『make を使ったデータ処理。』 【make 教】 - OSC2015 Tokyo/Spring 発表資料

2015/03/01 61 users spring Make hi_saito 斉藤 明星大学

Transcript 1. http://gauc.no-ip.org/awk-users-jp/日本 GNU AWK ユーザー会 斉藤 @hi_saito - 1 - OSC・シェルのプロが語る 『make を使ったデータ処理。』 【make 教】 日本 GNU AWK ユーザー会 斉藤 博文 2015 年 2 月 28 日 OSC 2015 Tokyo/Spring @明星大学 2. 自己紹介... 続きを読む

スタートアップのデータ処理・分析基盤、作るか、使うか | ツチノコブログ

2015/02/23 318 users ツチノコブログ スタートアップ

初めまして、tagomorisといいます。今回縁あってゲストでエントリを書くことになりました。実に感慨深い気分です。 さて本題ですが、DMM.comを含めた多くのWebサービス・インターネットサービスでは、今やデータの収集・処理・分析といったタスクが非常に重要なものになっていることは多くの方に賛同をいただけるもの初めまして、tagomorisといいます。今回縁あってゲストでエントリを書くことになり... 続きを読む

統計屋のためのAWK入門 - あんちべ！

2014/09/15 639 users アンチ awk FAIL 本稿 抽出

2014-09-15 統計屋のためのAWK入門 はじめに 本稿はAWKという言語を用いて、 ごく簡単にデータ分析用の前処理*1をするための解説記事です。AWKは短いコマンドを記述するだけで多様なデータ処理を可能にします。 特にデータの抽出に関して恐るべき簡易さを提供します。 具体的には、input.txtというファイルの中から "fail"という文字列を含む行を抽出したければ次のように書くだけです... 続きを読む

SSDのせいで現代の犯罪捜査が極めて困難になっている状況が判明、その原因をSSDの仕組みから解説 - GIGAZINE

2014/06/20 518 users GIGAZINE ソリッドステートドライブ SSD Nam

By Jung-nam Nam 高速なデータ処理が可能なソリッドステートドライブ(SSD)の高性能化・低価格化・大容量化の勢いはとどまるところを知らず、2014年度中にもIntelは2TBの高速SSDをリリースする予定です。身近なストレージとして普及しつつあるSSDですが、犯罪捜査におけるデータ解析を困難にさせる存在であると指摘されています。 Belkasoft: Digital Evidence... 続きを読む

FacebookがオープンソースのSQL対応分散クエリエンジンPrestoを発表、ペタバイト規模のデータ処理も可能 - GIGAZINE

2013/11/07 72 users GIGAZINE Facebook Presto クエリ 発表

By Intel Free Press ギガバイトからペタバイト(100万ギガバイト)まであらゆるサイズのデータをインタラクティブに解析して必要なデータを発見可能となるオープンソースのSQL対応分散クエリエンジンがPrestoです。Facebookのような企業が持つ大量の商業データでも高速に処理可能となるように設計されており、Prestoの出すクエリ(データベース管理システムに対する処理要求を文字... 続きを読む

Rubyによるデータ処理

2013/02/09 61 users Ruby

TSVファイル タブ区切り（TSV，Tab-Separated Values）テキストを読んでCSV（Comma-Separated Values）にして出力する。 #! /usr/bin/ruby -Ku while line = gets() puts line.split("\t").join(",") end CSVファイル 上と逆に，CSVを読んでTSVを出力するには，上と同様にして "... 続きを読む

トランザクションデータ（とマスターデータ）について思うところ - 急がば回れ、選ぶなら近道

2011/12/25 82 users トランザクションデータ トランザクション 近道 大抵 制御

業務系のデータ処理では、大きくはトランザクションとマスターに分かれる。 マスターデータは特に、モデルや制御の方法が何かと面倒くさいので、よく議論になる。「マスターデータの管理の手法」というセミナーまで定期的に普通に開かれることも多い。他方、トランザクションデータ（以下TXデータ）は、普通に受け渡しのデータなので、フラットにダラダラ書いておけばよい、という扱いが大抵になる。そもそもER志向でモデルを... 続きを読む

C#／Scala／Python／Ruby／F#でデータ処理はどう違うのか？ － ＠IT

2011/07/22 374 users Scala 岩永 Ruby Python プログラミング言語

特集：人気言語でのデータ処理の比較 C#／Scala／Python／Ruby／F#でデータ処理はどう違うのか？ 岩永 信之 2011/07/22 ■概要 以前、C#でのデータ処理について解説した。今回は、同様のデータ処理を、C#以外のプログラミング言語ではどうしているのか、（C#も含めて）以下の5つの言語を比較しながら説明していく。 C# Scala Python Ruby F# 結果としてできる... 続きを読む