タグ CSVファイル
人気順 10 users 50 users 100 users 500 users 1000 usersBigQueryエミュレータを使ったETLのインテグレーションテスト - MonotaRO Tech Blog
2024/12/19
10 users
ETL
インテグレーションテスト
藤本
テスト
ビッグデータ
TL;DR BigQuery Emulator と fake-gcs-server を組み合わせることでbqコマンドでCSVファイルを読み込んでETLのインテグレーションテストができた。 はじめに こんにちは。先日こちらの記事を書いたCTO-Officeの藤本です。そこでは書ききれなかったETLについて書いておきたいと思います。 ビッグデータを扱うETLのテスト... 続きを読む
ExcelでCSVファイルを「0落ち」や「文字化け」なしで開く方法 - Qiita
2024/08/19
122 users
先頭
Qiita
郵便番号
データ
電話番号
はじめに CSVファイルをExcelで開こうとしたとき、電話番号や郵便番号の先頭のゼロ（0）が自動的に消えてしまったり、文字化けしてしまう...。そんな悩みをお持ちの方はいませんか？この記事では、データを正確に保持しながらCSVファイルを開く方法を簡潔にご紹介します。 1.CSVファイルとは そもそもCSVファイルって何... 続きを読む
マイクロソフト、「Copilot Connectors」発表。CSVファイルからOracle、Salesforceなどさまざまなサービスやデータソースと接続しAIが理解
2024/05/22
10 users
SalesForce
Oracle
COPILOT
理解
発表
マイクロソフト、「Copilot Connectors」発表。CSVファイルからOracle、Salesforceなどさまざまなサービスやデータソースと接続しAIが理解 マイクロソフトは日本時間5月22日から開催中のイベント「Microsoft Build 2024」で、Microsoft Copilotをさまざまな外部のサービスやデータソースと接続することで、Copilotがそれ... 続きを読む
CSVファイルをもとに3分でウェブアプリ完成！ NASでも動くローコード開発環境「Budibase」【イニシャルB】
2023/01/09
12 users
NAS
ローコード開発環境
イニシャルB
もと
３分
CSVファイルが勝手に「Excel」ファイルに？ 「OneDrive」の謎仕様に驚きと戸惑いの声／コンシューマー向けのみの仕様、ビジネス向けでは起こらない【やじうまの杜】
2022/11/25
140 users
OneDrive
やじうま
Excel
コンシューマー向け
freee会計と楽天銀行のAPI連携契約満了に伴う 口座明細の自動取り込み停止のお知らせ | プレスリリース | corp.freee.co.jp
2022/01/24
222 users
満了
freee会計
corp.freee.co.jp
口座
■マジ価値サマリー（このお知らせでお伝えしたいこと） ・楽天銀行の参照系APIを活用した法人・個人ビジネス・個人口座のAPI連携契約が満了をむかえます ・それに伴い、2月24日17時頃に口座明細の自動取り込みが停止されます ・同日以降、楽天銀行口座との連携はCSVファイルのアップロードで対応いただくことが可能です ... 続きを読む
【Excel】CSVファイルをダブルクリックするのは絶対NG！CSVファイルはPower Queryで取り込みましょう - いまさら聞けないExcelの使い方講座 - 窓の杜
2020/12/02
142 users
Excel
Power Query
使い方講座
Google、都道府県別コロナ予測「COVID-19感染予測（日本版）」提供開始 - ITmedia NEWS
2020/11/17
249 users
ITmedia News
Google
BigQuery
米Googleは11月17日、8月に米国向けに公開した新型コロナウイルス感染予測サービス「COVID-19 Public Forecasts」の日本版「COVID-19感染予測（日本版）」を公開した。 また、医療機関や研究機関向けにGoogle Cloud Platformで提供されるビッグデータ解析プラットフォーム「BigQuery」やCSVファイルとしても提供する。 ... 続きを読む
【Excel】テキストファイルウィザードが見付からない?!旧バージョンのエクセルと同じ方法でCSVファイルを取り込む方法 - いまさら聞けないExcelの使い方講座 - 窓の杜
2020/09/22
8 users
Excel
エクセル
旧バージョン
使い方講座
方法
【Excel】CSVファイルをダブルクリックで開いてはいけない!?エクセルでCSVを正しく取り込む方法 - いまさら聞けないExcelの使い方講座 - 窓の杜
2020/09/15
263 users
CSV
ダブルクリック
Excel
エクセル
使い方講座
【S3からS3へ】Node.js の Streaming API を使って Lambda Function のみで CSVファイルを JSON LINE ファイルへ変換する | Developers.IO
2020/05/15
5 users
Lambda Function
node.js
CSV to JSON LINE fast-json のドキュメントを見ながら実装します。transform をうまく使えば実装できそうです。 converter.js const { EOL } = require（'os'）; const { parse } = require（'fast-csv'）; const stream = require（'stream'） // 入力CSVをまずはテキストで用意します const CSV_STRING = [ '回答ID,a... 続きを読む
【Excel】毎日集計のCSVファイルもクエリ機能で一発自動更新：Tech TIPS - ＠IT
2020/04/16
10 users
Excel
集計
クェリ機能
Tech TIPS
CSV
ExcelでCSV／テキストファイルを読み込む 拡張子が「.csv」のタブ区切りファイルを読み込むと、正しくセルに読み込めないことがある。毎回、セルに正しく値を読み込ませるために区切り記号を置換するなどしていないだろうか。CSV／テキストファイルを効率よく読み込む方法を解説する。 カンマ区切りファイル形式（以下、... 続きを読む
覚えておきたいPythonの基本、Excelのセルやシートを自在に操る方法 | 日経 xTECH（クロステック）
2020/02/06
7 users
ソースコー
xTech
Python
Excel
セル
Pythonでプログラミングすれば、Excelを起動することなく、任意のセルのデータを抜き出したり、加工したりできます。「売上伝票（Excelデータ）の値をWeb販売管理システムに入力するため、CSVファイルに転記する」作業の自動化を通じて、具体的な方法を見ていきましょう。 前回、この作業を自動化するPythonのソースコー... 続きを読む
ちょっと面白いスクリプト！グラフやチャートを手書き風のラフな感じにするJavaScriptライブラリ -roughViz | コリス
2019/12/18
17 users
コリス
Rough
カンマ区切り
スクリプト
度合い
手書きスタイルのグラフやチャートを簡単に作成できるJavaScriptライブラリを紹介します。手書きの度合いも調整でき、ちょとラフな感じ、雑な感じ、かなり雑な感じ、ぐちゃぐちゃな感じにもできます。 グラフやチャートに使用するデータは外部.csvファイルにも、カンマ区切りのテキストデータにも対応しています。 rough... 続きを読む
csvdiff - CSVに特化した差分ビューワー MOONGIFT
2019/06/07
77 users
MOONGIFT
CSV
現役バリバリ
フォーマット
差分
CSVファイルは今なおシステムの中で現役ばりばりに利用されています。様々なシステムから出力されるCSVファイルに対して、差分を確認したいと考えることはないでしょうか。通常の差分表示では、CSVのようなフォーマットではうまく表示できないかも知れません。 そこで使ってみたいのがcsvdiffです。CSVに特化した差分表... 続きを読む
【超簡単】エクセルVBAでCSVファイルを読み込むマクロ
2019/02/22
55 users
エクセルＶＢＡ
VBA
マクロ
手順
通常
VBAでCSVファイルを読み込むための「汎用CSV読み込みマクロ」を作りました。 CSVファイルを読み込むとき、通常の手順で開こうとすると次のように面倒な場合があります。 「1-2-3」→「2001/2/3」 「09012345678」→「9012345678」、など内容が変化してしまう 文字化けしてしまう テキストファイルウィザードで、データの形... 続きを読む
CSVファイルを呼び出す前に文字コードを確認するようにする。 | バシャログ。
2019/01/24
19 users
バシャログ
forEach
文字コード
PHP
エク
みなさんこんにちは 私の担当したプロジェクトで必要な情報をエクセルからCSVファイルに変換してそれをphpで読み取って保存する。 という手順がありました。 処理自体は簡単なものでSplFileObject()を使ってやればforeachで一行ずつ読み取るだけです。 しかし、一点読み取る前に問題がありました。文字コードです。 エク... 続きを読む
Windows OSでテキストの行数を数える（wc -lコマンドを実現する）：Tech TIPS - ＠IT
2018/09/19
19 users
対象OS
Tech TIPS
テキストデータ
テキスト
処理
対象OS：Windows 7／Windows 8.1／Windows 10／Windows Server 2008 R2／Windows Server 2012／Windows Server 2012 R2／Windows Server 2016 Windows OSのコマンドプロンプト上でテキストデータの処理を行う場合、テキストの行数を数えると、簡単に解決することがある。例えばデータを1行ずつまとめたCSVファイルなどで... 続きを読む
【ExcelとCSV】初心者のためのCSV取り込み事例演習教材（勉強会資料） - わえなび ワード＆エクセル問題集
2018/08/05
94 users
CSV
Excel
珍プレー
事務職
資料
最近では、システム担当者だけでなく、一般の事務職や営業の人も「CSVファイル」の簡単な処理をすることが増えています。CSVファイルをExcelに取り込んだ後、Excelで資料を作成することもあります。 ところが、CSVの扱いを丁寧に教えてくれる人が周りにいないために、システム担当者には考えられないような「珍プレー」... 続きを読む
Python UTF-8のCSVファイル読み込み (UnicodeDecodeError対応)
2018/08/05
31 users
PythonでCSV(UTF-8)を読み込みするとエラーが発生したときの対応。 encodingでUTF-8を指定した。Python3 公式CODEC一覧 UTF-8は指定なしで読み込めるらしいけど、環境によるのかな。 今度まじめに調べたら記事更新しよう。 shiracamusさんからコメントで教えて頂きました。 デフォルトはOS標準になるとのことです。 環境... 続きを読む
【ExcelとCSV】本気で理解したい初心者のためのCSV勉強会資料 - わえなび ワード＆エクセル問題集
2018/07/29
716 users
CSV
Excel
エクセル
変換
前提
エクセルでCSVを保存？変換？ CSVファイルをエクセルで開くと壊れる？ 仕事でCSVファイルを扱うことがあります。 しかし、「CSVの意味」を本気で教えてくれる人はなかなかいません。 それは、「CSV」を本質的に理解するには、その前提となる知識が必要で、仕事中にそんな面倒くさい説明をするヒマがないからです。 今回... 続きを読む
Lambdaを使わずにS3にPutされたCSVファイルをRDSに自動一括登録する ｜ Developers.IO
2018/07/17
17 users
RDS
Lambda
Put
アーキテクチャ
トリガー
はじめに サーバーレス開発部＠大阪の岩田です。 現在従事しているプロジェクトで、S3へのCSVファイルのPutをトリガーにCSVファイルの中身をRDSに一括登録したいという要件がありました。 S3へのPutをトリガーにLambdaを起動して〜というアーキテクチャはサーバーレス開発の定番ですがRDSへの一括登録となると話が変わっ... 続きを読む
feather - pandasの読み書きを高速化 - 加具留矢流余
2018/07/11
21 users
Feather
pandas
Kaggle
カラム
読み書き
kaggleに参加して巨大なCSVファイルを読み書きしていると、それだけで数分近くかかってしまうことがある。 そこで紹介されていたfeatherというDataFrame保存用ライブラリを使ってみた。 featherはpandasのDataFrameを高速に保存、ロードするために開発されたApache Arrowのpythonラッパーだ。 Apache Arrow特有のカラム... 続きを読む
ＣＳＶファイルで感染 ウイルス対策の常識覆される ：日本経済新聞
2018/06/28
34 users
感染
常識
ウィルス対策
日本経済新聞
マルウェア
テキストファイルは開いても安全――。情報セキュリティーの常識だ。ところが、その常識が覆された。テキストファイルの一種であるCSVファイルを使った標的型攻撃が国内で確認されたのだ。CSVファイルを開いただけでウイルス（マルウエア）に感染する恐れがある。CSVファイルも危ないファイル形式の1つだと認識すべきだ。 ... 続きを読む
CSVファイルでウイルスに感染!?「CSVに関数を埋め込んで実行してみた」 : ビジネスとIT活用に役立つ情報
2018/06/04
30 users
CSV
関数
ウイルス
アプリケーション
感染
CSVなどテキストファイルは安全だと思われているが、CSVを開いただけでウイルスに感染する恐れがある。 ファイルは拡張子によってアプリケーションと関連付けがされているので実行するとアプリケーションが記述内容を解釈して実行できてしまう。 悪意のある記述内容の場合、うっかり実行を許可してしまうと被害を被ってしまう。 ※詳しくは元記事を参照してください。 この話題は実はかなり前からあったようです。 ただ... 続きを読む