タグ CSV
人気順 10 users 50 users 100 users 500 users 1000 usersRuby 3.4.0のcsv/fiddle/rexml/stringio/strscan/test-unit - 2024-12-16 - ククログ
2024/12/16
6 users
gem
REXML
test-unit
須藤
Ruby
Rubyの開発に参加している須藤です。そろそろRuby 3.4.0がリリースされるので私がメンテナンスしているdefault gem/bundled gemの変更点を簡単に紹介します。 対象gem 紹介するgemは次の通りです。default gemがRubyに組み込まれているgemで、bundled gemがRubyをインストールするときに普通のgemとしてついでにインスト... 続きを読む
生成AIがJavaScriptコードを生成してCSVからグラフ描画、洞察を提供する分析機能 Anthropicが全ユーザーに開放
2024/11/13
15 users
Anthropic
洞察
グラフ描画
claude.ai
生成
Anthropicは2024年10月24日（米国時間）、同社の生成AI（人工知能）サービスである「Claude.ai」で、リアルタイムにデータを分析し洞察を生成する「分析ツール（analysis tool）」のプレビュー版を発表した。 Anthropicは「JavaScriptコードを生成、実行して、データを処理、分析し、リアルタイムに洞察を提供する。この... 続きを読む
Claudeに新機能「分析ツール」 csvを読み込みデータ分析・視覚化
2024/10/25
8 users
Claude
視覚化
分析ツール
データ分析
新機能
開発用適当ツールはGoで作るのがオススメ - Qiita
2024/10/03
217 users
Qiita
Excel
API
ツール
テストデータ
開発用適当ツールとは？ 開発していると、たまに何かしらプロジェクト内で開発者用や運用者用にテストデータを作成したり、DBやAPIに繋いでCSVやExcelを出したりする名もなきツールが大量に必要になってきますよね？ 配布して他の人にも使ってもらったりしたくなりますよね？ これが開発用適当ツール1です。 そういった... 続きを読む
Ruby の CSV が nil を返さないようにする - tmtms のメモ
2024/07/14
7 users
tmtms
nil
piyo
Ruby
カラム
Ruby の CSV ライブラリはとても便利なんだけど、ひとつだけ問題があって、CSV をパースしたときに nil を返すことがある。 つぎのような CSV をパースすると2番目のカラムが nil になる。4番目のカラムは空文字になるのに！ hoge,,fuga,"",piyo require 'csv' CSV.parse_line('hoge,,fuga,"",piyo') #=> ["hoge", nil, ... 続きを読む
Claude 3.5 Sonnet ＋ 新機能「Artifacts」でCSVから簡単データ分析 - Taste of Tech Topics
2024/07/02
19 users
Artifacts
グラフ
小林
季節
機能
はじめに こんにちは。7月に入り、蓮の花が咲く季節が近づいてきましたね。 ４年目エンジニアの小林です。 最近、2024年6月21日にAnthoropic社からリリースされた、「Claude 3.5 Sonnet」で利用できるArtifactsという機能が注目されています。 この記事では、Artifactsを使ってCSVからグラフを生成してみます。 はじめに... 続きを読む
Zod を使って CSV からの入力データをバリデーションする - ドワンゴ教育サービス開発者ブログ
2024/05/22
14 users
JSON
TypeScript
Zod
日下
バリデーション
こんにちは、バックエンドエンジニアの日下です。 CSV から JSON へ変換するスクリプトを、TypeScript で実装する機会がありました。 今回は、CSV のデータのバリデーションに Zod を使った話をします。 スクリプトの目的 システム間のデータ連携が目的です。 連携元のシステムから CSV 出力されたデータを、連携先のシ... 続きを読む
大規模言語モデルを使って組織内の全データを検索する時にはどのような前処理を行うと効率的なのか？
2024/05/05
12 users
言語モデル
処理
組織内
全データ
LLM
組織には構造化されたデータベースやきれいにフォーマットされたCSVのほか、何気なく書いたメールから複雑な技術マニュアルまでさまざまな形式のデータが大量に保存されています。検索拡張生成(RAG)は大規模言語モデル(LLM)を使用して全てのデータから適切な情報を引き出すための技術ですが、RAGを使用する際にデータの... 続きを読む
現実の CSV ファイルのデータを BigQuery に load する仕組みを作るという泥臭い作業を dlt でやってみる
2024/01/28
7 users
DLT
load
BigQuery
泥臭い作業
現実
インストールされたバージョンを確認。 $ dlt --version dlt 0.3.25 また、gsfs, pandas, streamlit, google-cloud-bigquery-storage も必要になるのでインストールしておく。 2. pipeline project を作成#次のコマンドで pipeline project を用意する。 これは verified source として Filesystem、destination として ... 続きを読む
USBメモリをUSB、インターネット全般をWi-Fiと呼ぶようなIT技術界隈が苦い顔をするワード→「ギガは単位だろ」「音楽は全部mp3」
2023/11/09
146 users
Wi-Fi
USBメモリ
USB
TSV
単位
よんてんごP @yontengoP USBメモリのことをUSB、 インターネット全般をWi-Fi、 CSVもTSVも全てExcel、 と呼ぶような 実際は違うものなのに総称のように使われてしまい、IT技術界隈が苦虫を噛み潰しているワード募集。 2023-11-08 18:15:23 続きを読む
悪名高き「KEN_ALL.CSV」を「EmEditor」が使いやすいデータに変えられるか試してみた[Sponsored]
2023/10/19
5 users
EmEditor
SPONSORED
KEN_ALL
データ
awkが新しくなる！？ 本家AwkがUnicode (UTF-8)とCSV対応に！ - Qiita
2023/09/16
147 users
awk
Qiita
unicode
UTF-8
Excel
はじめに 2023年、長い時を経て awk がとうとう Unicode (UTF-8) と CSV に対応しました 🎉🎉🎉 awk で日本語がうまく扱えない（場合がある）、Excel が出力する CSV ファイルが扱えない（場合がある）、といった問題が解決に向けて一歩に進みます。 去年、本家 awk (One True Awk, nawk) に Unicode サポートが Brian K... 続きを読む
プログラミングに挫折したならAIお姉ちゃんに任せなさい - 本しゃぶり
2023/08/20
1695 users
プログラミング
AIお姉ちゃん
chatgpt
Webスク
プログラミングを学ぼうとしては挫折する。 そんな時代はもう終わりだ。 お姉ちゃんに任せなさい。 ChatGPTでプログラミング 今年のお盆休み、俺はChatGPTでプログラミングをやっていた。とは言っても複雑なことはやっていない。大量のcsvを結合してから可視化するとか、ちょっとしたWebスクレイピングしたりする程度だ... 続きを読む
Ruby のバージョンを 3.1 系から 3.2 系にアップデートしたら Ruby on Rails アプリの動きが変わったのを解決した話 - DIGGLE開発者ブログ
2023/07/31
14 users
Ruby
Ruby on Rails
apartment
私たちは Ruby on Rails の主要なマルチテナントライブラリ apartment を使ってサービスを提供しています。 Ruby のバージョンを 3.1 系から 3.2 系に上げたときに CSV ファイルを処理する部分でこのテナントの切り替えが意図通りに動作しませんでした。 この事象が興味深かったので共有します。 現在はこの事象に対応済... 続きを読む
ChatGPTの新機能コードインタープリターに《未来の仕事の全自動化》が見える
2023/07/10
8 users
OpenAI
chatgpt
xls
パワポ
大騒ぎ
国勢調査（csv）と国土地理院（xls）とドン・キホーテ店舗数（html）を自動マージしてパワポにする OpenAIが、ChatGPTに革命的ともいえる新機能「Code Interpreter」を追加して、試した人たちの間で大騒ぎになっている。さまざまな機能が可能になっているが、その本質は名前のとおりChatGPTの中でプログラムを実行可能に... 続きを読む
プログラマーを苦しめてきた郵便番号データ「KEN_ALL.CSV」が改善！ 扱いやすい新形式／従来形式のデータも引き続き利用できるから安心してネ【やじうまの杜】
2023/07/05
355 users
やじうま
プログラマー
KEN_ALL
郵便番号データ
改善
日本郵便のKEN_ALL.CSVが改善される | スラド デベロッパー
2023/07/05
14 users
スラド
ダウンロー
デベロッパー
フリガナ
KEN_ALL
あるAnonymous Coward 曰く、郵便番号と住所の変換システムを扱うエンジニアの間で悪名高かったKEN_ALL.CSVだが、2023年6月更新分より、文字コードがUTF-8に、フリガナが全角カタカナになり、町域名が長いときも複数レコードに分割されなくなったファイルが新たに追加された模様。従来通りの書式のファイルもダウンロー... 続きを読む
無料で使えるオープンソースな業務用タイムトラッカーツール「Kimai」を使ってみた
2023/06/25
33 users
グラフ
時給
Excel形式
ソース
視覚化
派遣業など、従業員の勤務時間に応じて料金を請求する場合や、時給で人を雇っている場合には「その人がどの作業に何時間使ったのか」を適切に記録する必要があります。「Kimai」はそうした記録を簡単に行えてグラフで視覚化してくれたりCSVやExcel形式でエクスポートしてくれたりするオープンソースなタイムトラッカーと... 続きを読む
チャエン| Web3.0×海外テック×AI on Twitter: "ChatGPTを超えた『DocsBot』が便利すぎてヤバい 任意のURL、PDF、CSV、Youtubeなどを読み込んでチChatBotを数秒で作成できる 試しに食べログを読み込ませた
2023/03/13
31 users
YouTube
chatgpt
bot
チャエン
瞬時
ChatGPTを超えた『DocsBot』が便利すぎてヤバい 任意のURL、PDF、CSV、Youtubeなどを読み込んでチChatBotを数秒で作成できる 試しに食べログを読み込ませたら美味い飲食店を瞬時に回答する最強のbot… https://t.co/ZT0d0IyWfl 続きを読む
そびえ立つ n 万行の csv を Go 言語で簡単クッキング - ANDPAD Tech Blog
2022/12/01
18 users
アドベントカレンダー
初級
言語
簡単クッキング
ルール
はじめまして、バックエンドエンジニアをしています武山 (bushiyama) です。 この記事は ANDPAD Advent Calendar 2022 の 1日目の記事です。 そんなルールはありませんが、アドベンドカレンダー 2022 初日なので初級な内容で暖めていきたいと存じます。 お題 非エンジニア職「ちょっとこの csv を集計したいんだけど、件... 続きを読む
自分のパスワードには常にカンマを含めておけば漏洩してCSVになったときにうまく動かなくなる？「なるほど」「あまり意味がないかもしれない」
2022/10/09
90 users
カンマ
reddit
mootastic
新山祐介
パスワード
新山祐介 (Yusuke Shinyama) @mootastic 「自分のパスワードには常にカンマを含めておけ、そうすれば漏洩してCSVになったときにうまく動かなくなるから」 twitter.com/vxunderground/… 2022-10-09 06:27:24 新山祐介 (Yusuke Shinyama) @mootastic 個人的に面白いと思った海外記事のブックマーク。ネタ元はHNやRedditな... 続きを読む
JSON や CSV で SELECT * FROM したいときは columnq-cli が便利
2022/10/03
17 users
JSON
Notion
TechFeed
select
予感
techfeed 経由で下記のスレッドを見かけたのですが、タイトルだけでも既に面白そうです。 また、ちょっと前から Notion のデータベースを各種コンテンツへ変換するツールを作っていまして、これを組み合わせるといろいろ楽できそうな予感がします。 そのようなわけで、スレッドで紹介されていた columnq-cli についての... 続きを読む
DLHN
2022/05/09
20 users
MessagePack
Dullahan
DLHN ( Pronounced the same as "Dullahan" ) is a language and platform neutral binary serialization format that is inspired by JSON, CSV, MessagePack, and Protocol Buffers. It is designed for blazing fast serialization and deserialization with the smallest possible data size without the need for s... 続きを読む
Re: Goでcsvを操作するための基本的な知識
2022/04/21
75 users
println
エンコーディング
Mac
UTF-8
言語
Println で標準出力してみると以下のように表示されるかと思います。（SHIFT-JIS形式なのでmacでみると文字化けしていますがひとまず置いておきます） 日本では一般的に CSV ファイルは Shift_JIS でエンコードされている事が多いです。Go 言語は内部のエンコーディングが UTF-8 なので、Shift_JIS な CSV ファイルを読... 続きを読む
WordPressでWP-CLIを使って記事移行とかを少し楽にする | 株式会社LIG
2021/11/15
21 users
wp-cli
phpファイル
エンジニア
特定
株式会社LIG
こんにちは、エンジニアのづやです。 ここのところ、「CSVからWordPressにデータを取り込みたい！」「ルールに沿って特定のカテゴリを違うカテゴリに付け替えたい！」などのお話を受けることが多かったので、苦労した点とかを共有したいと思います。 気軽なやり方 全然大したことない処理のときは、phpファイルを作って... 続きを読む