タグ JSON
人気順 10 users 50 users 100 users 500 users 1000 usersZod を使って CSV からの入力データをバリデーションする - ドワンゴ教育サービス開発者ブログ
こんにちは、バックエンドエンジニアの日下です。 CSV から JSON へ変換するスクリプトを、TypeScript で実装する機会がありました。 今回は、CSV のデータのバリデーションに Zod を使った話をします。 スクリプトの目的 システム間のデータ連携が目的です。 連携元のシステムから CSV 出力されたデータを、連携先のシ... 続きを読む
DuckDBでお手軽!データフェデレーション - Techtouch Developers Blog
tl;dr はじめに DuckDB とは DuckDB では何が読めるのか 使ってみる S3 上のJSON を読んでみる リレーショナルデータベース 他ツールではなく DuckDB を使うメリット しくじりポイント (特にリリースされたばかりの)バージョンには気をつける S3 のオブジェクト数が多い場合不都合がありがち スレッドの調整が必要な場... 続きを読む
ZodでJSONのオブジェクトを実行時に都合の良い型に変換する | フューチャー技術ブログ
いろんなJavaScriptの統計を見ると、今時のウェブフロントエンドの新規開発は80%はTypeScriptになっているということです。また、TypeScript自身を使わなくても、TypeScriptで培われた型推論のパワーで、JavaScriptであってもVSCode上で補完とか思いの外うまくいったりしちゃうので、TypeScriptフレンドリーというのはま... 続きを読む
JSON をプレビューしながら jq のフィルタを書くことができる「jnv」を試してみる
ちなみに jq がインストールされている必要はありません。 jnv does not require users to install jq on their system, because it utilizes j9 Rust bindings. https://github.com/ynqa/jnv#installation JSON navigator and interactive filter leveraging jq Usage: jnv [OPTIONS] [INPUT] Examples: - Read from a ... 続きを読む
Appleがシステム構成のためのプログラミング言語「Pkl」をオープンソースでリリース
Appleがシステム構成を作成するためのプログラミング言語である「Pkl(ピックル)」をオープンソースとしてリリースしました。Pklで構成を記述することで、必要に応じてJSONやYAMLのほか、Kotlin、Ruby、JavaScriptなどの形式で自由に出力することが可能とのことです。 Pkl :: Pkl Docs https://pkl-lang.org/index.html a... 続きを読む
Apple、コンフィグレーション生成用の静的型付き言語「Pkl」をオープンソースで公開、単一コードからJSONやYAML、XMLなどを生成
Appleは、さまざまなコンフィグレーションファイルを生成するための静的型付言語「Pkl」(発音はPickle=ピックル)をオープンソースで公開しました。 ソフトウェアやクラウドサービスなどの設定に用いるコンフィグレーションファイルはどんどん複雑になってきており、利用者が望む詳細な設定を、一般的なコンフィグレー... 続きを読む
JSONの差分を取ってJSON Patchを得るにはdiffsonがおすすめ - Lambdaカクテル
こういうツイートを見た。 Scala (or Java) で、jsonのdiffをpatchファイルみたいな感じでわかりやすいテキストで出力してくれるライブラリないかなあ。そしてjacksonに依存してないといいな— Arthur (@Arthur1__) 2024年1月13日 現代のプログラミングではJSONの差分を取ったり、逆にパッチを当てるということがよくある... 続きを読む
RustによるマクロサービスフレームワークSpin入門
この記事はAdvent of Spin 2023というオンラインチャレンジに参加した結果してSpinに入門した結果のまとめとなっています。学んだことのまとめですが、Spin入門としても利用いただけるかなとも思っています。 TL;DR マクロサービスフレームワークのSpinをつかって、Rustでマイクロサービスを作ります。 JSONのやり取りや... 続きを読む
Ruby の JSON ライブラリ Oj のパフォーマンス改善を行いました - Repro Tech Blog
Development Division/Repro Team/Feature 1 Unit の Watsonです。Feature 1 Unit は Repro Tool の機能開発と保守を担っています。 弊社でも利用している Oj gem のパフォーマンス改善 PR を送った話と、その PR の内容について共有します。 ことのはじまり 以前、同僚が Ruby on Rails で JSON を返す REST API を作成... 続きを読む
DB に JSON を保存したいときに Protobuf を使うと便利 #LayerXテックアドカレ - LayerX エンジニアブログ
こんにちは。バクラク事業部 Enabling チームの @izumin5210 です。最近「HUNTER×HUNTER」の既刊を全部読みました。 この記事はLayerXテックアドカレ2023の9日目の記事です。 前回「1人目データアナリストとしてデータチームに異動しました 」 次回「Slack × Zapier × MiroでKPTでの振り返りをラクにする」 RDB や KVS ... 続きを読む
注目の日本語大規模モデルLLM-JP 13Bを試す(JSON吐けた)|shi3z
国立情報学研究所が作ったLLM-JP 13Bが公開されていたので早速試してみた。色々なモデルが公開されているが、全部盛りっぽい 「llm-jp/llm-jp-13b-instruct-full-jaster-dolly-oasst-v1.0」を試す。 マシンはもちろんドスパラ製Memeplexマシン(A6000x2)だ。 import torch from transformers import AutoTokenizer, AutoM... 続きを読む
「YAMLの本来の使い方」を仕様から読み取ってみる | Wantedly Engineer Blog
YAMLは「便利なJSON」として使われることが多い一方、その複雑性から落とし穴も多く、しばしば批判の対象になります。 なぜYAMLはそこまで複雑なのでしょうか? その背景のひとつは、本来のYAMLがJSONとは大きく異なる目的意識で作られているからです。 本稿ではYAML specに従う形でYAMLのコンセプトを解説することを目指... 続きを読む
【Python】JSONの特定のキーだけ残して不要部分は削除する - Qiita
import json def filter_json(data): if isinstance(data, dict): filtered_data = {} for key, value in data.items(): if key == "legacy": filtered_data[key] = value elif isinstance(value, (dict, list)): filtered_value = filter_json(value) if filtered_value: filtered_data[key] = filtered_value return f... 続きを読む
GPT-4, GPT-3.5 の API を利用して JSON だけ生成する (Function calling)
先日 OpenAI API のアップデートが以下のように発表されました。 一番の注目は Function calling じゃないでしょうか? 名前から「関数を呼び出せるのかな?」と一番最初に想像しちゃいますが、この機能の革新的な部分は「JSON を作成してくれる」ところだと思っています。 JSON を作れると嬉しいことがいっぱいあります... 続きを読む
jq が jqlang organization に移譲されました - プログラムモグモグ
JSONを操作するコマンドラインツールであるjqは、これまでオリジナル作者であるStephen Dolan氏 (@stedolan)のリポジトリ(github.com/stedolan/jq)で管理されていました。 メンテナンスはNico Williams氏 (@nicowilliams)とWilliam Langford氏 (@wtlangford)の二名が行なっていましたが、近年は活動が減っておりメンテナ... 続きを読む
Rubyのコードでplain text/JSON/YAMLを整形できるrfコマンドを作った - ぶていのログでぶログ
モチベーション 私はcliでテキストを編集するときはawk/sedを使い、JSONはjq、YAMLはyqを使っている。 それぞれ単純な処理ならあまり苦労せず使えるのだが、複雑な処理をしたい場合スクリプトを組んだりしないといけない。 そういったときにRubyでガっと書いてしまいたいのだけど、ruby -ane '〜' だとそれはそれで書く... 続きを読む
TypeScriptの型を指定してJSONダミーデータを出力させる|INOUT
ChatGPTにJSONの型をTypeScriptで指定すればそのフォーマットでダミーのJSONデータを作成してくれるのではと思い、試してみました。 作成したJSONファイルをそのままコピーするだけで使えるので便利かも? INPUT 日本にある会社10社のダミーデータのJSONファイルを作成してください。 フォーマット: {id: number, name: s... 続きを読む
Homebrew 4.0 で git repo の保持が不要になったので削除した - HsbtDiary(2023-02-21)
■ Homebrew 4.0 で git repo の保持が不要になったので削除した 4.0.0 — Homebrew にあるように homebrew 4.0 から core と cask の formulae は API 経由で json で取得するようになったのでローカルに保持している formulae は untap コマンドで全て消した。 $ brew untap homebrew/core Untapping homebrew/core... U... 続きを読む
パッケージマネージャ「Homebrew 4.0」正式リリース、より高速に。Git cloneからJSONによるパッケージ管理へ切り替え
パッケージマネージャ「Homebrew 4.0」正式リリース、より高速に。Git cloneからJSONによるパッケージ管理へ切り替え MacやLinuxに対応するパッケージマネージャ「Homebrew」の最新版となる「Homebrew 4.0」正式版がリリースされました。 下記は開発者であるMike McQuaid氏のツイートです。バージョン3.6以来最大の変更... 続きを読む
なんだよブクマカの被スター数はAPIで一発じゃんかよ
これで出る。(出ない人もいる?) ttps://s.hatena.ne.jp/blog.json?uri=http://b.hatena.ne.jp/はてなID/ はてなスターカウントAPIのドキュメントにブクマカの被スター数が取れるなんて書いてない。 裏技かYO. しかし私が欲するのは誰が誰にいくつスターを付けたかってことなので求めてるものとはちょっと違う。 続きを読む
PHPからJavaScriptにデータを受け渡すときに考えること - Qiita
PHPのstringは任意のバイト列を扱えますが、JavaScript/JSONはUnicodeで扱える文字しか扱えません PHPのint / floatはプラットフォーム依存ですが、JavaScriptのnumberは整数と小数を型レベルで区別しません JSONのarrayに対応する型はPHPのarrayのうちリストであるものです PHPは配列(リスト)と連想配列を型レベルで区... 続きを読む
Otchy on Twitter: "突然過去のデータが失われたら悲しいなと、Twitter のアーカイブをダウンロードしてみた。例えば巨大な JSON とかが返ってくるのかと思いきや、HTML/CSS/JS が zip されて想像以上
突然過去のデータが失われたら悲しいなと、Twitter のアーカイブをダウンロードしてみた。例えば巨大な JSON とかが返ってくるのかと思いきや、HTML/CSS/JS が zip されて想像以上にユーザフレンドリーな UI で… https://t.co/g2HDLMpZis 続きを読む
Node.js v19 の主な変更点 - 別にしんどくないブログ
Node.js v19がリリースされました 🎉 nodejs.org この記事では Node.js v19 の主な変更点を抜粋して紹介します! Deprecations and Removals package.json の imports と exports に // を指定することを非推奨 process.exit() の引数に特定の型以外を渡すことを非推奨 HTTP(S)/1.1 KeepAlive by default V8 10.7 ファイ... 続きを読む
[速報]BigQueryが非構造化データのサポートを発表。これで構造化データ(RDB)、半構造化データ(JSON)、非構造化データをサポート。Google Cloud Next '22
Google Cloudは、開催中のイベント「Google Cloud Next '22」において、大規模データ分析サービスのBigQueryで非構造化データのサポートを発表しました。 BigQueryの非構造化データサポートを発表するGoogle Cloud CEO トーマス・クリアン氏 BigQueryは今年1月にJSON型データへのネイティブ対応をパブリックプレビューと... 続きを読む
JSON や CSV で SELECT * FROM したいときは columnq-cli が便利
techfeed 経由で下記のスレッドを見かけたのですが、タイトルだけでも既に面白そうです。 また、ちょっと前から Notion のデータベースを各種コンテンツへ変換するツールを作っていまして、これを組み合わせるといろいろ楽できそうな予感がします。 そのようなわけで、スレッドで紹介されていた columnq-cli についての... 続きを読む