Microsoft、歴代最速の「.NET 9」を発表 ～GC、ランタイム、LINQ、JSONで改善を重ねる／18カ月サポートのLTSリリース

2024/11/13 19 users LinQ LTSリリース Microsoft 歴代最速 改善

続きを読む

ドキュメントをMarkdownやJSONに変換してくれる「Docling」を試す

2024/11/05 188 users Markdown ドキュメント

ここで知った。 試しに、神戸市が公開している観光に関する統計・調査資料のうち、「令和5年度 神戸市観光動向調査結果について」のPDFで一度試していたのだけども: （出典） 神戸市Webサイトの「観光に関する統計・調査」のページ 上記にある「令和5年度 神戸市観光動向調査結果について」のPDF 日本語でも、概ね問題な... 続きを読む

【PostgreSQL】いかにして JSONB を安全に扱うか

2024/10/22 30 users JSONB Postgres PostgreSQL RDB

はじめに Postgres には JSON/JSONB というデータ型がありますが，JSONB はデータをバイナリ形式で格納するためインサート時に変換のオーバーヘッドがあるものの，その後の処理が非常に高速である上に，インデックスを貼ることができるため，実用上は JSONB を使うのが一般的です． 一方で，そもそも RDB のようなスキー... 続きを読む

各種AWSサービスの参照情報をJSONから取得できる様になりました | DevelopersIO

2024/10/14 12 users DevelopersIO 参照情報

しばたです。 先日AWSより「 Streamline automation of policy management workflows with service reference information 」というタイトルの更新がアナウンスされました。 こちらを日本語にすると「 サービス参照情報を使用してポリシー管理ワークフローの自動化を合理化する 」といったところですが、初見ではちょっ... 続きを読む

プログラマじゃない人でもAI対話用にJSONを学ぶのが最高効率という提案

2024/09/18 283 users プログラマ エディタ 水準 エンジニア ノーコード

この文章はプログラマじゃない人向けに JSON を知ってもらうメリット、とくにAIとの効率的な対話方法を説明し、そしてあわよくばプログラマとも JSON の水準で会話してもらえたら嬉しい…というものです。 あなたは誰 UI を作るのが専門のエンジニアです。 エンジニア以外が使うノーコードのエディタを作ったりしてました... 続きを読む

Zod を使って CSV からの入力データをバリデーションする - ドワンゴ教育サービス開発者ブログ

2024/05/22 14 users TypeScript Zod 日下 バリデーション CSV

こんにちは、バックエンドエンジニアの日下です。 CSV から JSON へ変換するスクリプトを、TypeScript で実装する機会がありました。 今回は、CSV のデータのバリデーションに Zod を使った話をします。 スクリプトの目的 システム間のデータ連携が目的です。 連携元のシステムから CSV 出力されたデータを、連携先のシ... 続きを読む

DuckDBでお手軽！データフェデレーション - Techtouch Developers Blog

2024/05/20 21 users DuckDB リレーショナルデータベース tl;dr 調整

tl;dr はじめに DuckDB とは DuckDB では何が読めるのか 使ってみる S3 上のJSON を読んでみる リレーショナルデータベース 他ツールではなく DuckDB を使うメリット しくじりポイント （特にリリースされたばかりの）バージョンには気をつける S3 のオブジェクト数が多い場合不都合がありがち スレッドの調整が必要な場... 続きを読む

JSON をプレビューしながら jq のフィルタを書くことができる「jnv」を試してみる

2024/03/25 178 users options Examples input フィルタ

ちなみに jq がインストールされている必要はありません。 jnv does not require users to install jq on their system, because it utilizes j9 Rust bindings. https://github.com/ynqa/jnv#installation JSON navigator and interactive filter leveraging jq Usage: jnv [OPTIONS] [INPUT] Examples: - Read from a ... 続きを読む

Appleがシステム構成のためのプログラミング言語「Pkl」をオープンソースでリリース

2024/02/05 10 users pkl YAML ピックル Kotlin Apple

Appleがシステム構成を作成するためのプログラミング言語である「Pkl(ピックル)」をオープンソースとしてリリースしました。Pklで構成を記述することで、必要に応じてJSONやYAMLのほか、Kotlin、Ruby、JavaScriptなどの形式で自由に出力することが可能とのことです。 Pkl :: Pkl Docs https://pkl-lang.org/index.html a... 続きを読む

Apple、コンフィグレーション生成用の静的型付き言語「Pkl」をオープンソースで公開、単一コードからJSONやYAML、XMLなどを生成

2024/02/04 42 users YAML pickle pkl ピックル XML

Appleは、さまざまなコンフィグレーションファイルを生成するための静的型付言語「Pkl」（発音はPickle＝ピックル）をオープンソースで公開しました。 ソフトウェアやクラウドサービスなどの設定に用いるコンフィグレーションファイルはどんどん複雑になってきており、利用者が望む詳細な設定を、一般的なコンフィグレー... 続きを読む

JSONの差分を取ってJSON Patchを得るにはdiffsonがおすすめ - Lambdaカクテル

2024/01/14 106 users Lambdaカクテル Scala diff Jackson

こういうツイートを見た。 Scala (or Java) で、jsonのdiffをpatchファイルみたいな感じでわかりやすいテキストで出力してくれるライブラリないかなあ。そしてjacksonに依存してないといいな— Arthur (@Arthur1__) 2024年1月13日 現代のプログラミングではJSONの差分を取ったり、逆にパッチを当てるということがよくある... 続きを読む

RustによるマクロサービスフレームワークSpin入門

2023/12/21 37 users rust Spin tl;dr やり取り マイクロサービス

この記事はAdvent of Spin 2023というオンラインチャレンジに参加した結果してSpinに入門した結果のまとめとなっています。学んだことのまとめですが、Spin入門としても利用いただけるかなとも思っています。 TL;DR マクロサービスフレームワークのSpinをつかって、Rustでマイクロサービスを作ります。 JSONのやり取りや... 続きを読む

Ruby の JSON ライブラリ Oj のパフォーマンス改善を行いました - Repro Tech Blog

2023/12/19 44 users WATSON 保守 Ruby REST API 同僚

Development Division/Repro Team/Feature 1 Unit の Watsonです。Feature 1 Unit は Repro Tool の機能開発と保守を担っています。 弊社でも利用している Oj gem のパフォーマンス改善 PR を送った話と、その PR の内容について共有します。 ことのはじまり 以前、同僚が Ruby on Rails で JSON を返す REST API を作成... 続きを読む

DB に JSON を保存したいときに Protobuf を使うと便利 #LayerXテックアドカレ - LayerX エンジニアブログ

2023/11/16 182 users Protobuf LayerXテックアドカレ

こんにちは。バクラク事業部 Enabling チームの @izumin5210 です。最近「HUNTER×HUNTER」の既刊を全部読みました。 この記事はLayerXテックアドカレ2023の9日目の記事です。 前回「1人目データアナリストとしてデータチームに異動しました 」 次回「Slack × Zapier × MiroでKPTでの振り返りをラクにする」 RDB や KVS ... 続きを読む

注目の日本語大規模モデルLLM-JP 13Bを試す(JSON吐けた)｜shi3z

2023/10/20 52 users AUTOM LLM-jp shi3z マシン モデル

国立情報学研究所が作ったLLM-JP 13Bが公開されていたので早速試してみた。色々なモデルが公開されているが、全部盛りっぽい 「llm-jp/llm-jp-13b-instruct-full-jaster-dolly-oasst-v1.0」を試す。 マシンはもちろんドスパラ製Memeplexマシン(A6000x2)だ。 import torch from transformers import AutoTokenizer, AutoM... 続きを読む

「YAMLの本来の使い方」を仕様から読み取ってみる | Wantedly Engineer Blog

2023/09/15 237 users YAML 目指 落とし穴 本稿 一方

YAMLは「便利なJSON」として使われることが多い一方、その複雑性から落とし穴も多く、しばしば批判の対象になります。 なぜYAMLはそこまで複雑なのでしょうか? その背景のひとつは、本来のYAMLがJSONとは大きく異なる目的意識で作られているからです。 本稿ではYAML specに従う形でYAMLのコンセプトを解説することを目指... 続きを読む

GPT-4, GPT-3.5 の API を利用して JSON だけ生成する (Function calling)

2023/06/15 106 users GPT-4 function calling 関数 API

先日 OpenAI API のアップデートが以下のように発表されました。 一番の注目は Function calling じゃないでしょうか？ 名前から「関数を呼び出せるのかな？」と一番最初に想像しちゃいますが、この機能の革新的な部分は「JSON を作成してくれる」ところだと思っています。 JSON を作れると嬉しいことがいっぱいあります... 続きを読む

jq が jqlang organization に移譲されました - プログラムモグモグ

2023/05/30 232 users メンテナ コマンドラインツール stedolan リポジトリ

JSONを操作するコマンドラインツールであるjqは、これまでオリジナル作者であるStephen Dolan氏 (@stedolan)のリポジトリ(github.com/stedolan/jq)で管理されていました。 メンテナンスはNico Williams氏 (@nicowilliams)とWilliam Langford氏 (@wtlangford)の二名が行なっていましたが、近年は活動が減っておりメンテナ... 続きを読む

Rubyのコードでplain text/JSON/YAMLを整形できるrfコマンドを作った - ぶていのログでぶログ

2023/05/15 10 users YAML sed CLI awk Ruby

モチベーション 私はcliでテキストを編集するときはawk/sedを使い、JSONはjq、YAMLはyqを使っている。 それぞれ単純な処理ならあまり苦労せず使えるのだが、複雑な処理をしたい場合スクリプトを組んだりしないといけない。 そういったときにRubyでガっと書いてしまいたいのだけど、ruby -ane '〜' だとそれはそれで書く... 続きを読む

パッケージマネージャ「Homebrew 4.0」正式リリース、より高速に。Git cloneからJSONによるパッケージ管理へ切り替え

2023/02/19 78 users パッケージマネージャ Homebrew git clone

パッケージマネージャ「Homebrew 4.0」正式リリース、より高速に。Git cloneからJSONによるパッケージ管理へ切り替え MacやLinuxに対応するパッケージマネージャ「Homebrew」の最新版となる「Homebrew 4.0」正式版がリリースされました。 下記は開発者であるMike McQuaid氏のツイートです。バージョン3.6以来最大の変更... 続きを読む

なんだよブクマカの被スター数はAPIで一発じゃんかよ

2023/02/01 30 users ブクマカ API ttps URI ドキュメント

これで出る。(出ない人もいる？) ttps://s.hatena.ne.jp/blog.json?uri=http://b.hatena.ne.jp/はてなID/ はてなスターカウントAPIのドキュメントにブクマカの被スター数が取れるなんて書いてない。 裏技かYO. しかし私が欲するのは誰が誰にいくつスターを付けたかってことなので求めてるものとはちょっと違う。 続きを読む

PHPからJavaScriptにデータを受け渡すときに考えること - Qiita

2023/01/01 123 users Qiita String Array unicode int

PHPのstringは任意のバイト列を扱えますが、JavaScript/JSONはUnicodeで扱える文字しか扱えません PHPのint / floatはプラットフォーム依存ですが、JavaScriptのnumberは整数と小数を型レベルで区別しません JSONのarrayに対応する型はPHPのarrayのうちリストであるものです PHPは配列(リスト)と連想配列を型レベルで区... 続きを読む

Otchy on Twitter: "突然過去のデータが失われたら悲しいなと、Twitter のアーカイブをダウンロードしてみた。例えば巨大な JSON とかが返ってくるのかと思いきや、HTML/CSS/JS が zip されて想像以上

2022/12/11 13 users Twitter zip CSS HTML アーカイブ

突然過去のデータが失われたら悲しいなと、Twitter のアーカイブをダウンロードしてみた。例えば巨大な JSON とかが返ってくるのかと思いきや、HTML/CSS/JS が zip されて想像以上にユーザフレンドリーな UI で… https://t.co/g2HDLMpZis 続きを読む

Node.js v19 の主な変更点 - 別にしんどくないブログ

2022/10/18 11 users node.js 変更点 ブログ imports 引数

Node.js v19がリリースされました 🎉 nodejs.org この記事では Node.js v19 の主な変更点を抜粋して紹介します！ Deprecations and Removals package.json の imports と exports に // を指定することを非推奨 process.exit() の引数に特定の型以外を渡すことを非推奨 HTTP(S)/1.1 KeepAlive by default V8 10.7 ファイ... 続きを読む

［速報］BigQueryが非構造化データのサポートを発表。これで構造化データ（RDB）、半構造化データ（JSON）、非構造化データをサポート。Google Cloud Next '22

2022/10/11 45 users BigQuery RDB パブリックプレビュー 速報 サポート

Google Cloudは、開催中のイベント「Google Cloud Next '22」において、大規模データ分析サービスのBigQueryで非構造化データのサポートを発表しました。 BigQueryの非構造化データサポートを発表するGoogle Cloud CEO トーマス・クリアン氏 BigQueryは今年1月にJSON型データへのネイティブ対応をパブリックプレビューと... 続きを読む