ドキュメントをMarkdownやJSONに変換してくれる「Docling」を試す

2024/11/05 188 users Markdown ドキュメント

ここで知った。 試しに、神戸市が公開している観光に関する統計・調査資料のうち、「令和5年度 神戸市観光動向調査結果について」のPDFで一度試していたのだけども: （出典） 神戸市Webサイトの「観光に関する統計・調査」のページ 上記にある「令和5年度 神戸市観光動向調査結果について」のPDF 日本語でも、概ね問題な... 続きを読む

プログラマじゃない人でもAI対話用にJSONを学ぶのが最高効率という提案

2024/09/18 283 users プログラマ エディタ 水準 エンジニア ノーコード

この文章はプログラマじゃない人向けに JSON を知ってもらうメリット、とくにAIとの効率的な対話方法を説明し、そしてあわよくばプログラマとも JSON の水準で会話してもらえたら嬉しい…というものです。 あなたは誰 UI を作るのが専門のエンジニアです。 エンジニア以外が使うノーコードのエディタを作ったりしてました... 続きを読む

JSON をプレビューしながら jq のフィルタを書くことができる「jnv」を試してみる

2024/03/25 178 users options Examples input フィルタ

ちなみに jq がインストールされている必要はありません。 jnv does not require users to install jq on their system, because it utilizes j9 Rust bindings. https://github.com/ynqa/jnv#installation JSON navigator and interactive filter leveraging jq Usage: jnv [OPTIONS] [INPUT] Examples: - Read from a ... 続きを読む

JSONの差分を取ってJSON Patchを得るにはdiffsonがおすすめ - Lambdaカクテル

2024/01/14 106 users Lambdaカクテル Scala diff Jackson

こういうツイートを見た。 Scala (or Java) で、jsonのdiffをpatchファイルみたいな感じでわかりやすいテキストで出力してくれるライブラリないかなあ。そしてjacksonに依存してないといいな— Arthur (@Arthur1__) 2024年1月13日 現代のプログラミングではJSONの差分を取ったり、逆にパッチを当てるということがよくある... 続きを読む

DB に JSON を保存したいときに Protobuf を使うと便利 #LayerXテックアドカレ - LayerX エンジニアブログ

2023/11/16 182 users Protobuf LayerXテックアドカレ

こんにちは。バクラク事業部 Enabling チームの @izumin5210 です。最近「HUNTER×HUNTER」の既刊を全部読みました。 この記事はLayerXテックアドカレ2023の9日目の記事です。 前回「1人目データアナリストとしてデータチームに異動しました 」 次回「Slack × Zapier × MiroでKPTでの振り返りをラクにする」 RDB や KVS ... 続きを読む

注目の日本語大規模モデルLLM-JP 13Bを試す(JSON吐けた)｜shi3z

2023/10/20 52 users AUTOM LLM-jp shi3z マシン モデル

国立情報学研究所が作ったLLM-JP 13Bが公開されていたので早速試してみた。色々なモデルが公開されているが、全部盛りっぽい 「llm-jp/llm-jp-13b-instruct-full-jaster-dolly-oasst-v1.0」を試す。 マシンはもちろんドスパラ製Memeplexマシン(A6000x2)だ。 import torch from transformers import AutoTokenizer, AutoM... 続きを読む

「YAMLの本来の使い方」を仕様から読み取ってみる | Wantedly Engineer Blog

2023/09/15 237 users YAML 目指 落とし穴 本稿 一方

YAMLは「便利なJSON」として使われることが多い一方、その複雑性から落とし穴も多く、しばしば批判の対象になります。 なぜYAMLはそこまで複雑なのでしょうか? その背景のひとつは、本来のYAMLがJSONとは大きく異なる目的意識で作られているからです。 本稿ではYAML specに従う形でYAMLのコンセプトを解説することを目指... 続きを読む

GPT-4, GPT-3.5 の API を利用して JSON だけ生成する (Function calling)

2023/06/15 106 users GPT-4 function calling 関数 API

先日 OpenAI API のアップデートが以下のように発表されました。 一番の注目は Function calling じゃないでしょうか？ 名前から「関数を呼び出せるのかな？」と一番最初に想像しちゃいますが、この機能の革新的な部分は「JSON を作成してくれる」ところだと思っています。 JSON を作れると嬉しいことがいっぱいあります... 続きを読む

jq が jqlang organization に移譲されました - プログラムモグモグ

2023/05/30 232 users メンテナ コマンドラインツール stedolan リポジトリ

JSONを操作するコマンドラインツールであるjqは、これまでオリジナル作者であるStephen Dolan氏 (@stedolan)のリポジトリ(github.com/stedolan/jq)で管理されていました。 メンテナンスはNico Williams氏 (@nicowilliams)とWilliam Langford氏 (@wtlangford)の二名が行なっていましたが、近年は活動が減っておりメンテナ... 続きを読む

パッケージマネージャ「Homebrew 4.0」正式リリース、より高速に。Git cloneからJSONによるパッケージ管理へ切り替え

2023/02/19 78 users パッケージマネージャ Homebrew git clone

パッケージマネージャ「Homebrew 4.0」正式リリース、より高速に。Git cloneからJSONによるパッケージ管理へ切り替え MacやLinuxに対応するパッケージマネージャ「Homebrew」の最新版となる「Homebrew 4.0」正式版がリリースされました。 下記は開発者であるMike McQuaid氏のツイートです。バージョン3.6以来最大の変更... 続きを読む

PHPからJavaScriptにデータを受け渡すときに考えること - Qiita

2023/01/01 123 users Qiita String Array unicode int

PHPのstringは任意のバイト列を扱えますが、JavaScript/JSONはUnicodeで扱える文字しか扱えません PHPのint / floatはプラットフォーム依存ですが、JavaScriptのnumberは整数と小数を型レベルで区別しません JSONのarrayに対応する型はPHPのarrayのうちリストであるものです PHPは配列(リスト)と連想配列を型レベルで区... 続きを読む

幻冬舎が記事をNFT化へ　Web3.0系エンジニアとシステム開発

2022/09/05 120 users NFT化 幻冬舎 システム開発 NECO NFT

幻冬舎は9月5日、記事をブロックチェーン上に保存するシステム「あたらしい経済 ON-CHAIN WEB APP（NECO）」を開発したと発表した。メディアの廃刊やサイバー攻撃があってもコンテンツデータが消えないとしている。 NFT（非代替性トークン）の発行時に、記事タイトルとサムネイル画像のURL、本文のテキストデータをjson... 続きを読む

構文のことは忘れて、JSON, S式, XMLのデータモデルを比較する

2022/08/21 122 users 構文 XML フォーマット 観点 定義済み

データをシリアライズするには、独自のフォーマットを定めるよりも、基本的な定義済みの構造を組み合わせてフォーマットを作るほうが望ましい場合が多いです。 そのような仕組みとしてJSON, S式, XMLなどが存在しますが、これらは 「基本的な構造」として何を選ぶか、という観点からそれぞれに個性を持っています。 本記... 続きを読む

JSON を行単位にわかりやすく展開してくれるコマンド gron がピンポイントでとても便利

2022/06/13 419 users Programming コマンドライン コマンド 万能 行単位

JSON を行単位にわかりやすく展開してくれるコマンド gron がピンポイントでとても便利 2022-06-13-1 [Programming] コマンドラインでの JSON の操作には jq (軽量JSONパーサ)[2017-10-24-1] を使っています。万能で便利なんですが、奥まったところにある値だけを取りたいときとかちょっと面倒なんですよね。ちらっと値... 続きを読む

フロントエンドエンジニアが「自分はJSON色付け係」と自虐する理由を考察した - パンダのプログラミングブログ

2022/06/04 240 users パンダ フロントエンドエンジニア 自虐 出典 自虐ネタ

「JSON色付け係」という自虐 フロントエンドエンジニアの間では、「私の仕事は JSON に色を付けることです」という有名な自虐ネタがある。 おそらく初出は以下のツイートなのだろう（*1）。ただ、出典はあまり詳しく調べていない。 初めてこの言葉を見た時、面白い言い回しだなと思った。確かにフロントエンドの仕事にそ... 続きを読む

エンジニアのための十徳ナイフ「DevToys」が便利すぎる - Qiita

2022/01/27 324 users Qiita DevToys スイスアーミーナイフ エンジニア

DevToysとは デベロッパーのためのスイスアーミーナイフの紹介文の通り。 開発時によく使うツールを十徳ナイフのようにまとめたアプリになっています。 JSONの整形とかエンコードデコードetc... プログラミングや保守運用の調査でやりがちな作業をいちいち変換サイトを探したり、エディター拡張機能のショートカットを探... 続きを読む

開発者の日々の作業をサポートする様々なミニツールを集約したオープンソースのデスクトップアプリ・「DevToys」

2022/01/21 168 users DevToys デスクトップアプリ RegExp ミニツール

DevToys DevToysは開発者の日々の作業をサポートする様々なミニツールを集約したオープンソースのデスクトップアプリです。Windowsエコシステムを採用するように設計されており、Windows 10のビルド1903以降で動作するそうで、Windows専用のアプリとなっています。 JSONのフォーマット、テキストdiff、RegExpのテスト、b... 続きを読む

RustでJSONパーサーをフルスクラッチで実装する - Qiita

2021/11/30 177 users フルスクラッチ Qiita パーサー rust 実装

この記事はRust Advent Calendar 2021 カレンダー2の1日目の記事です。 はじめに エンジニアは一度はJSONパーサーをフルスクラッチで実装したほうが良いという天啓を受けRustでJSONパーサーを実装してみました。 パーサーはJSONのRFC 8259を読み進めて実装しました。パーサーの実装は面白く勉強になり満足しましたが折角... 続きを読む

PlantUML で JSON データを簡単視覚化

2021/11/07 261 users plantUML YAML POSTAL state City

最近，仕事で使うことがあってたまたま気がついたのだが， PlantUML って JSON や YAML のデータを視覚化できるんだね。 やり方は簡単。たとえば { "firstName": "John", "lastName": "Smith", "isAlive": true, "age": 28, "address": { "streetAddress": "21 2nd Street", "city": "New York", "state": "NY", "postal... 続きを読む

JSONをいい感じに見るCLIを作った

2021/09/06 470 users CLI tableView GitHub Homebrew

JSON をいい感じに見るための CLI を作ったので紹介します。 作ったもの リストになった JSON を見やすく整形するための CLI です。 テーブル表示にするので TableView から TV という名前にしました。 インストール方法 Mac の方は homebrew を使ってインストールすることができます。 その他 OS の方は GitHub のrelea... 続きを読む

Hotwireとは何なのか？

2021/01/24 135 users Basecamp Hotwire SPA APIサーバ 名前

はじめに HotwireはBasecampが発表した、モダンなWebアプリケーションを作るための新しいアプローチです。名前もHTML OVER THE WIREから来ているように、HotwireではHTMLをサーバーから送ります。「それ普通のWebアプリケーションでは？」と思う方もいるかもしれませんが、SPA + APIサーバでJSONが使われるのに対し、SPA... 続きを読む

自分のグローバルIPアドレスを知れるサービス ifconfig.io - てくなべ (tekunabe)

2021/01/01 257 users tekunabe マシン IPv6 くなべ https

はじめに 今作業しているマシンが、インターネットへ通信するときに、送信元IPアドレスが何になるか知りたいときはないでしょうか。 そんなときに私が使っているのが、https://ifconfig.io/ というサービスです。 以下の特徴があります。 JSON に対応 IPv6 に対応 http / https 両対応 個人的に覚えやすいアドレス 使い... 続きを読む

grep の「バイナリファイル (標準入力) に一致しました」が出る条件を調べていたらそれは長い旅路の始まりだった。 | Zenn

2020/10/06 181 users バイナリファイル Zenn grep 各所 長い旅路

grep の「バイナリファイル (標準入力) に一致しました」が出る条件を調べていたらそれは長い旅路の始まりだった。 はじめに 昨今では1行につき、1つの JSON を出力する様なログファイル形式も珍しくはありません。 grep しやすい データベース化しやすい これらの理由で各所で多く使われています。僕も仕事で普通に使っ... 続きを読む

React、Angular、Vue対応、高性能なテーブルを実装できるシンプルで軽量のJavaScriptライブラリ -Grid.js | コリス

2020/07/15 187 users React angular Preact コリス Vue

高性能なテーブルを実装できる、シンプルで軽量のJavaScriptライブラリを紹介します。HTMLテーブル、ページネーション、検索機能、ソート機能、XMLやJSONからインポートなどに対応しています。 React、Angular、Preact、Vueなどの主要なフレームワークのプラグインとして動作するだけでなく、フレームワークなしのバニラ... 続きを読む

JSON にもコメントを書きたい - Qiita

2020/02/16 189 users Qiita 構文 tl;dr 近年 キー

そう、JSON にはコメントを記載するための構文がないのです。近年では設定ファイルなどで利用されることも多い JSON ですが、コメントによる説明が不要なキーを名付けることは現実的ではありません。どうしよう、困ったな。 TL;DR コメントをつけるだけなら JSONC を使いましょう。 どうしても JSON にコメントを書きた... 続きを読む