sed awk make 互換性 つらい うんざりザリガニ - Lambdaカクテル

2024/04/19 109 users ザリガニ Lambdaカクテル awk 互換性 おれ

仕事でsedのコードをパパッと書いて使ったら、コードレビューで動かんと言われてしまった。そういえば、同僚はMacで、おれはLinuxだったな。 まぁsedならよくある話なので、しょうがないと思ってawkで同じことをした。awkは比較的もうちょっと互換性がある気がしているからだ(どっこいどっこいな気もする)。 しかしまだ... 続きを読む

【脱sed】いい加減シェルスクリプトで文字列をsedで置換するなんてやめよう - Qiita

2023/08/31 550 users done Qiita Echo from for

$ time bash -c 'for((i=0; i<100000; i++)); do ret=$(echo "$i" | sed "s/from/to/"); done' real 2m26.530s user 2m24.668s sys 0m30.479s $ time bash -c 'for((i=0; i<100000; i++)); do ret=${i/from/to}; done' real 0m0.538s user 0m0.538s sys 0m0.000s 約 272.360594795539033 倍 2 倍程度の遅さなら 1 分が 2... 続きを読む

Rubyのコードでplain text/JSON/YAMLを整形できるrfコマンドを作った - ぶていのログでぶログ

2023/05/15 10 users YAML CLI awk JSON Ruby

モチベーション 私はcliでテキストを編集するときはawk/sedを使い、JSONはjq、YAMLはyqを使っている。 それぞれ単純な処理ならあまり苦労せず使えるのだが、複雑な処理をしたい場合スクリプトを組んだりしないといけない。 そういったときにRubyでガっと書いてしまいたいのだけど、ruby -ane '〜' だとそれはそれで書く... 続きを読む

GNU AWK 5.0がリリース。8年ぶりのメジャーバージョンアップ。正規表現ライブラリがGLIBCからGNULIBへ移行、名前空間が実装 － Publickey

2019/04/16 173 users glibc awk Publickey grep UNIX

GNU AWK 5.0がリリース。8年ぶりのメジャーバージョンアップ。正規表現ライブラリがGLIBCからGNULIBへ移行、名前空間が実装 UnixやLinuxにおいてsedやgrepなどと並んでよく知られているツールの1つがawk（オーク）です。このawkのGNUプロジェクトによる実装の最新版「GNU AWK 5.0」（gawk 5.0）のリリースが発表されまし... 続きを読む

protocプラグインの書き方 - Qiita

2018/02/11 73 users Qiita awk Protobuf CSV 本稿

以前の記事 では、Protocol Buffers (protobuf)の魅力の1つは周辺ツールを拡張しやすいことだと述べた。そこで本稿では具体的に拡張のためのprotocプラグインの書き方を紹介したい。 ちなみに、protobufの周辺ツールと言うと2種類ある。 1つはprotobufでシリアライズされたデータを処理するツール。JSONやCSVにとってのjqやsedやawkに相当する。 もう1つ... 続きを読む

GNU sed 4.3登場 - 正規表現マッチング10倍高速化 | マイナビニュース

2017/01/05 15 users GNU sed Stable マイナビニュース リリ 開発者ら

GNU sed: sed (stream editor) is a non-interactive command-line text editor. GNU sedの開発者らは1月4日(協定世界時)、「 sed-4.3 released [stable] 」において、GNU sedの最新安定版となる「GNU sed 4.3」の公開を伝えた。1つ前のバージョンとなるGNU sed 4.2.2のリリ... 続きを読む

vimをパイプにする - 余白の書きなぐり

2016/12/02 56 users vim 余白 piyo パイプ UNIX

2016 - 12 - 03 vimをパイプにする Vim シェルスクリプト この記事は Vim Advent Calendar 2016 (その2) の3日目の記事です。 UNIX のテキスト処理 UNIX でテキストを自動整形する際、パイプ機能は欠かせない。 $ cat a.txt 1 hoge 2 piyo 3 fuga $ cat a.txt | sed ' s/piyo/foo/ ' |... 続きを読む

sedでこういう時はどう書く? - Qiita

2016/03/04 158 users Qiita

シェルでデータ加工するときSEDをよく使いますが、その利用例と覚え書きです、参考になれば sedコマンドはLinux/Unix/BSD/OSXに標準で入っているので、Macの人なら覚えておくと捗るかも 使用例をいろいろ上げてみる '#'で始まるコメント行を削除する。 続きを読む

awkで作られた3Dシューティングゲーム「awkaster」が凄い

2016/01/15 222 users awk grep 3Dシューティングゲーム スクリプト言語

awkといえばgrep、sed等とともにUNIX黎明期から存在するテキスト処理コマンドとして知られています。最近は高機能なスクリプト言語が台頭し、使いこなせる人も小数派となってきたなか(?)、awkを使ってなんと3Dシューティングゲームが開発されてしまいました。その名も「 awkaster 」gawk 4.0.0以上を使用しターミナル上で動作します。 awkasterは、レイキャスティングと呼ばれ... 続きを読む

GitHubの草のSVGをコマンドラインで取得する - Qiita

2015/12/09 12 users GitHub Qiita SVG コマンドライン awk

個人的に対外的なコード書いてるかの指標にGitHubの草、しかもパブリックな状態の草状況を自動で監視したかった(意味不明な文章だ)。 試行錯誤の末、単にシェルのワンライナーでできた curl https://github.com/mizchi | awk '/<svg/,/svg>/' | sed -e 's/<svg/<svg xmlns="http:\/\/www.w3.org\/2000\/... 続きを読む

最強のSSH踏み台設定 - Qiita

2015/10/15 1054 users Qiita 最強 bit.ly http

# 最強のSSH踏み台設定 http://bit.ly/1MD3d24 Host */* ProxyCommand ssh -W "$(sed 's/.*\///'<<<"%h")":%p "$(dirname "%h")" 続きを読む

sedを使ってファイルや複数行文字列の末尾の余計な空白行や改行を消す

2015/09/04 47 users GNU 末尾 改行 空白行 文字列

27 Aug 2015 Top › Gnu › BSD , Linux , Mac sedを使ってファイルや複数行文字列の末尾の余計な空白行や改行を消す B! 0 2 0 0 4 文字列の最後に余計な空白行とかが付いてる時に消す事を sedを使ってやろうと思ったら結構大変だった件。 問題が起こった所 sedでの改行の消し方 sedで末尾の空白行を消す sedで末尾の空白行を消す別の方法 sedで改... 続きを読む

sedで改行を出力する - rcmdnk’s blog

2014/11/21 32 users SEP 一筋縄 GNU sed 改行 オマケ

21 Sep 2014 12:00 pm Posted in Computer Tagged as Bash sedで改行を出力する Tweet Pocket Tumblr sedを使って文字列を変換する際、 Mac等BSD系sedだと変換後に改行を出すのが一筋縄ではいかない、と言う話。 GNU sedでの改行変換 BSD sedでの改行出力 BSD sedでのスマートな改行出力 おまけ おまけ2... 続きを読む

Linux - tree コマンドが無い環境で tree コマンドを実現 - Qiita

2014/10/07 170 users Qiita TREE find Linux コマンド

tree コマンドは便利 Linux における tree コマンドは便利ですね。しかし標準コマンドではないため初めて操作するサーバや手軽に tree をインストール出来ない環境だとディレクトリ構造を奇麗にツリー上に表示することが出来ません。 その場合は find や sed を使って tree コマンドを代替しましょう。 find と sed で代替 続きを読む

たった6個のsedを通せば、Apacheログは驚くほど扱いやすくなる - Qiita

2014/08/29 110 users Qiita Apacheログ 6個

Q. awk '{print $9}'とかでUser-Agent丸ごと取り出したい とか思ったことない? Apacheのログ解析で。でもできないじゃない。例えば 192.168.0.1 - - [17/Apr/2014:11:22:33 +0900] "GET /index.html HTTP/1.1" 200 43206 "https://www.google.co.jp/" "Mozilla/... 続きを読む

Use multiple CPU Cores with your Linux commands -- awk, sed, bzip2, grep, wc, etc. | RankFocus - Systems and Data

2013/10/30 87 users Commands ＷＣ awk grep BZIP2

Here’s a  common problem: You ever want to add up a very large list (hundreds of megabytes) or grep through it, or other kind of operation that is embarrassingly parallel? Data scientists, I am talkin... 続きを読む

データ集計コマンドを極めてシステム処理と業務速度を爆速化するお話 - Yuta.Kikuchiの日記

2013/08/01 452 users Yuta.Kikuchi 爆速化 ランダムサンプリング 日記

Linux | 08:43 | Index データ集計コマンド 爆速で検索したいぜ！ lookを使う LC_ALL=Cを設定する データのランダムサンプリングがしたいぜ！ sedを使うawkを使う sortの--random-sortを使うScript言語を使う shufを使う ランダムサンプリング速度比較 合計と平均値を集計したいぜ！ 列データ取得 重複行のカウント 合計値出力平均値出力 複数フ... 続きを読む

A proof that Unix utility "sed" is Turing complete - good coders code, great reuse

2012/04/18 17 users Utility

It's not at all important to get it right the first time. It's vitally important to get it right the last time. Andrew Hunt and David Thomas The proof is by Christophe Blaess. Back in the day he wrote... 続きを読む

O'Reilly Japan - 言語実装パターン

2011/12/12 78 users O'Reilly Japan awk 構文解析 本書 実装

構文解析器生成系ANTLRの開発者であり、サンフランシスコ大学教授のTerence Parrが贈る、言語実装パターンの解説書。構文解析、意味解析、インタプリタ構築を通じて、言語アプリケーション開発に必要な知識が身に付きます。sedやawkなどのツールやスクリプト言語では実装が複雑になりがちなテキスト処理でも、本書のパターンを使えば素早く効率よくエレガントに実装できます。また、効率よく高度な業務処理... 続きを読む

キヤノンの歴史的発表はデジタルシネマカメラ C300、短編作品公開 -- Engadget Japanese

2011/11/04 78 users キヤノン Engadget Japanese 発表 ARRI

キヤノンの歴史的・国際的発表は、デジタルシネマカメラ C300 でした。ハリウッド、パラマウントスタジオで発表されたこのカメラは、カメラ好事家が買ってどうこうというものではありませんが、これまで ARRI や RED といった企業が幅をきかせていたデジタルシネマカメラ分野にキヤノンが堂々と乗り込んだという意味で、確かに歴史的な製品と言えるかもしれません。DynaMac や SED の復活を夢見た方... 続きを読む

awk暦一日の初心者が語るawk理解のポイント - 睡眠不足？！

2011/09/19 245 users 睡眠不足 Aho 初心者 ポイント awk

今までテキスト処理などでワンライナーを使うときはperlを使っていた．Perlを先に覚えた身としてはawkやsedは過去の産物だと思い込んでいた．awkの方が簡潔に書けるケースに出くわしたことをきっかけにawkを勉強してみたら単な食わず嫌いだったことに気が付いたのでポイントをまとめてみる．なおプログラミング言語としてはAWKという表記が正しく (Aho, Weinberger, Kernighan... 続きを読む

ある文字列をファイルの特定行に挿入するコマンド - RX-7乗りの適当な日々

2011/03/10 46 users コマンド RX-7乗り 文字列 ファイル 日々

IT, Linux Linux等で、ファイルの特定の行に、ある文字列を挿入(追加)したい時のコマンド(sed)サンプルを備忘録的に。 前提こんなファイルがあります。$ cat test.txtline1line2line32行目に挿入$ sed -e "2i hoge" test.txtline1hogeline2line32行目直下に挿入$ sed -e "2a hoge" test.txtli... 続きを読む

Linuxコマンドでテキストデータを自在に操る - じっくりコトコト煮込んだみかん

2010/09/16 1021 users コトコト Linuxコマンド みかん uniq Paste

linuxLinuxでテキストデータを扱うときに、コマンドをパイプで繋げるだけでいろいろな処理ができて面白いのですが、綺麗に整理されていない気がするのでまとめてみます。ここでは、cat, paste, join, grep, head, tail, cut, sed, tr, sort, uniq, wc を取り上げます。ファイルを縦に結合ファイルを縦に結合します。コマンド説明cat file1 ... 続きを読む

Linux等でのログのモニタリングで簡単にアラートをキャッチするワンライナー - RX-7乗りの適当な日々

2010/08/26 359 users アラート Linux モニタリング RX-7乗り ロク

IT, Linux 昔、「「ping -a」で音が鳴る！」なエントリでも書いたのですが、何らかをリアルタイムにチェック/監視したい時に、視覚だけではなくアラート音がなると、モニタリングしやすいものです。というわけで、Linuxなんかで、とあるログファイルの出力から、ある文字列が検出された際に、ビープ音を鳴らすワンライナーは以下。 $ tail -f ログファイル | sed -e 's/\(対象文... 続きを読む

あまり知られていないけれど、HTML5では正規表現が使えるようになる － Publickey

2009/09/29 326 users Publickey awk コーダー UNIX デザイナ

2009年9月29日 タグ ： HTML5 正規表現といえば、主にsedやawkといったUNIXのコマンドで、あるいはPerlやPHP、JavaScriptなどのスクリプト言語の中などで、プログラマーが文字列を操作するために使う道具でした。 その正規表現がHTML5でサポートされる見通しです。いままで正規表現を使わずに済んでいたデザイナやコーダーといった職種の方々も、いずれ仕事としてきちんと正規表... 続きを読む