sed awk make 互換性 つらい うんざりザリガニ - Lambdaカクテル

2024/04/19 109 users ザリガニ Lambdaカクテル awk 互換性 おれ

仕事でsedのコードをパパッと書いて使ったら、コードレビューで動かんと言われてしまった。そういえば、同僚はMacで、おれはLinuxだったな。 まぁsedならよくある話なので、しょうがないと思ってawkで同じことをした。awkは比較的もうちょっと互換性がある気がしているからだ(どっこいどっこいな気もする)。 しかしまだ... 続きを読む

【脱sed】いい加減シェルスクリプトで文字列をsedで置換するなんてやめよう - Qiita

2023/08/31 550 users done Qiita Echo from for

$ time bash -c 'for((i=0; i<100000; i++)); do ret=$(echo "$i" | sed "s/from/to/"); done' real 2m26.530s user 2m24.668s sys 0m30.479s $ time bash -c 'for((i=0; i<100000; i++)); do ret=${i/from/to}; done' real 0m0.538s user 0m0.538s sys 0m0.000s 約 272.360594795539033 倍 2 倍程度の遅さなら 1 分が 2... 続きを読む

GNU AWK 5.0がリリース。8年ぶりのメジャーバージョンアップ。正規表現ライブラリがGLIBCからGNULIBへ移行、名前空間が実装 － Publickey

2019/04/16 173 users glibc awk Publickey grep UNIX

GNU AWK 5.0がリリース。8年ぶりのメジャーバージョンアップ。正規表現ライブラリがGLIBCからGNULIBへ移行、名前空間が実装 UnixやLinuxにおいてsedやgrepなどと並んでよく知られているツールの1つがawk（オーク）です。このawkのGNUプロジェクトによる実装の最新版「GNU AWK 5.0」（gawk 5.0）のリリースが発表されまし... 続きを読む

protocプラグインの書き方 - Qiita

2018/02/11 73 users Qiita awk Protobuf CSV 本稿

以前の記事 では、Protocol Buffers (protobuf)の魅力の1つは周辺ツールを拡張しやすいことだと述べた。そこで本稿では具体的に拡張のためのprotocプラグインの書き方を紹介したい。 ちなみに、protobufの周辺ツールと言うと2種類ある。 1つはprotobufでシリアライズされたデータを処理するツール。JSONやCSVにとってのjqやsedやawkに相当する。 もう1つ... 続きを読む

vimをパイプにする - 余白の書きなぐり

2016/12/02 56 users vim 余白 piyo パイプ UNIX

2016 - 12 - 03 vimをパイプにする Vim シェルスクリプト この記事は Vim Advent Calendar 2016 (その2) の3日目の記事です。 UNIX のテキスト処理 UNIX でテキストを自動整形する際、パイプ機能は欠かせない。 $ cat a.txt 1 hoge 2 piyo 3 fuga $ cat a.txt | sed ' s/piyo/foo/ ' |... 続きを読む

sedでこういう時はどう書く? - Qiita

2016/03/04 158 users Qiita

シェルでデータ加工するときSEDをよく使いますが、その利用例と覚え書きです、参考になれば sedコマンドはLinux/Unix/BSD/OSXに標準で入っているので、Macの人なら覚えておくと捗るかも 使用例をいろいろ上げてみる '#'で始まるコメント行を削除する。 続きを読む

awkで作られた3Dシューティングゲーム「awkaster」が凄い

2016/01/15 222 users awk grep 3Dシューティングゲーム スクリプト言語

awkといえばgrep、sed等とともにUNIX黎明期から存在するテキスト処理コマンドとして知られています。最近は高機能なスクリプト言語が台頭し、使いこなせる人も小数派となってきたなか(?)、awkを使ってなんと3Dシューティングゲームが開発されてしまいました。その名も「 awkaster 」gawk 4.0.0以上を使用しターミナル上で動作します。 awkasterは、レイキャスティングと呼ばれ... 続きを読む

最強のSSH踏み台設定 - Qiita

2015/10/15 1054 users Qiita 最強 bit.ly http

# 最強のSSH踏み台設定 http://bit.ly/1MD3d24 Host */* ProxyCommand ssh -W "$(sed 's/.*\///'<<<"%h")":%p "$(dirname "%h")" 続きを読む

Linux - tree コマンドが無い環境で tree コマンドを実現 - Qiita

2014/10/07 170 users Qiita TREE find Linux コマンド

tree コマンドは便利 Linux における tree コマンドは便利ですね。しかし標準コマンドではないため初めて操作するサーバや手軽に tree をインストール出来ない環境だとディレクトリ構造を奇麗にツリー上に表示することが出来ません。 その場合は find や sed を使って tree コマンドを代替しましょう。 find と sed で代替 続きを読む

たった6個のsedを通せば、Apacheログは驚くほど扱いやすくなる - Qiita

2014/08/29 110 users Qiita Apacheログ 6個

Q. awk '{print $9}'とかでUser-Agent丸ごと取り出したい とか思ったことない? Apacheのログ解析で。でもできないじゃない。例えば 192.168.0.1 - - [17/Apr/2014:11:22:33 +0900] "GET /index.html HTTP/1.1" 200 43206 "https://www.google.co.jp/" "Mozilla/... 続きを読む

Use multiple CPU Cores with your Linux commands -- awk, sed, bzip2, grep, wc, etc. | RankFocus - Systems and Data

2013/10/30 87 users Commands ＷＣ awk grep BZIP2

Here’s a  common problem: You ever want to add up a very large list (hundreds of megabytes) or grep through it, or other kind of operation that is embarrassingly parallel? Data scientists, I am talkin... 続きを読む

データ集計コマンドを極めてシステム処理と業務速度を爆速化するお話 - Yuta.Kikuchiの日記

2013/08/01 452 users Yuta.Kikuchi 爆速化 ランダムサンプリング 日記

Linux | 08:43 | Index データ集計コマンド 爆速で検索したいぜ！ lookを使う LC_ALL=Cを設定する データのランダムサンプリングがしたいぜ！ sedを使うawkを使う sortの--random-sortを使うScript言語を使う shufを使う ランダムサンプリング速度比較 合計と平均値を集計したいぜ！ 列データ取得 重複行のカウント 合計値出力平均値出力 複数フ... 続きを読む

O'Reilly Japan - 言語実装パターン

2011/12/12 78 users O'Reilly Japan awk 構文解析 本書 実装

構文解析器生成系ANTLRの開発者であり、サンフランシスコ大学教授のTerence Parrが贈る、言語実装パターンの解説書。構文解析、意味解析、インタプリタ構築を通じて、言語アプリケーション開発に必要な知識が身に付きます。sedやawkなどのツールやスクリプト言語では実装が複雑になりがちなテキスト処理でも、本書のパターンを使えば素早く効率よくエレガントに実装できます。また、効率よく高度な業務処理... 続きを読む

キヤノンの歴史的発表はデジタルシネマカメラ C300、短編作品公開 -- Engadget Japanese

2011/11/04 78 users キヤノン Engadget Japanese 発表 ARRI

キヤノンの歴史的・国際的発表は、デジタルシネマカメラ C300 でした。ハリウッド、パラマウントスタジオで発表されたこのカメラは、カメラ好事家が買ってどうこうというものではありませんが、これまで ARRI や RED といった企業が幅をきかせていたデジタルシネマカメラ分野にキヤノンが堂々と乗り込んだという意味で、確かに歴史的な製品と言えるかもしれません。DynaMac や SED の復活を夢見た方... 続きを読む

awk暦一日の初心者が語るawk理解のポイント - 睡眠不足？！

2011/09/19 245 users 睡眠不足 Aho 初心者 ポイント awk

今までテキスト処理などでワンライナーを使うときはperlを使っていた．Perlを先に覚えた身としてはawkやsedは過去の産物だと思い込んでいた．awkの方が簡潔に書けるケースに出くわしたことをきっかけにawkを勉強してみたら単な食わず嫌いだったことに気が付いたのでポイントをまとめてみる．なおプログラミング言語としてはAWKという表記が正しく (Aho, Weinberger, Kernighan... 続きを読む

Linuxコマンドでテキストデータを自在に操る - じっくりコトコト煮込んだみかん

2010/09/16 1021 users コトコト Linuxコマンド みかん uniq Paste

linuxLinuxでテキストデータを扱うときに、コマンドをパイプで繋げるだけでいろいろな処理ができて面白いのですが、綺麗に整理されていない気がするのでまとめてみます。ここでは、cat, paste, join, grep, head, tail, cut, sed, tr, sort, uniq, wc を取り上げます。ファイルを縦に結合ファイルを縦に結合します。コマンド説明cat file1 ... 続きを読む

Linux等でのログのモニタリングで簡単にアラートをキャッチするワンライナー - RX-7乗りの適当な日々

2010/08/26 359 users アラート Linux モニタリング RX-7乗り ロク

IT, Linux 昔、「「ping -a」で音が鳴る！」なエントリでも書いたのですが、何らかをリアルタイムにチェック/監視したい時に、視覚だけではなくアラート音がなると、モニタリングしやすいものです。というわけで、Linuxなんかで、とあるログファイルの出力から、ある文字列が検出された際に、ビープ音を鳴らすワンライナーは以下。 $ tail -f ログファイル | sed -e 's/\(対象文... 続きを読む

あまり知られていないけれど、HTML5では正規表現が使えるようになる － Publickey

2009/09/29 326 users Publickey awk コーダー UNIX デザイナ

2009年9月29日 タグ ： HTML5 正規表現といえば、主にsedやawkといったUNIXのコマンドで、あるいはPerlやPHP、JavaScriptなどのスクリプト言語の中などで、プログラマーが文字列を操作するために使う道具でした。 その正規表現がHTML5でサポートされる見通しです。いままで正規表現を使わずに済んでいたデザイナやコーダーといった職種の方々も、いずれ仕事としてきちんと正規表... 続きを読む

Rubyでワンライナーを書く方法のまとめ

2008/03/30 243 users Ruby awk ワンライナー まとめ Man

like i loved you + Microsoft Research＠シアトルでのインターンから帰ってきました。コネ・社会経験ナシの情報系大学院生が、腕一本で「世界で一番アツい会社」に就職するまでの記録 研究とか、いろんなデータ処理していると、ワンライナーをさくっと書きたい場面に出くわすことがあります。 自分は sed や awk にあまり慣れてなく、いちいち man 見ながらちまちま打ち込... 続きを読む

ITmedia +D LifeStyle：やっぱり「ムラタセイサク君」は凄かった

2006/10/04 51 users ムラタセイサク君 助走 坂道 車庫入れ スゴイ

ニュース 2006年10月05日 01時06分 更新 CEATEC JAPAN 2006： やっぱり「ムラタセイサク君」は凄かった 助走なしで坂道を上り、あざやかにS字カーブをクリア。そうかと思えば、今度はバックして車庫入れ。もちろん得意の不倒停止も披露する。ムラタセイサク君は今年もスゴイ。 電子部品＆デバイスゾーンのアイドルといえば「ムラタセイサク君」である。デジタルネットワークゾーンのSEDに... 続きを読む