なるべく書かないawkの使い方 - ザリガニが見ていた...。

2013/12/09 1007 users Downloads ザリガニ オーク 古く スクリプト言語

コマンドawkという、古くからのスクリプト言語がある。（1977年生まれ。読み方は「オーク」である。エイ・ダブリュ・ケイではない）man awkをPDFに変換してみると、たったの3ページ強しかない。 $ man -t awk|pstopdf -i -o ~/Downloads/awk.pdf とてもシンプルな言語仕様ではあるが、awkには必要十分な表現力がある。特にテキストを処理する場面においては... 続きを読む

統計屋のためのAWK入門 - あんちべ！

2014/09/15 639 users アンチ FAIL 本稿 抽出 短いコマンド

2014-09-15 統計屋のためのAWK入門 はじめに 本稿はAWKという言語を用いて、 ごく簡単にデータ分析用の前処理*1をするための解説記事です。AWKは短いコマンドを記述するだけで多様なデータ処理を可能にします。 特にデータの抽出に関して恐るべき簡易さを提供します。 具体的には、input.txtというファイルの中から "fail"という文字列を含む行を抽出したければ次のように書くだけです... 続きを読む

シェルスクリプトの中で変数を分割する際には、cutとかawkとか余計なプロセスを起動せずsetを使って分割した方が効率的 - 双六工場日誌

2015/01/25 634 users Cut シェルスクリプト set 変数 AWS

2015-01-25 シェルスクリプトの中で変数を分割する際には、cutとかawkとか余計なプロセスを起動せずsetを使って分割した方が効率的 bash shell シェルスクリプトの中で、スペース区切りもしくはタブ区切りのレコードを扱うことがよくあると思います。 たとえば、前回のエントリ「AWS CLIとjqを使って、AWSのELBボリュームがアタッチされているEC2インスタンス名を出力するワン... 続きを読む

大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablog

2015/07/28 470 users ABlog cat Jul print jun

performanceはじめにawk file より cat file|awk のほうが速いという以下のブログエントリが興味深いので調べてみました。 [root@localhost sample]# cat command1 awk '$5 ~ /((26|27|28|29|30)\/Jun|(01|02|03)\/Jul)/{ print }' sample.txt > result1.txt ... 続きを読む

CSVの処理で使えそうなコマンドラインツール（column, textql, csvkit, xsv, visidata, csvtotable, daff, tabview） - もた日記

2018/07/25 465 users コマンドラインツール column Paste join 処理

column textql csvkit xsv visidata csvtotable daff tabview CSV（またはTSV）を処理するときにはcut, sort, awk, paste, joinといったコマンドを使うことが多いが、CSVの処理で使えそうなコマンドラインツールを簡単に試してみる。 テスト用のCSVデータは下記ページで作成した。 Mockaroo - Random Data Generator and... 続きを読む

データ集計コマンドを極めてシステム処理と業務速度を爆速化するお話 - Yuta.Kikuchiの日記

2013/08/01 452 users Yuta.Kikuchi 爆速化 ランダムサンプリング 日記

Linux | 08:43 | Index データ集計コマンド 爆速で検索したいぜ！ lookを使う LC_ALL=Cを設定する データのランダムサンプリングがしたいぜ！ sedを使うawkを使う sortの--random-sortを使うScript言語を使う shufを使う ランダムサンプリング速度比較 合計と平均値を集計したいぜ！ 列データ取得 重複行のカウント 合計値出力平均値出力 複数フ... 続きを読む

大きなテキストファイルをawkで処理するときにcatで投げ込むのと、ファイル読み込みするのどっちが速いか比較 - カメニッキ

2015/07/22 327 users ログファイル vim cat sublime text 加工

2015-07-22 大きなテキストファイルをawkで処理するときにcatで投げ込むのと、ファイル読み込みするのどっちが速いか比較 Linux 2.5GBのテキストファイルを加工する必要があり、①vimで開いて加工→vim死亡②sublime textで開いて加工→sublime text死亡となったため、初awkしてみた。 注意 目的はログファイルからある期間だけの行を抜き取りたい 正規表現がい... 続きを読む

あまり知られていないけれど、HTML5では正規表現が使えるようになる － Publickey

2009/09/29 326 users Publickey sed コーダー UNIX デザイナ

2009年9月29日 タグ ： HTML5 正規表現といえば、主にsedやawkといったUNIXのコマンドで、あるいはPerlやPHP、JavaScriptなどのスクリプト言語の中などで、プログラマーが文字列を操作するために使う道具でした。 その正規表現がHTML5でサポートされる見通しです。いままで正規表現を使わずに済んでいたデザイナやコーダーといった職種の方々も、いずれ仕事としてきちんと正規表... 続きを読む

私はこうやって（１２年前） Google に入った – CTRL+x CTRL+s

2019/03/25 294 users Ctrl＋X Ctrl＋S Google Fortran 修士

書け、という天の声が聞こえたので書いてます。 学生時代 私は修士まで物理学を専攻していて、情報系の勉強は特にしていませんでした。ただ、実験結果をまとめるために awk を使ったり（256倍本とか知っています？）、シミュレーションをするために Fortran 書いたり（関数名の長さに制限ありました）はしていました。 ... 続きを読む

awk暦一日の初心者が語るawk理解のポイント - 睡眠不足？！

2011/09/19 245 users 睡眠不足 Aho sed 初心者 ポイント

今までテキスト処理などでワンライナーを使うときはperlを使っていた．Perlを先に覚えた身としてはawkやsedは過去の産物だと思い込んでいた．awkの方が簡潔に書けるケースに出くわしたことをきっかけにawkを勉強してみたら単な食わず嫌いだったことに気が付いたのでポイントをまとめてみる．なおプログラミング言語としてはAWKという表記が正しく (Aho, Weinberger, Kernighan... 続きを読む

Rubyでワンライナーを書く方法のまとめ

2008/03/30 243 users Ruby sed ワンライナー まとめ Man

like i loved you + Microsoft Research＠シアトルでのインターンから帰ってきました。コネ・社会経験ナシの情報系大学院生が、腕一本で「世界で一番アツい会社」に就職するまでの記録 研究とか、いろんなデータ処理していると、ワンライナーをさくっと書きたい場面に出くわすことがあります。 自分は sed や awk にあまり慣れてなく、いちいち man 見ながらちまちま打ち込... 続きを読む

awkで作られた3Dシューティングゲーム「awkaster」が凄い

2016/01/15 222 users sed grep 3Dシューティングゲーム スクリプト言語

awkといえばgrep、sed等とともにUNIX黎明期から存在するテキスト処理コマンドとして知られています。最近は高機能なスクリプト言語が台頭し、使いこなせる人も小数派となってきたなか(?)、awkを使ってなんと3Dシューティングゲームが開発されてしまいました。その名も「 awkaster 」gawk 4.0.0以上を使用しターミナル上で動作します。 awkasterは、レイキャスティングと呼ばれ... 続きを読む

Rubyの会社でPythonistaが3ヶ月生き延びた話

2012/05/10 197 users Pythonista Rails ところてん Ruby 前職

Rubyの会社でPythonistaが3ヶ月生き延びた話 — Presentation Transcript PythonistaがRailsの会社で3ヶ月生き延びた話 ところてん 1 自己紹介@tokoroten 好きな言語はPythonとawk 画像処理、セキュリティ、自然言語処理、機械学習 2012年2月 ドリコム中途入社 前職は某通信会社研究所、会社を三年で辞めた若者 入社時点でRuby経... 続きを読む

GNU AWK 5.0がリリース。8年ぶりのメジャーバージョンアップ。正規表現ライブラリがGLIBCからGNULIBへ移行、名前空間が実装 － Publickey

2019/04/16 173 users glibc sed Publickey grep UNIX

GNU AWK 5.0がリリース。8年ぶりのメジャーバージョンアップ。正規表現ライブラリがGLIBCからGNULIBへ移行、名前空間が実装 UnixやLinuxにおいてsedやgrepなどと並んでよく知られているツールの1つがawk（オーク）です。このawkのGNUプロジェクトによる実装の最新版「GNU AWK 5.0」（gawk 5.0）のリリースが発表されまし... 続きを読む

awkが新しくなる！？ 本家AwkがUnicode (UTF-8)とCSV対応に！ - Qiita

2023/09/16 147 users Qiita unicode UTF-8 CSV Excel

はじめに 2023年、長い時を経て awk がとうとう Unicode (UTF-8) と CSV に対応しました 🎉🎉🎉 awk で日本語がうまく扱えない（場合がある）、Excel が出力する CSV ファイルが扱えない（場合がある）、といった問題が解決に向けて一歩に進みます。 去年、本家 awk (One True Awk, nawk) に Unicode サポートが Brian K... 続きを読む

シェルコマンドを使った処理の効率化は　AWKの行（レコード）操作がカギをにぎる （1/2）：CodeZine

2014/05/26 132 users シェルコマンド CodeZine シェル芸 コマンド パイプ

行単位で処理を行うことは非常に重要なことです。なぜでしょうか。それは他のUnix系ツールも行単位で処理を行うからです。シェル芸編注1ではパイプを使って次のコマンドに出力を渡しますが、次のコマンドも行単位で処理を行うことが多いため、適切な行をAWKで抜き出すことで円滑な並列処理が可能になります。そのため、シェル芸の効率化は行の処理の効率化と言い換えることができます。そこで、今回はAWKを用いた行の処... 続きを読む

AWKで一番の得意ワザ！ シェルで文字列を自在に扱うための文字列関数 （1/2）：CodeZine

2014/07/25 125 users CodeZine 生みの親 文法 シェル 記述

AWKの最も得意とするものは文字列処理だと言われています。従来、Unix上で文字列を処理する一般的な方法は、sed編注1をはじめ、非常に特化した文法を有するプログラムで処理することでした。しかし、AWKの登場により汎用的でC言語ライクな、人が理解しやすい記述を行えるようになり、文字列処理の生産性が向上しました。今回はその文字列処理について説明します。また、AWKの生みの親の一人であるBrian K... 続きを読む

”私の環境で”大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablog

2015/08/03 121 users ABlog cat PERF プロセススケジューラ File

performance大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablog を書きましたが、awk file > file より cat file|awk > file が速い環境は稀なようなので、私の環境でなぜ cat file|awk > file のほうが速いのか調べてみました。プロセススケジューラが関係しているようです。↑はPerf + Flame Gr... 続きを読む

USP 友の会勉強会 2013/12/22 AWK 一行野郎百裂拳 Normal Action-less 1 awk '{print $0}' awk '4' ファイルの中身を書き出す。 ≒ cat 2 awk '{}' awk '' 何も表示しない。 ≒ cat > /dev/null 3 awk '{print NR, $0}' awk '$0 = NR "

2013/12/23 120 users print dev USP cat 中身

USP 友の会勉強会 2013/12/22 AWK 一行野郎百裂拳 Normal Action-less 1 awk '{print $0}' awk '4' ファイルの中身を書き出す。 ≒ cat 2 awk '{}' awk '' 何も表示しない。 ≒ cat > /dev/null 3 awk '{print NR, $0}' awk '$0 = NR " " $0' 行番号を付ける。 ≒... 続きを読む

sed awk make 互換性 つらい うんざりザリガニ - Lambdaカクテル

2024/04/19 109 users ザリガニ Lambdaカクテル sed 互換性 おれ

仕事でsedのコードをパパッと書いて使ったら、コードレビューで動かんと言われてしまった。そういえば、同僚はMacで、おれはLinuxだったな。 まぁsedならよくある話なので、しょうがないと思ってawkで同じことをした。awkは比較的もうちょっと互換性がある気がしているからだ(どっこいどっこいな気もする)。 しかしまだ... 続きを読む

awkでつくってわかるWebアプリケーション / Web Application Implementation in awk

2024/02/10 99 users YAPC デモアプリケーション github.com 実装

YAPC::Hiroshima 2024での、awkによるWebアプリケーションの実装方法について紹介した発表の資料です。 元となった実装は https://github.com/yammerjp/awkblog にあります。 デモアプリケーションは https://awkblog.net にあります。 続きを読む

シェルスクリプトで日付処理ならdateコマンドは投げ捨ててDateutilsを使おう！ - Qiita

2023/06/04 94 users Qiita シェルスクリプト 次点 コマンド 大抵

この中で私が特に気に入ったコマンドは dateround です。次点は dategrep です。この二つは特に強力で、awk やその他のコマンドを使って日時をこねくり回すような「無駄に難解なコード」を書かずに Dateutils のコマンド群だけで大抵のことはなんでもできてしまいます。専用のことをするには専用のコマンドを作ることが... 続きを読む

Use multiple CPU Cores with your Linux commands -- awk, sed, bzip2, grep, wc, etc. | RankFocus - Systems and Data

2013/10/30 87 users Commands sed ＷＣ grep BZIP2

Here’s a  common problem: You ever want to add up a very large list (hundreds of megabytes) or grep through it, or other kind of operation that is embarrassingly parallel? Data scientists, I am talkin... 続きを読む

O'Reilly Japan - 言語実装パターン

2011/12/12 78 users O'Reilly Japan sed 構文解析 本書 実装

構文解析器生成系ANTLRの開発者であり、サンフランシスコ大学教授のTerence Parrが贈る、言語実装パターンの解説書。構文解析、意味解析、インタプリタ構築を通じて、言語アプリケーション開発に必要な知識が身に付きます。sedやawkなどのツールやスクリプト言語では実装が複雑になりがちなテキスト処理でも、本書のパターンを使えば素早く効率よくエレガントに実装できます。また、効率よく高度な業務処理... 続きを読む

Ruby - プログラマーの通り名まとめ - Qiita

2014/07/26 75 users Qiita プログラマー Prolog Ruby Groovy

プログラマーの通り名とは プログラミング言語っていろいろありますよね！！ぱっと思いついた順に列挙してみると、「C」「Java」「Ruby」「Python」「JavaScript」「Perl」「awk」「Objective-C」「Haskell」「Prolog」「ActionScript」「PHP」「Swift」「Scala」「Groovy」「Verilog」（手が止まったので、ここで終了）などなど... 続きを読む