Linuxコマンドでテキストデータを自在に操る - じっくりコトコト煮込んだみかん

2010/09/16 1021 users コトコト Linuxコマンド みかん uniq Paste

linuxLinuxでテキストデータを扱うときに、コマンドをパイプで繋げるだけでいろいろな処理ができて面白いのですが、綺麗に整理されていない気がするのでまとめてみます。ここでは、cat, paste, join, grep, head, tail, cut, sed, tr, sort, uniq, wc を取り上げます。ファイルを縦に結合ファイルを縦に結合します。コマンド説明cat file1 ... 続きを読む

find／grep／xargsコマンドを使いこなす　業務で楽するためのUNIXテクニック集「検索」編：CodeZine

2008/12/10 1006 users xargsコマンド CodeZine find テクニック

この連載では、UNIX系OSをコマンドライン上から効率よく利用するために知っておくべきテクニックや、便利な小技を紹介していきます。今回はfind／grep／xargsコマンドを利用した「ファイル・ファイル内容の検索」に関するテクニックを紹介します。 続きを読む

文字列アルゴリズムの学びかた - Hatena Developer Blog

2016/12/22 844 users Hatena Developer Blog パーザ 本稿

2016 - 12 - 22 文字列アルゴリズムの学びかた こんにちは！はてなアプリケーションエンジニアの id:takuya-a です。 みなさんは、このような疑問をもったことはありませんか？ grep はどのように文字列を検索しているのか？ MeCab はどうやって辞書を高速にルックアップしているのか？ パーサやコンパイラを作りたいけど、何から始めればいいのか？ 本稿では、「文字列アルゴリズム... 続きを読む

「 Linux ならできるのに、だから Windows は...」「それ PowerShell でできるよ」 - Qiita

2014/02/14 763 users Qiita PowerShell Summary Linux

Summary 普段使い用 PowerShell メモ 思惑 個人的には、 PowerShell はスクリプトをゴリゴリ書くよりも、 ちょこちょこ作業するのに向いていると思っている。 ただ、しばらく使っていないと忘れたりするので、そういうものをまとめてみる。 Linux で、grep とか使って、よくやりそうな感じのやつ。 共用パソコンなどの自分の環境以外でも使えることを想定しているので、 できる... 続きを読む

Linuxの基礎用語を完全理解するためにエンジニアが作成した「10のミニプロジェクト」とは？ - GIGAZINE

2021/02/20 736 users GIGAZINE シェル Linux プロセス エンジニア

by Adam Harvey Linuxを利用していると「シェル」や「grep」「プロセス」といった言葉を目にします。エンジニアのCarl Riis氏はそんなLinuxの基礎用語の意味や仕組みをさまざまなウェブサイトから学習し、「10のミニプロジェクト」を作成することでスキルを向上させたとして、その詳細を公開しています。 Getting better... 続きを読む

ソースコードを快適に読むための GNU GLOBAL 入門 (前編) - まちゅダイアリー(2009-03-07)

2009/03/07 610 users まちゅダイアリー GNU GLOBAL 入門 ソースコード

■1 ソースコードを快適に読むための GNU GLOBAL 入門 (前編) ソースコードを読むときは、複数のファイルから目的の関数を探してエディタで開くという作業をすることが多い。 Eclipse や NetBeans などの統合開発環境上で Java を読む場合は、クラスやメソッドの一覧からソースコードへ簡単にジャンプすることができる。 ターミナル上で C を読む場合は、 grep コマンドで関... 続きを読む

いまさらgrepが10倍高速化したのはなぜか | はむかず！

2014/02/24 583 users Stable リリースノート アナウンス 余地 本家

最近GNU grepコマンドの最新バージョンがリリースされ、速度が10倍になったとのアナウンスがあった。それを聞いて、なんであんな枯れた技術に10倍もの高速化の余地があったのだろうと不思議に思った人も多いだろう。 ニュース記事：grepコマンド最新版、”-i”で10倍の高速化 本家のリリースノート：grep – News: grep-2.17 released [stable] 今回のリリースでは... 続きを読む

サクラエディタの便利そうな機能 - Qiita

2019/10/19 492 users サクラエディタ Qiita 流れ弾 置換 エディタ

まえがき SIerをディスる記事がバズるたびに流れ弾が飛んでくるサクラエディタですが、この偉大なエディタを使いこなしている人間は、すくないと思います。 今回は便利そうな機能を記録しておきたいとおもいます。 エディタから使える機能 Grep 検索メニューからGrepまたはGrepによる置換が行えます。 GrepやGrepによる... 続きを読む

grepでログ解析をするなんてひどい話だ | インフラ・ミドルウェア | POSTD

2015/05/20 457 users POSTD ログ解析 インフラ・ミドルウェア ひどい話

複数のサーバにまたがる大量のテキストログをgrepするなんてひどい話です。正規表現で解決できるという話ではありません。ログの保存をバイナリにすることで、よりスケールされたシステムにも対応でき、読みやすいクエリで検索できるようになります。今でも、systemdのjournalにおけるバイナリのストレージフォーマットに関して、不満を漏らす人が多くいることに私は驚きを隠せません。私は長年、システム管理者... 続きを読む

CSV に SELECT / UPDATE クエリを実行できる VS Code の拡張機能「Rainbow CSV」 - kakakakakku blog

2018/11/29 353 users update select クエリ CSV egrep

定期的に CSV からデータを抽出する機会があり，抽出条件によって，今までは以下のような方法を使っていた． CSV を Excel で開いてフィルターを使う方法 CSV を grep / egrep などの Linux コマンドで絞り込む方法 CSV をAmazon S3 にアップロードして Amazon S3 Select でクエリを実行する方法 Rainbow CSV 新しい方法... 続きを読む

grepをよく使うプログラマはどう考えても乗り換えるべき新しいgrepコマンド「ack」:phpspot開発日誌

2013/07/16 320 users Ack プログラマ phpspot開発日誌 サーバ コード

grepをよく使うプログラマはどう考えても乗り換えるべき新しいgrepコマンド「ack」 2013年07月16日- Beyond grep: ack 2.04, a source code search tool for programmers grepをよく使うプログラマはどう考えても乗り換えるべき新しいgrepコマンド「ack」。 サーバに入ってコードを書いている人はかならず使うgrepですが... 続きを読む

えっちな grep をつくった - はやくプログラムになりたい

2021/11/23 242 users Bat ripgrep github.com 出力 プログラム

H(uman-friendly) な grep コマンド hgrep をつくりました． github.com '\w+ で検索した時の出力 ファイルを特定のパターンで検索し，マッチした箇所を構文ハイライトしたコード片で表示します．超ざっくり言うと，ripgrep で検索して bat でマッチ箇所付近を表示するような感じです． grep -C によるコンテキスト表示... 続きを読む

grepを忘れただけなのに - Qiita

2021/04/06 228 users Qiita

去年も『本番環境でやらかしちゃった人のアドベントカレンダー』は盛り上がりましたね。 知見が多く、関心しながら拝見しています。 人は必ず何かしらミスを起こすもの。 明日は我が身と思いながら、業務をこなす日々です。 そんな私も業界に入って1年目に、本番環境の洗礼にあったことがございます。 当時は苦々しい思... 続きを読む

tail -F /path/to/access.log のようなストリームに対して何度でもgrepを試行錯誤できるツール filt を作った - Copy/Cut/Paste/Hatena

2019/08/01 222 users Paste tail Path Cut filt

filtというツールを作りました github.com これはなに まずは以下のスクリーンキャストをご覧ください tail -F /path/to/access.log のようなログの流れを止めてはgrepをして、止めてはgrepのコマンドを変更してしています。 その間、実は裏では実際のストリームは止めていません。 つまり、ストリームのパイプ先に まず... 続きを読む

awkで作られた3Dシューティングゲーム「awkaster」が凄い

2016/01/15 222 users awk sed 3Dシューティングゲーム スクリプト言語 なか

awkといえばgrep、sed等とともにUNIX黎明期から存在するテキスト処理コマンドとして知られています。最近は高機能なスクリプト言語が台頭し、使いこなせる人も小数派となってきたなか(?)、awkを使ってなんと3Dシューティングゲームが開発されてしまいました。その名も「 awkaster 」gawk 4.0.0以上を使用しターミナル上で動作します。 awkasterは、レイキャスティングと呼ばれ... 続きを読む

文字列検索コマンド「grep 2.17」リリース | SourceForge.JP Magazine

2014/02/19 213 users GNU Project 特定 Windows パフォーマンス

GNU Projectのgrep開発チームは2月17日、最新安定版「grep-2.17」をリリースした。パフォーマンスの向上が行われており、「10倍の高速化」が実現されているという。 grepはファイルから特定のパターンを検索するツールで、「global regular expression print」の略。正規表現による検索も可能で、多くのUNIX系システムで使われているほか、Windowsで... 続きを読む

画像ファイルやデータベースの文字列を「grep」のように検索できる「ripgrep-all」 - GIGAZINE

2020/12/03 189 users GIGAZINE コマンドライン メタデータ Linux 弱点

Linuxのコマンドラインで文字列を検索する際に必要不可欠なコマンドといえば「grep」です。しかし、grepは動画ファイルやPDFファイルの文字列を検索できないのが弱点。そんなgrepの弱点を克服し、動画ファイルのメタデータやデータベースのレコード、画像ファイル内の文字列まで検索可能なコマンドが「ripgrep-all(rga)... 続きを読む

Big Sky :: レーベンシュタイン距離を使ったあいまい grep コマンド「lsdgrep」作ってみた

2017/02/26 189 users コマンド Big Sky

元ネタはずいぶんと昔の記事なのだけど。 編集距離 (Levenshtein Distance) - naoyaのはてなダイアリー ■ 編集距離 (Levenshtein Distance) 昨日 最長共通部分列問題 (LCS) について触れました。ついでなので編集距離のアルゴリズムについても整理してみます。 編集距離 (レーベン... http://d.hatena.ne.jp/naoya/200... 続きを読む

ワタシが愛した小町ホラー（2010年編） - YAMDAS現更新履歴

2013/04/15 185 users わたし YAMDAS現更新履歴 Twitter 2010年編

ご存知の通り、Twitter の過去発言アーカイブが日本版でも取得できるようになった。ワタシの場合、この機能の話を目にしたときから、自分が Twitter で「小町ホラー」として紹介したトピ一覧再掲をやろうと思っていた。実際、ツイートアーカイブをダウンロードし、全ツイートを収録した csv ファイルを「小町ホラー」で grep かけたところ、180行をこえた……どうやらワタシは人生の一部を確実に無... 続きを読む

grep の「バイナリファイル (標準入力) に一致しました」が出る条件を調べていたらそれは長い旅路の始まりだった。 | Zenn

2020/10/06 181 users バイナリファイル JSON Zenn 各所 長い旅路

grep の「バイナリファイル (標準入力) に一致しました」が出る条件を調べていたらそれは長い旅路の始まりだった。 はじめに 昨今では1行につき、1つの JSON を出力する様なログファイル形式も珍しくはありません。 grep しやすい データベース化しやすい これらの理由で各所で多く使われています。僕も仕事で普通に使っ... 続きを読む

GNU AWK 5.0がリリース。8年ぶりのメジャーバージョンアップ。正規表現ライブラリがGLIBCからGNULIBへ移行、名前空間が実装 － Publickey

2019/04/16 173 users glibc sed awk Publickey UNIX

GNU AWK 5.0がリリース。8年ぶりのメジャーバージョンアップ。正規表現ライブラリがGLIBCからGNULIBへ移行、名前空間が実装 UnixやLinuxにおいてsedやgrepなどと並んでよく知られているツールの1つがawk（オーク）です。このawkのGNUプロジェクトによる実装の最新版「GNU AWK 5.0」（gawk 5.0）のリリースが発表されまし... 続きを読む

技術メモ帳 - 定期的にコマンドを実行しその出力の変化を監視する

2006/11/02 153 users コマンド 出力 技術メモ帳 変化 watch

以前に、watch コマンドという指定されたコマンドを定期的に実行し、フルスクリーンで表示してくれるコマンドがあるという事を書いた。http://d.hatena.ne.jp/lurker/20060716/1153056030 実は、--differences とオプションを付加する事によって、直前の出力結果との差分をハイライト表示してくれるらしい。知らなかった。コレは便利だ。正直 grep -... 続きを読む

ログ解析で楽をする話 #qpstudy でしてきました。 | debiancdn

2013/04/13 141 users debiancdn qpstudy Stable RDB ロク

ログ解析というのはインフラエンジニアの基礎の基礎です。アプリケーションが定まればそれなりのログ解析ツールは存在します。Debianのstableですら数十のツールがあります。 とはいえ、実際のログというのは往々にしてアプリケーション毎に全然ちがっているのでツールは役に立ちません。結果としてgrepを駆使したり、はたまたRDBに突っ込んだりして試行錯誤することになります。 見事に解析できたとしても、... 続きを読む

ソースコード検索の ack がよさげな件: blog.bulknews.net

2006/05/25 125 users Ack Catalyst ディレクトリ 人むけ 話題

ソースコード検索の ack がよさげな件 #catalyst でちょっと話題になっていた ack をいれてみた。CPAN シェルから install App::Ack とするだけ。 基本的には grep -r | grep -v .svn | grep -v \~ に飽きてしまった人むけのソースコード検索ツールです。gonzui などとは違いインデックスはつくらないでそのままディレクトリをトラバー... 続きを読む

我的春秋: HTML エディタとしての Carbon Emacs

2006/10/08 120 users エディタ 春秋 Carbon Emacs HTML TIGER

Dreamweaver などがまだ Intel Mac に対応していないこともあって、目下、色々なエディタを試用しながら、自分に合ったモノを探しています。ポイントは以下の通り。 Intel Mac + Tiger でも動作すること UTF-8 の読み書きに対応 GREP（正規表現検索や置換）ができること シンプルな UI 軽量・軽快なこと 要素・属性・属性値・コメントなどの色分け機能 要素名・属性... 続きを読む