はじめに - 作って学ぶ正規表現エンジン

2024/01/29 10 users

はじめに 正規表現は様々なプログラミング言語で利用されている、テキスト処理のためのパターン言語です。 正規表現はテキストエディタでの検索や置換、入力文字列のバリデーションなどプログラミングの様々な分野で実用されています。 ある程度の規模のプログラムにおいて、正規表現を全く利用しない (利用していない) ... 続きを読む

第2回　Pythonの脆弱性 ～ReDOS～ | gihyo.jp

2022/11/21 6 users ReDoS gihyo.jp しくみ マッチング 脆弱性

では、なぜこのようなことが起きてしまうのでしょうか。具体的な脆弱性の解説に移る前に、まずはReDoSのしくみについて説明します。 ReDoSのしくみ ReDosの脆弱性を理解するためには、そもそも正規表現によるマッチングを行う処理系である、正規表現エンジンのしくみについて知る必要があります。 正規表現エンジンの概... 続きを読む

Onigmoのインタプリタをdirect threaded codeに置き換えてCRubyを8%高速化した話 - 開発日記

2021/10/18 5 users インタプリタ CRuby NFA switc 技法

Ruby言語の正規表現エンジンとしても使われているOnigmo(鬼雲)を高速化したのでその話をします。 Onigmoでは、正規表現のマッチにはバイトコードインタプリタを用いてNFAの実行をしています。バイトコードインタプリタの高速化には古くから知られている技法として、direct threaded codeがあり、この技法を用いればswitc... 続きを読む

Mozilla、今後はV8の正規表現エンジンをFirefoxにそのまま取り込むと表明。そのための互換レイヤを開発 － Publickey

2020/06/07 148 users Publickey ECMAscript 互換レイヤ 表明

Mozilla、今後はV8の正規表現エンジンをFirefoxにそのまま取り込むと表明。そのための互換レイヤを開発 WebブラウザにはJavaScriptを実行するためのJavaScriptエンジンが搭載されています。それはChromeであれば「V8」、Firefoxであれば「SpiderMonkey」と呼ばれ、それぞれのWebブラウザベンダがECMAScriptの標準に準拠... 続きを読む

40行以内で正規表現エンジンを構築 | プログラミング | POSTD

2017/12/21 196 users POSTD courses プログラミング 構築 自力

先日ある(https://www.cs.princeton.edu/courses/archive/spr09/cos333/beautiful.html)に遭遇しました。この記事には、Rob先日ある 記事 に遭遇しました。この記事には、Rob PikeがC言語で実装した基本的な正規表現エンジンについて書かれていました。彼のコードをJavaScriptに変換し、さらに誰もが正規表現エンジンを自力で... 続きを読む

先読みと後読みの可能な、O(N)の正規表現エンジンの実装 // Speaker Deck

2017/03/31 62 users Speaker Deck 実装 先読み

All slide content and descriptions are owned by their creators. 続きを読む

【特別企画】使いこなせば検索・置換が捗る！　「EmEditor」で正規表現を身に着けよう - 窓の杜

2015/12/25 69 users EmEditor テキストエディター 置換 正規表現 ステップ

特別企画 使いこなせば検索・置換が捗る！　「EmEditor」で正規表現を身に着けよう 基本から無理せず少しずつステップアップし、目指せ脱初心者 （2015/12/25 20:21） 正規表現エンジンとして“Onigmo”が選べるようになった「EmEditor」 テキストエディターを使いこなすためにぜひとも覚えてほしいものの一つに“正規表現（regular expression）”がある。正規表現... 続きを読む

正規表現からLLVMへのコンパイラを実装する - Qiita

2015/05/11 110 users LLVM Qiita Scala JITコンパイル コンパイラ

正規表現技術入門という本の中に、正規表現のJITコンパイルという技術が紹介されている。VM型の正規表現エンジンは以前作った1ので、これをLLVMへコンパイルすればおもしろいのではないかと考えて、実行することにした。なお、実装にはScalaを用いた。 正規表現の抽象構文木 VMの実装の時に用いたものと同じく、次のデータ構造を用いる。 sealed trait Regex case object Em... 続きを読む

Goの正規表現エンジンを使ってファジング用ツールを書いてみる - YAMAGUCHI::weblog

2014/12/21 37 users 薬指 コリン 左手 Go界 YAMAGUCHI

2014-12-21 Goの正規表現エンジンを使ってファジング用ツールを書いてみる Go はじめに こんにちは、Go界のコリン・ファースです。この記事はGo Advent Calendar 2014の21日目の記事です。昨日初サバゲーしたら、左手の薬指の爪のどまんなか含め、ピンポイントに左手の薬指3箇所を撃たれて、めっちゃ痛いです。 ところで今年のGo Advent Calendarではすでに2本... 続きを読む

テキストエディタ「Vim 7.4」リリース | SourceForge.JP Magazine

2013/08/13 14 users テキストエディタ vim UNIX リリ 刷新

テキストエディタ「Vim」開発チームは8月10日、最新版「Vim 7.4」をリリースした。バグ修正が中心のリリースとなるが、正規表現エンジンの刷新といった機能強化も加わっている。 VimはUNIXで古くから使われているテキストエディタ「Vi」から派生した高機能テキストエディタ。Viを補完する機能セットやスクリプトによる拡張機能を備えており、またターミナル上で動作するCUI版だけでなくGUI版もリリ... 続きを読む

定番テキストエディター「Vim」が7.4にバージョンアップ - 1,000箇所にも及ぶパッチと新しい正規表現エンジン | パソコン | マイナビニュース

2013/08/13 150 users vim 定番テキストエディター テキストエディター ヴィム

8月10日(現地時間)、Vim.orgはUNIX系OSで定番に数えられるテキストエディター「Vim（ヴィム）」の最新バージョンとなる「7.4」のリリースを公式サイトや、Googleグループ上の「vim_announce」で発表した。 公式版となるWindows OS向け「gVim」 開発メンバーの一人であるBram Moolenaar氏は「1,000箇所にも及ぶパッチを適用し、新しく速い正規表現エ... 続きを読む

vim-jp » Vim 7.4 released!

2013/08/10 42 users vim-jp vim Vi IMproved 告知 修正

Vim 7.4 がリリースされました。 以下勝手訳。 Vim 7.4 released! Hello Vim users, 告知: Vim (Vi IMproved) version 7.4 7.4b BETA からいくつかの問題が修正されました。もう十分にテストされたはず なのでリリースすることにします！ 7.3 からの大きな追加は: 新しい、速い正規表現エンジン。 1000 以上の修正と小さな... 続きを読む

Ruby で Web ページの本文を抽出する方法 - present

2013/06/30 33 users GitHub nakatani present Ruby 前提

2013-06-30 Ruby で Web ページの本文を抽出する方法 Ruby ExtractContent を使えばいい。 Webページの本文抽出 (nakatani @ cybozu labs) ただ、上の記事の ExtractContent は Ruby1.9 以上では動かなかった。正規表現エンジンが変わったからね…。 無ければ自分で修正することを前提に、GitHub で探したら、案の定 ... 続きを読む

PHPで仮想マシンベースの正規表現エンジンを作ってみる 第一回 : アシアルブログ

2013/06/20 136 users PHP プログラマ アシアルブログ 久保田 仮想マシン

こんにちは、久保田です。 皆さん正規表現は使っていますか? PHPに限らずどんな言語を使っていても、正規表現にお世話になっていないプログラマはいないと思います。しかし、その正規表現がどのように実装されているかについては知らない方が多いのではないのでしょうか。 この記事では、その正規表現の実装方法の一つである仮想マシンによる正規表現エンジンの実装方法を解説しつつ実際に簡単な正規表現エンジンを作ってい... 続きを読む

vim-jp » 新正規表現エンジンのテスターを募集しています。

2013/05/23 20 users vim-jp テスター Bram パッチレベル vim

先日 vim のパッチレベルが 1000 を超えました。当初は 999 で 7.3 を終え、7.4 のαバージョンがリリースされる予定でしたが、Bram 氏の意向によりしばらくは 1000 以降も 7.3 のパッチが提供される事となりました。 7.4 を楽しみにしておられた方には残念ですが、今しばらくお待ちください。 さて先日、パッチ 7.3.970 にて新しい正規表現エンジンが導入されました。N... 続きを読む

Shibuya.pm 〜夏の正規表現祭り〜 で好きなこと喋ってきた. | sw@mac

2011/07/06 22 users mixi 限界 sw@mac 正規表現 世界最強

Shibuya.pm 〜夏の正規表現祭り〜 で好きなこと喋ってきた.夏だ祭りだ正規表現だ!! ということで, 行ってきました Shibuya.pm @ mixi 僕はありがたくも「正規表現の限界」とLT・宣伝で「僕の考えた世界最強の正規表現エンジン」と2つの枠で発表させてもらいました. 「正規表現の限界」の方は, 割と皆さん面白いと行ってくれて本当に嬉しかった. 発表するまで「こんなの当たり前じゃ... 続きを読む

正規表現の限界 @ Shibuya.pm

2011/07/06 313 users Shibuya.pm 限界 正規表現 nkf コンパイラ

Perlな皆さん, こんにちは 新屋 良磨 (しんや りょうま) @sinya8282 現在: 東京工業大学で大学院生やってます. 元　: 琉球大学, nkf の河野真治 先生の研究室にいました(Perlとの唯一の接点?). 興味分野: コンパイラ, 言語理論, 正規表現 サイボウズ・ラボユースで正規表現エンジン作らせてもらってます. Perl Monger ではありません> I ♥ 正規表現 正... 続きを読む

サイボウズ・ラボユースに採択されました. | sw@mac

2011/04/29 13 users sw@mac recruit サイボウズ・ラボユース 実装

【サイボウズ・ラボユース】第一期メンバー募集〆切は来週の月曜日4/18です！応募手順も簡単にしましたのでぜひtryしてみてください。http://labs.cybozu.co.jp/recruit/youth.html2011年4月14日 5:56 PM via webReplyRetweetFavorite@takesakoTAKESAKO 採択されました:-o 内容は 正規表現エンジンの実装,... 続きを読む

正規表現の確認

2007/01/19 315 users 正規表現 perl 確認 Java 即座

正規表現を入力すると即座に一致判定を行います。パターンや入力を変えながら あれこれ試行錯誤したい時などに使用してください。正規表現エンジンは JDK 1.6 (Sun Microsystems Inc. Java VM 10.0-b23) を使用しています。Perl や JavaScript など他の言語の正規表現とは細かいクセが違う 可能性があるので注意して下さい。Java 正規表現の詳しい仕様... 続きを読む

きまぐれ日記: はてなキーワードを高速に付与

2005/09/18 186 users 付与 きまぐれ日記 はてなキーワード NFA 人づて

人づてに聞いた話なのですが、はてなキーワードを実際の blog に付与する処理は、巨大な正規表現で行っているそうです。実際に調べてみると、以下のサイトからキーワード付与API と正規表現が入手できます。 http://d.hatena.ne.jp/hatenadiary/20040205 本当にはてな内部では正規表現を使っているのでしょうか? perl の 正規表現エンジンは NFA なので、単純... 続きを読む