係り受けの距離を減らすことで、構文解析の負担が減り、文が読みやすくなる話

2022/01/12 15 users 距離 負担

那須音トウ | NASUNE Tou @imenurok 日本語は、「修飾部分を長い順に並べるだけで美文になる」という謎ルールがあったりする。 「推敲とか高尚なことを言ってるくせに、実は長さしか見てない」というダサい人類の事実を明らかにするのちょっと止めてほしい。 2022-01-12 21:51:42 続きを読む

Go コンパイラのコードを読んでみよう | ebiebievidence.com

2020/12/11 260 users コード Scan Parse AST コンパイラ

目次 はじめに 対象とする読者 コンパイラとは 字句解析 (scan) 構文解析 (parse) 中間表現生成 gc とは gc のパッケージ構成 gc によるコンパイルのフロー コードリーディング コンパイルの開始とファイルの読み込み 構文解析 AST への変換 まとめ 付録 A: gc 以外の Go コンパイラ gccgo gollvm ライセンス はじめに ... 続きを読む

JUMAN++/KNPへユーザー辞書を追加する方法 | GMOアドパートナーズグループ TECH BLOG byGMO

2019/09/30 14 users byGMO Mecab NLP GMOアドマーケティング 前回

こんにちは。GMOアドマーケティングのS.Rです。 前回は形態素解析のツール「MeCab」へユーザー辞書を追加する方法を紹介しました。 MeCabを使うことで日本語の形態素解析を簡単に行うことができます。 ただ、NLPの開発には形態素解析だけではなく、構文解析も非常に重要です。 MeCabには形態素解析の機能はありますが、... 続きを読む

Goコンパイラをゼロから作って147日でセルフホストを達成した - Qiita

2019/05/20 305 users Qiita Goコンパイラ Lex セルフホスト DQNEO

Go言語コンパイラをスクラッチから書いてセルフホストを達成しました。 https://github.com/DQNEO/minigo 本家Goコンパイラの実装はほとんど見ずに、ほぼ 8cc 1 というCコンパイラから学んだ知識のみで作りました。 特徴 コンパイルするとアセンブリを吐きます 字句解析・構文解析は手書きです。yacc/lex などのツールは... 続きを読む

JavaScript で論理学を実装 - Qiita

2019/04/06 37 users Qiita node npm i 実装 言語

0. 概要 JavaScript上で命題論理の言語を実装し、意味論 (恒真式・意味論的同値関係やタブロー計算)の各種概念も実装に落とし込む。証明論は未実装。動作環境は Node。 依存パッケージは nearley (構文解析) のみ。npm i --save nearley で環境構築完了。 0. 表記 原子命題は p,q,r,s,t,u のみ利用可。¬⋀⋁→↔ は -,A,V,->... 続きを読む

Go言語の golang/go パッケージで初めての構文解析ハンズオン - Qiita

2018/12/04 32 users Qiita golang インタプリタ Go言語 パッケージ

この記事は、Go Advent Calendar 2018の5日目の記事です。 「Go言語でつくるインタプリタ」を読んで、プログラミング言語の「仕組み」に興味がでてきた。そして、Go言語だと構文解析が簡単に出来るとの噂が！ということで golang/go をパッケージ触ってみると、Go言語で出来る事のイメージが更に広がった。せっかくなの... 続きを読む

Elm で構文解析しよう - Qiita

2017/12/02 26 users Qiita ELM Parser TRIM パーサー

こうすることによって、生の文字列よりもプログラムで扱うことが簡単になります。 しかし、どうすればこの構造を得ることができるのでしょうか？少し考えてみましょう。 split と trim で頑張る 正規表現で頑張る ループで頑張る 全部つらそうですね。 Elm の構文解析器（パーサー） elm-tools/parser は、そんな構文解析を超シンプルな記述で実現してしまうライブラリです。Elm の作... 続きを読む

『雰囲気でコンパイラを書いたら大変だった話』というタイトルで発表しました - Feedforce Developer Blog

2017/10/20 21 users コンパイラ mizukmb github.com Ruby

2017 - 10 - 20 『雰囲気でコンパイラを書いたら大変だった話』というタイトルで発表しました 最高ウデマエ S+12 の id:mizukmb です。 社内勉強会で『雰囲気でコンパイラを書いたら大変だった話』という内容でお話しました。 成果物 github.com ソースコードの読み込み〜構文解析を行います。 github.com 解析木を読み込んで実行します。書籍：『 Rubyでつくる... 続きを読む

ニューラルネットによる構文解析 ー Dependency Parsingについて - scouty AI LAB

2017/09/20 28 users ニューラルネット scouty LAB 島田 人工知能

2017 - 09 - 20 ニューラルネットによる構文解析 ー Dependency Parsingについて Deep Learning 人工知能 技術者向け 自然言語処理 論文まとめ 論文翻訳 scouty代表の島田です。 実はscoutyではサービス上で実用するに至れていませんが、技術選定の段階で調査したので、最近人気も出ている ニューラルネット による Dependency Parsing... 続きを読む

「構文解析ハンズオン」を開催しました（2017/07/01） - kmizuの日記

2017/07/02 32 users バリデーション kmizu 制約 ユーザ 正規表現

2017 - 07 - 02 「構文解析ハンズオン」を開催しました（2017/07/01） 今まで、あまり見たことがない（一般エンジニア向け）勉強会で、かつ、これを学ぶことは実用上とても意味があるテーマの一つに「 構文解析 」があります *1 。 たとえば、Webアプリケーションにおいて、ユーザの入力に大して何らかの構文的制約をつけてバリデーションをする機会は多いですが、 正規表現 による簡単なチ... 続きを読む

機械翻訳勉強会(関西MT勉強会)が5月14(日)にはてな京都オフィスで開催されます - Hatena Developer Blog

2017/05/09 11 users 京都オフィス Hatena Developer Blog

2017 - 05 - 09 機械翻訳勉強会(関西MT勉強会)が5月14(日)にはてな京都オフィスで開催されます こんにちは。ウェブアプリケーションエンジニアの id:syou6162 です。 はてなでは社内の様々なプロダクトで自然言語処理が使われていますが、今回は機械翻訳をはじめとした自然言語処理(単語分割・形態素解析・構文解析・言い換え等)に関する勉強会、関西MT勉強会がはてな京都オフィスで開... 続きを読む

構文解析にまつわる小話たち | κeenのHappy Hacκing Blog

2015/08/08 74 users een Happy Hacκing Blog

続きを読む

Perl 5.22がリリースされました - 数学関連の機能強化、メソッドのパフォーマンスの改善、正規表現の改善 - サンプルコードによるPerl入門 - 安定と信頼のPerlを学ぶ

2015/06/02 56 users perl Perl入門 メソッド パフォーマンス 正規表現

2015年6月1日に、最新バージョンのPerl 5.22がリリースされました。Perl 5.22 リリース　今回のリリースでは、活発な機能追加が行われています。パフォーマンスの改善　Perl 5.22の一番うれしな点は、性能改善です。マルチデリファレンスの構文解析とメソッドの構文解析の改善によって、パフォーマンスがアップしています。複数階層のデリファレンスの性能改善　Perlの内部パーサーは、複数... 続きを読む

Ruby のしくみを読んだ - HsbtDiary(2014-12-04)

2014/12/04 34 users HsbtDiary Proc 原著 kakutani Ruby

■ Ruby のしくみを読んだ @snoozer05 と @kakutani より頂きました。ありがとうございます。 実はこの原著である Ruby Under a Microscope は電子書籍で買っていて、1章の「字句解析と構文解析」まではふむふむ～と読んでいて止まっていたという状況だったので、翻訳版のおかげで最後までちゃんと読むことが出来た。これ、読んでみると8章の Proc あたりの内容を... 続きを読む

最小最速で作るaltjs - mizchi's blog

2014/05/15 173 users altJS AST TypedCoffeeScript 出力

2014-05-16 最小最速で作るaltjs 最近、というか昨日からTypedCoffeeScriptの開発再開してAST 気分が盛り上がってるので、簡単なチュートリアルでも。 この記事でやること ASTの取得 ASTの生成 JavaScript の出力 やらないこと 構文解析 準備 適当にプロジェクト作ります。 $ mkdir tinyaltjs $ cd tinyaltjs $ npm in... 続きを読む

JavaのLambdaの裏事情

2013/12/07 27 users Lambda 字句解析 Java コンパイル言語 ブログ

JavaのLambdaの裏事情 Presentation Transcript JavaのLambdaの裏事情 ぷろぐぱ ～プログラミング言語のパフォーマンスを考える~ 2013/12/7 きしだ なおき @kis プログラミング言語が動くまで ● 字句解析 – ● 構文解析 – ● 構成要素がどの構文要素か解析 実行エンジン – ● 文字が言語どの構成要素か解析 コンパイル言語の場合は実行ファイ... 続きを読む

nix in desertis:「ロボットは東大に入れるか」発表会（11/23）レポート

2013/11/24 148 users 東大 nix in desertis ロボット 暗記 レポート

通称「東ロボくんプロジェクト」。NHKでも報道があった通り，発表会があったので参加してきた。以下にレポートを書いたが，超長くなったので，簡潔に先にまとめておく。 ・入試は「暗記とパターン」だが，パターン作りというのは，実際には高度な人間の知的能力。だから大学入試を選んだ。 ・最終的にコンピュータに身につけて欲しい能力（＝東大入試突破に必要な能力）は３つ。「深く正確な（自然言語の）構文解析と意味合成... 続きを読む

プロジェクト「自分の人生」始めました - Scalaとか構文解析についてあれこれ書く日記

2012/06/14 22 users Pivotal Tracker life Scala 書籍

lifeこの辺の話は別に社内秘じゃないので書いてしまいますが、自分の所属会社さbではPivotal TrackerというWebサービスを使ってプロジェクト管理を行っています。その運用方法はおいといて、会社の中でこのサービスを使っていて思ったのは、これ、自分個人でもうまく使えないかなあということでした。一つは、自分の書籍/雑誌の執筆作業の管理です。これは自分でも、まだなかなかうまくできていなくて、作... 続きを読む

O'Reilly Japan - 言語実装パターン

2011/12/12 78 users O'Reilly Japan sed awk 本書 実装

構文解析器生成系ANTLRの開発者であり、サンフランシスコ大学教授のTerence Parrが贈る、言語実装パターンの解説書。構文解析、意味解析、インタプリタ構築を通じて、言語アプリケーション開発に必要な知識が身に付きます。sedやawkなどのツールやスクリプト言語では実装が複雑になりがちなテキスト処理でも、本書のパターンを使えば素早く効率よくエレガントに実装できます。また、効率よく高度な業務処理... 続きを読む

自然言語処理における「全部入り」パッケージ - nokunoの日記

2011/09/19 53 users NLP End-to-End nokuno エントリ テキスト

以下のエントリの翻訳です．End-to-end NLP packages | AI and Social Science – Brendan O'Connor無料で手に入る全部入りの自然言語処理(Natural Language Processing; NLP)システムにはどんなものがあるだろうか？ ここでいう全部入りとはつまり，生のテキストから始めて，構文解析や意味的構造を出力するもののことを指... 続きを読む

Rubyの構文の複雑さ - 開発な日々

2011/05/14 11 users 構文 Ruby 複雑さ ヒアドキュメント 開発

Sunlight.jsでRubyのヒアドキュメントのハイライトにバグがあったから報告した。 作者とのメールの中でRubyの構文は簡単なレキサーや正規表現では正しく構文解析出来ないことが分かった。 初めに作者は 続きを読む

ひげぽん OSとか作っちゃうかMona- - 「計算機プログラムの構造と解釈(SICP)」を読み終えて

2006/10/27 103 users SICP Mona Scheme 字句解析 自前

Scheme, SICP約半年をかけて計算機プログラムの構造と解釈(SICP)を読み終わりました。（途中で、練習問題をスキップしたりしましたが・・・） 半年もかけたのでちょっとだけ振り返って見ます。SICPを読む過程で得たものまずはSICPを読む過程で得たものからざっと列挙してみよう。構文解析を理解し自前で実装できるようになった字句解析を理解し自前で実装できるようになったストリームを理解した遅延評... 続きを読む

404 Blog Not Found:javascript - element.innerHTML はなぜ速く見えるか

2006/10/21 62 users Element innerHTML DOM操作 HTML 速度

自分でこう書きながら、実は首を傾げていたのだけどやっとわかった。 404 Blog Not Found:WEB+DB PRESS vol.35 pp.57 まず速度ですが、innerHTMLは代入時にHTMLの構文解析が入るので、速度的にはDOM操作が有利です。 期待に反してそうでないのは、404 Blog Not Found:javascript - DOM vs innerHTML bench... 続きを読む

統計的確率論で言語を解析--Sematicsが世界初の日本語解析エンジンを開発 - CNET Japan

2006/06/15 123 users 辞書 マッチ 解析 形態素解析 言語

日本語意味解析エンジンを開発するSematicsは6月15日、統計的確率論を用いた言語解析エンジン「Perceptron Engine」を開発したと発表した。統計的確率論を用いた日本語解析エンジンは「世界初」（同社）という。 Perceptron Engineは「形態素解析」、「構文解析」、「文脈解析」、「意味解析」の4つの解析処理によって構成される。従来の言語解析技術は、辞書によるデータのマッチ... 続きを読む

辞書を使わずに同義語を解析する言語解析エンジン，Sematicsが発表：ITpro

2006/06/15 87 users 辞書 同義語 発表 語句 解析

Sematicsは6月15日，言語解析エンジンの最新版「Perceptron Engine」を発表した。語句の辞書データを使わずに解析するため高速という。同社の従来エンジン「Automaton Parser」で実現していた形態素解析と構文解析に加え，文脈解析と意味解析の機能を備えた。 同社の言語解析エンジンの特徴は，語句の辞書データを用いずに解析を行うこと。辞書が必要ないため，高速に処理できるほか... 続きを読む