ファイルアップロードではNFC/NFD問題に気をつけろ！~MacファイルシステムにおけるUnicode正規化の闇~

2023/08/29 21 users ＮＦＣ NFD 半濁音 NFD問題 UTF-8

NFCではそのまま「パ」として表されますが、NFDでは「ハ」（基底文字）と「゜」（結合文字）の組み合わせとしての「パ(UTF-8でe3 83 8f e3 82 9a)」（合成文字）で表されます。試しにNFDで正規化された「パ(e3 83 8f e3 82 9a)」を任意のテキストエリアに貼り付けて削除してみると、半濁音のみが取れて「ハ」のみになる... 続きを読む

Unicode正規化 用語の混乱について 第4版 | ものかの

2015/05/20 55 users 混乱 用語 Comp 第4版 初版

初版　2010/4/5 第2版　2013/5/10　誤解を修正。全面的に書き直し。 第3版　2014/7/13　なるべく分かりやすく全面的に書き直し。 第4版　2015/5/20　さらに分かりやすく全面的に書き直し。 Unicode正規化の考え方はとてもシンプルです。でも、いろいろ調べて知ろうとすると、用語がハイコンテキストすぎて、混乱してワケがわからなくなります。図にしてみましょう。 「Comp... 続きを読む

Swiftでの文字列比較におけるUnicode正規化を巡る注意点 - Qiita

2014/10/27 228 users Qiita NSString Swift String Let

Stringの比較は正規化をかけた上で行われる Swiftの文字列比較は，Unicode正規化をかけた上で行われます。 たとえば，次の例をご覧ください。 let gaC = "\u{304C}" // 「が」の結合形 let gaD = "\u{304B}\u{3099}" // 「が」の分解形 // NSString としての文字数（UTF16での文字数）は異なる (gaC as NSStrin... 続きを読む

「東京Ruby会議05」でUnicode正規化の話を聴いてきた(えっ?) - ただのにっき(2011-02-04)

2011/02/08 14 users にっき 東京Ruby会議 Regional 実行委員 参加枠

■ 「東京Ruby会議05」でUnicode正規化の話を聴いてきた(えっ?)そういえばRegional RubyKaigiに参加するのは初めてだ。今までは「大RubyKaigiの実行委員がRegionalに参加して(ただでさえ少ない参加枠を狭めるのも)申しわけないなぁ」と思って遠慮していたんだけど、今年は予告通りRubyKaigi2011の実行委員からは外れたので、遠慮するこたぁないのだった。とい... 続きを読む