Unicodeを斬りたい - Yahoo! JAPAN Tech Blog

2014/04/16 284 users unicode UTF-8 モチベーション 文字符号化方式

ここではUTF-8をあげましたが、もちろんこれ以外にもUnicodeを実現する文字符号化方式はあります。（UTF-16とかUTF-32など）大事なことはこれらが「世界中にあるすべての文字を一つの一貫した方法で表現したい」というモチベーションに基いて定義されたということです。なんとも壮大で夢のある話ですね。 UTF-8とは？　 私はWeb屋さんなのでUTF-8をよく見ます。実際今回の自分の開発してい... 続きを読む

テキストファイルの標準エンコーディングは？ - やねうらお−俺のブログがこんなによっちゃんイカなわけがない

2013/06/20 52 users イカ やねうらお−俺 テキストファイル サロゲートペア ブログ

テキストファイルのエンコーディングとして何を基本とすべきかというのは悩ましい。 日本語のみならutf-16で幸せになれるのかと思ったら、JIS2004で追加された907字のうち304文字がサロゲートペアであって、2バイトで表現できない。 どうせ16bitで表現しきれないのなら、utf-32は保存領域がもったいない感があるので仕方ないのでutf-8を選択する。 utf-8だと相手に解釈してもらうため... 続きを読む