タグ「unicode」 - はてブログ

タグ unicode

新着順人気順 5 users 10 users 50 users 100 users 500 users 1000 users

(1 - 25 / 110件)

絵文字がある種のUnicodeバグを世界から一掃しつつある件について｜Rui Ueyama｜note

2017/11/13 1446 users Rui Ueyama Note UTF 絵文字プログラム

UnicodeのUTF-16エンコーディングではほとんどの文字（コードポイント）は2バイトで表現されるが、Unicodeに後から追加収録された文字の多くは4バイトで表現される。4バイト文字がうまく扱えないプログラムというのはわりとよくある。しかし世界中で広く使われるようになった絵文字がよりによって4バイト文字であるせいで、そのような文字が扱えない問題がよいペースで解決に向かいつつある。それについて... 続きを読む

UnicodeとUTF-8の違いは？ - おつあり

2009/11/29 1155 users UTF-8 デフォルトスレ符号化文字集合元スレ

2ch, 文字コードという2chのスレがかなり勉強になったのでまとめ。少しでも有用だと思ったものは載せてあるので結構長いです。Unicodeのような文字集合(符号化文字集合？)やUTF-8のようなエンコーディング方式に限らず色んな文字コードにまつわる話があります。たびたび話が繰り替えされますがそれは確認ということで。(元スレ) 1 ：デフォルトの名無しさん：2007/04/30(月) 20:02:... 続きを読む

それ Unicode で

2006/12/13 704 users

UTF-7 を使ってスクリプトを記述 +ADw-SCRIPT+AD4-alert(\'XSS\');+ADw-+AC8-SCRIPT+AD4- IE は、文字エンコーディングが不明で UTF-7 っぽい文字列があれば、自動判別で UTF-7 となる。続きを読む

「ユニコード」で予期せぬ目に遭った話 - moriyoshiの日記

2017/03/12 703 users ユニコード moriyoshi moriyoshit 反響

2017 - 03 - 13 「ユニコード」で予期せぬ目に遭った話 unicode 自分の知らないCJK Ideographのバリエーションがまだあったことに戦慄している pic.twitter.com/kUlyRLDDTM — moriyoshit (@moriyoshit) March 9, 2017 などというツイートをしたところ、思ったより反響があったのでまとめておく。上記ではあいまいに... 続きを読む

絵文字が開いてしまった「パンドラの箱」第1回--日本の携帯電話キャリアが選んだ道:コラム - CNET Japan

2009/02/27 664 users CNET Japan コラム絵文字携帯電話キャリア収録

Unicodeが携帯電話の絵文字を収録へ絵文字ってなに？そう聞かれても多くの人は、ああ、それはと答えられるはず。そう言えばちょっと前に『メールのハートマークにだまされるな！　8割の女性は「恋人以外にも使う」』（RBB NAVI）なんていうニュースもありました。携帯電話の個人普及率が9割を上回る（平成20年内閣府消費動向調査）この国において、絵文字はごくありふれたものになっている現実があります。 ... 続きを読む

UnicodeのWAVE DASH例示字形が、25年ぶりに修正された理由 -INTERNET Watch

2015/03/07 660 users コロンボスリランカ INTERNET Watch 反対会議

特別企画 UnicodeのWAVE DASH例示字形が、25年ぶりに修正された理由（2015/3/7 10:00）はじめに 2014年9月29日から10月3日にかけて、スリランカのコロンボで国際文字コード規格を審議するWG2会議が開催された。この会議において、WAVE DASH（符号位置U+301C）の例示字形を変更をする提案、文書番号「N4606」[*1]（図1）が審議され、特に反対が出ない... 続きを読む

文字コード地獄秘話第1話：Unicodeにおける全角・半角 - ALBERT Engineering Blog

2014/04/21 660 users ALBERT 統廃合技量最初特技

ごあいさつ皆様はじめまして、文字コードおじさんです。細々とカメラ屋を営んでおりましたが、エンジニアとしての技量を評価され、ALBERTのシステム開発・コンサルティング部で働くことを許されました。特技はサーバーの統廃合です。今回は最初ということですが、Unicodeにおける全角・半角の取り扱いについて触れてみようと思います。なお、さも連載するかのように第1話と銘打っていますが、上層部の無慈悲な裁... 続きを読む

「絵文字に平等をサポートしてください」人種差別の指摘にゆれるUnicode -INTERNET Watch

2014/10/07 630 users コロンボスリランカ ISO 改訂人種差別

特別企画「絵文字に平等をサポートしてください」人種差別の指摘にゆれるUnicode （2014/10/7 12:00）なにが問題になったのか 2014年9月29日から10月3日にかけて、スリランカのコロンボを会場にして、公的な文字コード国際規格「ISO/IEC 10646」の改訂を審議する国際会議（以下、コロンボ会議）が開催された。現在、我々が使うスマートフォン、タブレット端末、パソコン等は... 続きを読む

円城塔「文字渦」は編集・営業・DTP・印刷、全ての人が泡吹いて死ぬ本→「電子化不可」「読者の限界が試される」「校閲者の気が狂う」と阿鼻叫喚 - Togetter

2018/08/15 493 users 揚げ足 Togetter int 阿鼻叫喚起源

文字の起源から未来をファンタジーで綴るという触れ込みなんですが、フックが弱そうなので補足情報として「日本語の揚げ足をとる」作家、円城塔の本気の「ことば遊び」｜WIRED.jp wired.jp/2015/12/28/int… Unicodeに縛られてるぞ人類、みたいな話続きを読む

全ての開発者が知っておくべきUnicodeについての最低限の知識

2023/10/04 470 users プレーンテキスト解読最低限おかげ知識

2003年には「プレーンテキストなんてものは全く存在しない」と言われ、テキストの解読には文字コードの情報が必須となっていました。しかし、2023年になるまでの20年の間に絵文字などのおかげでUnicodeの利用率は98％へと到達し、再び文字コードを気にせずにすむ時代がやってきています。そんな時代において、正しくUnic... 続きを読む

外字を使うのはやめてくれ！ Unicodeへの移行を呼びかけるMicrosoftの公式ブログ記事が話題に - やじうまの杜 - 窓の杜

2020/03/03 444 users やじうま Microsoft 移行外字話題

Unicodeを送られてLINEを初期化されたんですけど、強力なUnicodeありませんか？お... - Yahoo!知恵袋

2014/01/03 410 users iPhone detail パク負荷 Yahoo

リクエストありがとうございます。過去に私が答えた回答に相手をバグらせるUnicodeがあるので、コピペしてお使いください。 http://m.chiebukuro.yahoo.co.jp/detail/q11115690096 また、このような行為はサーバーに負荷を与える妨害行為としてLINEの利用規則12に違反するので、自己責任でお願いします。追加: iPhoneには効かないかもしれません続きを読む

絵文字が開いてしまった「パンドラの箱」第4回--絵文字が引き起こしたUnicode-MLの“祭り”:コラム - CNET Japan

2009/06/04 384 users ISO 毎度おなじみ優遇策 CNET Japan コラム

普通では考えられない優遇策--「Google提案」を振り返る皆さんこんにちは、毎度おなじみ（？）文字コード漫談の時間がやってまいりました。前回が3月の掲載ですから3カ月ぶりですか。今まで3回にわたって絵文字をUnicode及びISO/IEC 10646（国際符号化文字集合）に収録しようという提案の動きについてご説明してきましたが、今回から2回に分けて完結編をお届けします。どうぞよろしくお付き合い... 続きを読む

文字コード再入門 ─ Unicodeでのサロゲートペア、結合文字、正規化、書記素クラスタを理解しよう！ - エンジニアHub｜若手Webエンジニアのキャリアを考える！

2020/04/28 358 users サロゲートペアエンジニアHub 結合文字キャリア正規化

ソフトウェア開発に携わる方の多くは、何らかの形で文字コードに触れることがあるでしょう。文字や記号をコンピュータ上でデータとして扱うには、文字コードの知識が必要不可欠です。本稿では、書籍『プログラマのための文字コード技術入門』の著者である矢野啓介さんが、知っておきたい基礎知識を分かりやすく解説しま... 続きを読む

Unicode 版美乳テーブルを探せ

2021/04/03 357 users

美乳テーブルとは「美乳テーブル」という物がある。「EUC-JP の文章を Shift_JIS だと誤認識されない様に、EUC-JP 固有のバイト値を文章先頭付近に埋め込んでおく」という物。具体的に、Shift_JIS には 0xFD と 0xFE が現れず、EUC-JP にはそれが現れるので、その値を含む文字コードを書いておこうという事で、その文... 続きを読む

MySQL 8.0ではデフォルトで濁点半濁点を区別しなくなる - かみぽわーる

2017/06/21 351 users かみぽわーデフォルト懸念 MySQL 8.0 かなり

2017 - 06 - 22 MySQL 8.0ではデフォルトで濁点半濁点を区別しなくなる 4月に MySQL 8.0の Unicode と日本語対応についてManyi Luさんとディスカッションする会があって、かなりいろいろ話してとてもよい会だった。その後いろいろ考えて感じてる懸念を端的に書き記しておく。デフォルトのcollationがutf8mb4_0900_ai_ciになったこれに関して... 続きを読む

シフトJIS / EUC-JPとUnicodeとの妥当な変換表: Netsphere Laboratories

2005/08/04 330 users EUC-JP 加筆 Linux シフトJIS コンピュータ

2004.10.17 新規作成。2004.12.19 加筆。2005.04.02加筆。最近、コンピュータで扱う文字列の文字コードがUnicodeでなければならない場面が増えてきた。UnicodeとシフトJIS、EUC-JPを変換する機会が多い。この変換は変換表で行うが、変換表が実際的なものでなければ、文字化けが発生することになる。おかしな変換表は、これまでは、特にLinuxなどの上で動作するオ... 続きを読む

新元号「令和」と文字コード(主にUnicode)の問題 - Togetter

2019/04/01 328 users 事例ケース Togetter ところ令和

年号扱うシステムを運用しているところは、これから30日でテスト完了させなきゃいけないわけだけど、U+F9A8 U+548C (令和) のケースと、U+4EE4 U+548C (令和) のケースがあるみたいなのを想定していなかった…って事例はなんかすごくありそう。大丈夫かなぁ… 続きを読む

絵文字が開いてしまった「パンドラの箱」第5回--絵文字と日本マンガの親密な関係:コラム - CNET Japan

2009/08/11 303 users CNET Japan コラム絵文字日本マンガタメ

絵文字の収録をめぐって、国際規格で大論争--「Google提案」を振り返る皆さんこんにちは、面白くてタメになる（？）文字コード漫談の時間がやってまいりました。2月からとびとびで書いてきた絵文字の報告も、いよいよ今回が最終回。どうかよろしくお付き合いください。さて、前回はどこまでお話ししたのでしたっけ。日本の絵文字をUnicodeに収録しようとするGoogleとAppleによる提案（以下、主導者... 続きを読む

Unicodeを斬りたい - Yahoo! JAPAN Tech Blog

2014/04/16 284 users UTF-8 UTF-16 モチベーション文字符号化方式文字

ここではUTF-8をあげましたが、もちろんこれ以外にもUnicodeを実現する文字符号化方式はあります。（UTF-16とかUTF-32など）大事なことはこれらが「世界中にあるすべての文字を一つの一貫した方法で表現したい」というモチベーションに基いて定義されたということです。なんとも壮大で夢のある話ですね。 UTF-8とは？　私はWeb屋さんなのでUTF-8をよく見ます。実際今回の自分の開発してい... 続きを読む

Python 3誕生の理由　― つまり、なぜunicode/str/bytesの仕様は変更されたのか | プログラミング | POSTD

2016/01/26 283 users bytes puppy POSTD str Group

このブログの記事で、Python 3が存在する理由をわかりやすく説明します。後方互換性の全くないunicode/str/bytesの仕様変更は、Python 3のコードの移植の中でも本当に難解な部分ですので、私たちがその仕様変更を選択した理由を特に説明します。12月、私は PuPPy(the Puget Sound Python users group)の会合でQ&A セッションを行いました。そ... 続きを読む

そろそろUnicodeについて一言いっておくか - 未来のいつか/hyoshiokの日記

2009/04/19 275 users hyoshiok ポッ規格漢字ちょ

文字コードの標準化について日記を書いたのだが、内容がいまいちだったのでボツにして気を取り直してUnicodeについて一言いっておくことにする。先日、といっても昨年(２００８年)の10月なんだけど、その中でちょと文字コードの標準化について話をしている。*1もう1つ自分の経験としてあるのが、漢字の文字コードがあるんですけど、番号で言うとJIS X 0208とか0212とか規格の番号で皆言うわけなんです... 続きを読む

プログラマのための文字コード技術入門を読んだ 2010-02-14 - 未来のいつか/hyoshiokの日記

2010/02/14 268 users hyoshiok サロゲートペアプログラマ SJIS UTF

例えば、次の言葉の意味を知りたい、聞いたことがあるけどよく分かっていないプログラマにとって、お勧めの書籍だ。Unicode/UTF-8/UTF-16/USC-2/JIS X0208/JIS X0212/JIS X0213/SJIS/EUC-JP/CP932/ISO-2022-JP/ASCII/Latin-1/ISO 10646/ISO 8859-1/サロゲートペア/文字化け/機種依存文字/半角カナ... 続きを読む

Googleが変体仮名フォント「Noto Hentaigana」をリリース～蕎麦屋の看板などを再現可能／Unicodeに登録されている変体仮名286文字をカバー

2024/04/03 266 users 再現看板リリースカバー蕎麦屋