タグ「unicode」 - はてブログ

タグ unicode

新着順人気順 5 users 10 users 50 users 100 users 500 users 1000 users

(1 - 25 / 110件)

次の25件 »

Googleが変体仮名フォント「Noto Hentaigana」をリリース～蕎麦屋の看板などを再現可能／Unicodeに登録されている変体仮名286文字をカバー

2024/04/03 266 users 再現看板リリースカバー蕎麦屋

ZawgyiとUnicode: ミャンマーの文字の電子化について - にせねこメモ

2023/12/19 108 users 混迷ミャンマーにせねこメモビルマ語公用語

まえがきミャンマーでは公用語としてビルマ語が使われている。ビルマ語の表記にはビルマ文字を用いるのだが、このビルマ文字のインターネット上での使用は、混迷を極めていた。そしておそらく今もまだ…。なぜか？それは、Unicodeという文字コードの標準がありながら、Zawgyiというものが広く使われていたためである。... 続きを読む

「Tera Term 5.0」がリリース～18年ぶりのメジャーバージョンでUnicodeに全面対応／来年で30周年を迎える老舗のリモートログオンクライアント

2023/10/16 210 users リモートログオンクライアント Tera Term 老舗来年

全ての開発者が知っておくべきUnicodeについての最低限の知識

2023/10/04 470 users プレーンテキスト解読最低限おかげ知識

2003年には「プレーンテキストなんてものは全く存在しない」と言われ、テキストの解読には文字コードの情報が必須となっていました。しかし、2023年になるまでの20年の間に絵文字などのおかげでUnicodeの利用率は98％へと到達し、再び文字コードを気にせずにすむ時代がやってきています。そんな時代において、正しくUnic... 続きを読む

awkが新しくなる！？本家AwkがUnicode (UTF-8)とCSV対応に！ - Qiita

2023/09/16 147 users awk Qiita UTF-8 CSV Excel

はじめに 2023年、長い時を経て awk がとうとう Unicode (UTF-8) と CSV に対応しました 🎉🎉🎉 awk で日本語がうまく扱えない（場合がある）、Excel が出力する CSV ファイルが扱えない（場合がある）、といった問題が解決に向けて一歩に進みます。去年、本家 awk (One True Awk, nawk) に Unicode サポートが Brian K... 続きを読む

ChatGPTは文字コードをどのように解釈しているか　Unicodeの「日本語認識」「括弧の抽出」「旧字体と新字体の変換」を実験してみた

2023/05/09 86 users chatgpt ライトニングトーク括弧 YAPC perl

「YAPC（Yet Another Perl Conference）」は、Perlを軸としたITに関わるすべての人のためのカンファレンスです。ライトニングトークにはPR TIMES インターンのShun氏が登壇。ChatGPTと文字コードについて話します。 ChatGPTは文字コードをどのように解釈しているか土屋俊介氏：こんにちは。先ほど、発表が4分だと知った... 続きを読む

iPhoneの新絵文字21種：震え顔にピンクや水色ハート、翼に扇子にクラゲなど。iOS 16.4ベータでEmoji 15.0対応🫨 | テクノエッジ TechnoEdge

2023/02/28 11 users iPhone iOS TechnoEdge 扇子 Emoji

iPhoneに新しい絵文字が加わります。iOS 16.4ベータで加わったのは「震える顔」、ピンクや水色や灰色のハート、くらげ・翼・驢馬・扇子・ヒヤシンス・マラカス、生姜、無線マークなど、Unicodeのemoji 15.0で定められた21種。肌の色違いを含めれば31種になります。 🫨🫷🫸🩷🩵🩶🪿🐦‍⬛🫏🫎🪽🪼🪻🫛🫚🪭🪮🪇🪈🛜🪯 (21字を列挙。非対応OSでは... 続きを読む

PHPからJavaScriptにデータを受け渡すときに考えること - Qiita

2023/01/01 123 users Qiita String Array JSON int

PHPのstringは任意のバイト列を扱えますが、JavaScript/JSONはUnicodeで扱える文字しか扱えません PHPのint / floatはプラットフォーム依存ですが、JavaScriptのnumberは整数と小数を型レベルで区別しません JSONのarrayに対応する型はPHPのarrayのうちリストであるものです PHPは配列(リスト)と連想配列を型レベルで区... 続きを読む

目に見えないUnicode文字をコピペして使えたり元のUnicode文字を検索したりできる「Invisible Characters」

2022/12/08 10 users Unicode文字カレンダーコピー＆ペースト表現絵文字

世界中の文字を収集して文字コードを付与する規格「Unicode」では、バージョンアップごとに次々と絵文字が追加されたり、画像じゃなく文字で出力するためコピー＆ペーストが可能なカレンダーを作成できたりと、文字を使ったさまざまな表現を使うことができます。そのようなUnicodeの「目に見えない文字」はどういった種... 続きを読む

Slackはハイライト部分をU+E000とU+E001で囲って表していそう - hogashi.*

2022/10/06 164 users hogashi Description Glitch

Slack は、メッセージのどこからどこまでハイライトするかを、 Unicode の私用領域 *1の U+E000 と U+E001 を使って表しているらしく、こういう HTML を glitch とかで書いて、 <html> <head> <meta property="og:title" content="Slackでタイトルをハイライトする" /> <meta property="og:description"... 続きを読む

Unicodeの異体字セレクターを使ったステガノグラフィ - Qiita

2022/06/05 13 users Hidden 字体文字列概要文字

Unicodeの異体字セレクター(variation selectors)を使い、ユニコード文字列内に隠し情報を埋め込む方法です。異体字セレクターとは異体字セレクターは、文字の字体を詳細に指定するモディファイアのようなもの異体字セレクターは16種類のコードポイントがある(FE00~FE0F) 仕組みの概要隠したい文字列(hidden)を文字... 続きを読む

全社会人に伝えたい！ WindowsやMacで「ZIPファイル」を文字化けさせない方法 | ライフハッカー［日本版］

2022/06/02 20 users ライフハッカー Mac zipファイル Windows 文字

文字コードにUnicode（UTF-8）が使われるようになって以来、OS間の垣根はかなり低くなっています。基本的には、現在の4大OSとも言うべき、Windows、Mac、iOS、Androidの間でファイルをやり取りしても、文字化けを起こすことはほぼありません。続きを読む

Python 3.12 から Unicode のサイズが小さくなります - methaneのブログ

2022/05/18 11 users methane sys メモリ文字列内部表現

Python 3.11 までは、空文字でも64バイトのメモリを使用していました。(64bitプラットフォームの場合) Unicodeの内部表現のうち一番小さい PyASCIIObject 構造体が48バイトで、その構造体の後ろにASCII文字列が続きます。その文字列はNUL終端されているので、空文字列でも1バイト追加されて49バイトになります。 >>> sys... 続きを読む

Unicodeに含まれる謎の記号「⍼」の起源を追ったレポートが公開中

2022/04/14 78 users 起源記号ブリティッシュコロンビア大学正体ソフトウェア

大規模文字セットのUnicodeは世界中のあらゆる文字を収録することを目指して策定されており、「溶解する顔」や「妊娠中の人」といった個性的な絵文字も数多く登録されています。そんなUnicodeに登録されている正体不明の記号「⍼」について、ブリティッシュコロンビア大学でソフトウェアについて学んでいるジョナサン・チ... 続きを読む

ソースコードに脆弱性を潜ませられるUnicode悪用攻撃法「Trojan Source」を研究者が発表

2021/11/02 25 users 脆弱性 rust ソースコード発表 Java

英ケンブリッジ大学コンピュータ研究所が、「Trojan Source」と名付けた攻撃法を発表した。Unicodeの脆弱性を悪用するもので、C、C++、C＃、JavaScript、Java、Rust、Go、Pythonに対して機能した。「他のほとんどの言語に対しても機能すると思われる」としている。英ケンブリッジ大学コンピュータ研究所は11月1日（現地... 続きを読む

Unicode 版美乳テーブルを探せ

2021/04/03 357 users

美乳テーブルとは「美乳テーブル」という物がある。「EUC-JP の文章を Shift_JIS だと誤認識されない様に、EUC-JP 固有のバイト値を文章先頭付近に埋め込んでおく」という物。具体的に、Shift_JIS には 0xFD と 0xFE が現れず、EUC-JP にはそれが現れるので、その値を含む文字コードを書いておこうという事で、その文... 続きを読む

漢字のようで漢字でないUnicodeの「康熙部首」と「CJK部首補助」｜TechRacho（テックラッチョ）〜エンジニアの「？」を「！」に〜｜BPS株式会社

2020/10/07 24 users TechRacho テックラッチョ漢字エンジニア

きっかけ以下のツイートで「埼玉埼⽟問題」と康煕部首を知りました。「埼玉」と「埼⽟」の話。unicodedata.normalize('NFKC', '「埼玉」と「埼⽟」') でいけそう https://t.co/kte0sxDvZT — Haruhiko Okumura (@h_okumura) July 11, 2020 康煕部首とは⼀⼁⼂⼃⼄⼅⼆⼇⼈⼉⼊⼋⼌⼍⼎⼏⼐⼑⼒⼓⼔⼕⼖⼗⼘⼙⼚⼛⼜⼝... 続きを読む

UTF-8 の文字列をできる限り Shift_JIS に変換したい(実践編) | うなすけとあれこれ

2020/08/17 25 users UTF-8 Shift_JIS 文字列実践編 iconv

先日、きりきりやままさんがこのような記事を公開していました UTF-8 の文字列をできる限り Shift_JIS に変換したい - きりきりやまそれでは実際にそのような文字列変換を行うにはどうすればよいのか、またコメントでiconvについて触れられていたので、この記事ではUnicodeにおけるNFKC正規化をどうやって行うのか試し... 続きを読む

UTF-8 の文字列をできる限り Shift_JIS に変換したい - きりきりやま

2020/08/05 23 users UTF-8 Shift_JIS 文字列 CSV 変換

Shift_JIS の CSV で連携する外部サービスがあり、DB では UTF-8 でテキストを持っていたため文字コードを変換する必要が生じた。ところが UTF-8 に存在する多くの文字は Shift_JIS に対応がないため変換することができない1。そこで、事前に NFKC 形式で Unicode 正規化することで変換可能な文字を増やすことを試みた... 続きを読む

文字コード再入門 ─ Unicodeでのサロゲートペア、結合文字、正規化、書記素クラスタを理解しよう！ - エンジニアHub｜若手Webエンジニアのキャリアを考える！

2020/04/28 358 users サロゲートペアエンジニアHub 結合文字キャリア正規化

ソフトウェア開発に携わる方の多くは、何らかの形で文字コードに触れることがあるでしょう。文字や記号をコンピュータ上でデータとして扱うには、文字コードの知識が必要不可欠です。本稿では、書籍『プログラマのための文字コード技術入門』の著者である矢野啓介さんが、知っておきたい基礎知識を分かりやすく解説しま... 続きを読む

文字コード規格の標準化団体Unicode Consortiumは、日本の新元号「令和」合字を追加する「Unicode 12.1.0」を近日中にリリースします。合字は、「㍻」のように元号の2文字を1字に収めたもので、カレンダーシステムなどに使われています。新元号「令和」はUnicodeの文字コード「U+32FF」として予約されており、令和元年... 続きを読む

Apple、macOS Mojave 10.14.5/iOS 12.3 Beta 3でApple Symbolsフォントに新元号「令和」の合字(U+32FF)を追加。 | AAPL Ch.

2019/04/23 11 users AAPL Apple 令和新元号合字

AppleはmacOS Mojave 10.14.5/iOS 12.3 Beta 3のApple Symbolsフォントで、Unicode(U+32FF)に新元号「令和」の合字を追加したようです。詳細は以下から。　A 続きを読む

Ruby 2.6.3 リリース

2019/04/17 16 users リリース beta 令和新元号バージョン

Ruby 2.6.3 がリリースされました。このリリースでは日本の新元号「令和」のサポートを追加しています。具体的には Unicode のバージョンを 12.1 beta に更新する (#15195) とともに、date ライブラリを更新しています (#15742)。その他いくつかの不具合修正も含まれます。詳細は commit log を参照してください。ダ... 続きを読む