タグ unicode
人気順 5 users 50 users 100 users 500 users 1000 usersユニコードで文字数を数える方法 (1/2)
2024/09/22
14 users
ユニコード
言語
絵文字
複数
文字
ユニコードでは複数の絵文字を結合させて 別の絵文字を表現することもある Unicodeが一般的になって、日本語を含めて、さまざまな言語の文字を自由に使えるようになったが、「文字」を取り出す、あるいは数えるのが面倒になったのも確かだ。というのも、1つの文字が必ずしも1つのコードポイントで表現されるとは限らない... 続きを読む
全員日本人のUNICODE、K-POP名乗る理由 「J-POPでは」「IT用語と混合する」の声にもポジティブ
2024/07/27
191 users
ユニコード
abema
J-POP
K-POP
IT用語
23日に日本デビューを果たしたメンバー全員が日本人の5人組K-POPガールズグループ「UNICODE」（ユニコード）が27日、都内で『UNICODE日本デビュー記念ライブイベント』を開催。グループ名をめぐる声に答えた。 【写真】その他の写真を見る UNICODEは、昨年4月にABEMAで公開された日本最大規模のオンラインオーディション... 続きを読む
5人組アイドル「UNICODE」登場 デビューシングルは「HELLO WORLD」 IT関心層「検索しにくそう」
2024/07/23
168 users
ユニコード
バイリンガル
K-POPアイドル
プロデュース
7月23日、アイドルグループ「UNICODE」（ユニコード）の日本におけるデビューシングル「HELLO WORLD」が発売された。日本人女性5人で構成されたグループだが、全員が韓国語を話せるバイリンガルで、プロデュースの拠点も韓国であることからK-POPアイドルをうたう。一方、グループ名やデビューシングルのタイトルから、SN... 続きを読む
Windows上でユニコードを「見る」方法
2024/05/12
120 users
ユニコード
エンコー
ユニコード文字
フォント
Windows
Windowsでは、文字コードに「ユニコード」を使う。Windowsに搭載されているフォントはさまざまあるが、ユニコード文字を表示できるように、多数の文字の形が組み込まれている。 今回は、Windowsでユニコードを“見る”方法について解説する。なお、WindowsではUTF-16LEエンコードをUnicodeと表記する。ここでは、エンコー... 続きを読む
Googleが変体仮名フォント「Noto Hentaigana」をリリース ～蕎麦屋の看板などを再現可能／Unicodeに登録されている変体仮名286文字をカバー
2024/04/03
266 users
再現
看板
リリース
カバー
蕎麦屋
ZawgyiとUnicode: ミャンマーの文字の電子化について - にせねこメモ
2023/12/19
108 users
混迷
ミャンマー
にせねこメモ
ビルマ語
公用語
まえがき ミャンマーでは公用語としてビルマ語が使われている。ビルマ語の表記にはビルマ文字を用いるのだが、このビルマ文字のインターネット上での使用は、混迷を極めていた。そしておそらく今もまだ…。なぜか？ それは、Unicodeという文字コードの標準がありながら、Zawgyiというものが広く使われていたためである。... 続きを読む
「Tera Term 5.0」がリリース ～18年ぶりのメジャーバージョンでUnicodeに全面対応／来年で30周年を迎える老舗のリモートログオンクライアント
2023/10/16
210 users
リモートログオンクライアント
Tera Term
老舗
来年
全ての開発者が知っておくべきUnicodeについての最低限の知識
2023/10/04
470 users
プレーンテキスト
解読
最低限
おかげ
知識
2003年には「プレーンテキストなんてものは全く存在しない」と言われ、テキストの解読には文字コードの情報が必須となっていました。しかし、2023年になるまでの20年の間に絵文字などのおかげでUnicodeの利用率は98％へと到達し、再び文字コードを気にせずにすむ時代がやってきています。そんな時代において、正しくUnic... 続きを読む
awkが新しくなる！？ 本家AwkがUnicode (UTF-8)とCSV対応に！ - Qiita
2023/09/16
147 users
awk
Qiita
UTF-8
CSV
Excel
はじめに 2023年、長い時を経て awk がとうとう Unicode (UTF-8) と CSV に対応しました 🎉🎉🎉 awk で日本語がうまく扱えない（場合がある）、Excel が出力する CSV ファイルが扱えない（場合がある）、といった問題が解決に向けて一歩に進みます。 去年、本家 awk (One True Awk, nawk) に Unicode サポートが Brian K... 続きを読む
ChatGPTは文字コードをどのように解釈しているか Unicodeの「日本語認識」「括弧の抽出」「旧字体と新字体の変換」を実験してみた
2023/05/09
86 users
chatgpt
ライトニングトーク
括弧
YAPC
perl
「YAPC（Yet Another Perl Conference）」は、Perlを軸としたITに関わるすべての人のためのカンファレンスです。ライトニングトークにはPR TIMES インターンのShun氏が登壇。ChatGPTと文字コードについて話します。 ChatGPTは文字コードをどのように解釈しているか 土屋俊介氏：こんにちは。先ほど、発表が4分だと知った... 続きを読む
iPhoneの新絵文字21種：震え顔にピンクや水色ハート、翼に扇子にクラゲなど。iOS 16.4ベータでEmoji 15.0対応🫨 | テクノエッジ TechnoEdge
2023/02/28
11 users
iPhone
iOS
TechnoEdge
扇子
Emoji
iPhoneに新しい絵文字が加わります。iOS 16.4ベータで加わったのは「震える顔」、ピンクや水色や灰色のハート、くらげ・翼・驢馬・扇子・ヒヤシンス・マラカス、生姜、無線マークなど、Unicodeのemoji 15.0で定められた21種。肌の色違いを含めれば31種になります。 🫨🫷🫸🩷🩵🩶🪿🐦⬛🫏🫎🪽🪼🪻🫛🫚🪭🪮🪇🪈🛜🪯 (21字を列挙。非対応OSでは... 続きを読む
PHPからJavaScriptにデータを受け渡すときに考えること - Qiita
2023/01/01
123 users
Qiita
String
Array
JSON
int
PHPのstringは任意のバイト列を扱えますが、JavaScript/JSONはUnicodeで扱える文字しか扱えません PHPのint / floatはプラットフォーム依存ですが、JavaScriptのnumberは整数と小数を型レベルで区別しません JSONのarrayに対応する型はPHPのarrayのうちリストであるものです PHPは配列(リスト)と連想配列を型レベルで区... 続きを読む
目に見えないUnicode文字をコピペして使えたり元のUnicode文字を検索したりできる「Invisible Characters」
2022/12/08
10 users
Unicode文字
カレンダー
コピー＆ペースト
表現
絵文字
世界中の文字を収集して文字コードを付与する規格「Unicode」では、バージョンアップごとに次々と絵文字が追加されたり、画像じゃなく文字で出力するためコピー＆ペーストが可能なカレンダーを作成できたりと、文字を使ったさまざまな表現を使うことができます。そのようなUnicodeの「目に見えない文字」はどういった種... 続きを読む
Slackはハイライト部分をU+E000とU+E001で囲って表していそう - hogashi.*
2022/10/06
164 users
hogashi
Description
Glitch
Slack は、メッセージのどこからどこまでハイライトするかを、 Unicode の私用領域 *1の U+E000 と U+E001 を使って表しているらしく、こういう HTML を glitch とかで書いて、 <html> <head> <meta property="og:title" content="Slackでタイトルをハイライトする" /> <meta property="og:description"... 続きを読む
Unicodeの異体字セレクターを使ったステガノグラフィ - Qiita
2022/06/05
13 users
Hidden
字体
文字列
概要
文字
Unicodeの異体字セレクター(variation selectors)を使い、ユニコード文字列内に隠し情報を埋め込む方法です。 異体字セレクターとは 異体字セレクターは、文字の字体を詳細に指定するモディファイアのようなもの 異体字セレクターは16種類のコードポイントがある(FE00~FE0F) 仕組みの概要 隠したい文字列(hidden)を文字... 続きを読む
全社会人に伝えたい！ WindowsやMacで「ZIPファイル」を文字化けさせない方法 | ライフハッカー［日本版］
2022/06/02
20 users
ライフハッカー
Mac
zipファイル
Windows
文字
文字コードにUnicode（UTF-8）が使われるようになって以来、OS間の垣根はかなり低くなっています。 基本的には、現在の4大OSとも言うべき、Windows、Mac、iOS、Androidの間でファイルをやり取りしても、文字化けを起こすことはほぼありません。 続きを読む
Python 3.12 から Unicode のサイズが小さくなります - methaneのブログ
2022/05/18
11 users
methane
sys
メモリ
文字列
内部表現
Python 3.11 までは、空文字でも64バイトのメモリを使用していました。(64bitプラットフォームの場合) Unicodeの内部表現のうち一番小さい PyASCIIObject 構造体が48バイトで、その構造体の後ろにASCII文字列が続きます。その文字列はNUL終端されているので、空文字列でも1バイト追加されて49バイトになります。 >>> sys... 続きを読む
Unicodeに含まれる謎の記号「⍼」の起源を追ったレポートが公開中
2022/04/14
78 users
起源
記号
ブリティッシュコロンビア大学
正体
ソフトウェア
大規模文字セットのUnicodeは世界中のあらゆる文字を収録することを目指して策定されており、「溶解する顔」や「妊娠中の人」といった個性的な絵文字も数多く登録されています。そんなUnicodeに登録されている正体不明の記号「⍼」について、ブリティッシュコロンビア大学でソフトウェアについて学んでいるジョナサン・チ... 続きを読む
ソースコードに脆弱性を潜ませられるUnicode悪用攻撃法「Trojan Source」を研究者が発表
2021/11/02
25 users
脆弱性
rust
ソースコード
発表
Java
英ケンブリッジ大学コンピュータ研究所が、「Trojan Source」と名付けた攻撃法を発表した。Unicodeの脆弱性を悪用するもので、C、C++、C＃、JavaScript、Java、Rust、Go、Pythonに対して機能した。「他のほとんどの言語に対しても機能すると思われる」としている。 英ケンブリッジ大学コンピュータ研究所は11月1日（現地... 続きを読む
Unicode 版美乳テーブルを探せ
2021/04/03
357 users
美乳テーブルとは 「美乳テーブル」という物がある。 「EUC-JP の文章を Shift_JIS だと誤認識されない様に、EUC-JP 固有のバイト値を文章先頭付近に埋め込んでおく」という物。 具体的に、Shift_JIS には 0xFD と 0xFE が現れず、EUC-JP にはそれが現れるので、その値を含む文字コードを書いておこうという事で、その文... 続きを読む
漢字のようで漢字でないUnicodeの「康熙部首」と「CJK部首補助」｜TechRacho（テックラッチョ）〜エンジニアの「？」を「！」に〜｜BPS株式会社
2020/10/07
24 users
TechRacho
テックラッチョ
漢字
エンジニア
きっかけ 以下のツイートで「埼玉埼⽟問題」と康煕部首を知りました。 「埼玉」と「埼⽟」の話。unicodedata.normalize('NFKC', '「埼玉」と「埼⽟」') でいけそう https://t.co/kte0sxDvZT — Haruhiko Okumura (@h_okumura) July 11, 2020 康煕部首とは ⼀⼁⼂⼃⼄⼅⼆⼇⼈⼉⼊⼋⼌⼍⼎⼏⼐⼑⼒⼓⼔⼕⼖⼗⼘⼙⼚⼛⼜⼝... 続きを読む
UTF-8 の文字列をできる限り Shift_JIS に変換したい(実践編) | うなすけとあれこれ
2020/08/17
25 users
UTF-8
Shift_JIS
文字列
実践編
iconv
先日、きりきりやままさんがこのような記事を公開していました UTF-8 の文字列をできる限り Shift_JIS に変換したい - きりきりやま それでは実際にそのような文字列変換を行うにはどうすればよいのか、またコメントでiconvについて触れられていたので、この記事ではUnicodeにおけるNFKC正規化をどうやって行うのか試し... 続きを読む
UTF-8 の文字列をできる限り Shift_JIS に変換したい - きりきりやま
2020/08/05
23 users
UTF-8
Shift_JIS
文字列
CSV
変換
Shift_JIS の CSV で連携する外部サービスがあり、DB では UTF-8 でテキストを持っていたため文字コードを変換する必要が生じた。 ところが UTF-8 に存在する多くの文字は Shift_JIS に対応がないため変換することができない1。 そこで、事前に NFKC 形式で Unicode 正規化することで変換可能な文字を増やすことを試みた... 続きを読む
文字コード再入門 ─ Unicodeでのサロゲートペア、結合文字、正規化、書記素クラスタを理解しよう！ - エンジニアHub｜若手Webエンジニアのキャリアを考える！
2020/04/28
358 users
サロゲートペア
エンジニアHub
結合文字
キャリア
正規化
ソフトウェア開発に携わる方の多くは、何らかの形で文字コードに触れることがあるでしょう。文字や記号をコンピュータ上でデータとして扱うには、文字コードの知識が必要不可欠です。 本稿では、書籍『プログラマのための文字コード技術入門』の著者である矢野啓介さんが、知っておきたい基礎知識を分かりやすく解説しま... 続きを読む