UnicodeとUTF-8の違いは？ - おつあり

2009/11/29 1155 users unicode デフォルト スレ 符号化文字集合 元スレ

2ch, 文字コードという2chのスレがかなり勉強になったのでまとめ。少しでも有用だと思ったものは載せてあるので結構長いです。Unicodeのような文字集合(符号化文字集合？)やUTF-8のようなエンコーディング方式に限らず色んな文字コードにまつわる話があります。たびたび話が繰り替えされますがそれは確認ということで。(元スレ) 1 ：デフォルトの名無しさん：2007/04/30(月) 20:02:... 続きを読む

CSSのfont-family：ヒラギノとＭＳ Ｐゴシックとメイリオの悩ましい関係 : webデザイナーのナナメガキ

2007/02/18 1070 users ヒラギノ font-family フォント デフォルト CSS

CSSでのfont-familyの指定がとても悩ましい。文字コードによって表示が変わったりするし、イレギュラーケースまで想定すると煩雑なコードになってしまう。ちょっと整理しながら考えてみる。 まず、font-familyを何も指定しないと、だいたいのブラウザではデフォルトで設定されているフォントで表示されるのだが、文字コードがUTF-8だとWindowsのIE6で英数文字が「Times New R... 続きを読む

最初に指定しておくと便利なCSS | Tech de Go

2007/03/11 751 users CSS 最初 Tech de Go charset Body

CSSのテンプレートを作成する際に、必ず入れていて便利だと思うものを紹介します。body要素に指定する事に関してはいろいろなところで語られているので、ここでは他のテーマなどのCSSを見ていて便利と思って取り入れているものなど。それ以外で私が始めに設定しておくHTMLタグとその設定です。 CSS @charset "utf-8"; body { margin: 0; padding: 0; back... 続きを読む

いいから聞け！ 俺が文字コードについて教えてやるよ その１（前提知識編） - 谷本 心 in せろ部屋

2011/06/14 738 users エンコード 谷本 HTML 前提 用語

ちょっと久々のJavaネタですが、前から書き溜めていた、文字コードやエンコードについてのノウハウを書きます。今回は、詳細な説明に入る前に、前提になる知識や用語について説明しておきます。文字コードとエンコードって違うの？新人くん「では、HTMLの文字コードはUTF-8でお願いします」先輩社員「文字コードじゃなくてエンコーディングでしょ？」新人くん「えっ。あぁ、はい、それで」文字コードとエンコード（エ... 続きを読む

HTML文書は文字エンコーディングUTF-8でなければなりません - 水底の血

2017/10/08 642 users 水底 Requ エンコーディング エンコード HTML文書

2017 - 10 - 08 HTML文書は文字エンコーディングUTF-8でなければなりません さよなら レガシーエンコーディング 。 文字 エンコーディング 宣言が存在するかどうかにかかわらず、文書の エンコード に使用される実際の文字 エンコーディング は UTF-8 でなければならない。 4.2.5.5 文書の文字エンコーディングを指定する - HTML Standard 日本語訳 Requ... 続きを読む

はてなダイアリーに(対応外の)ブログパーツを貼る - ぼくはまちちゃん！(Hatena)

2007/08/14 637 users ボク Hatena はてなダイアリー まちちゃん ブログパーツ

はてなダイアリー日記 - 自分のはてなダイアリーにブログパーツを設置できるようになりました これはいいね！ さっそく googleガジェットを使って、(対応外の)すきなブログパーツとかを色々貼ってみよう！ まずは下のようなテキストファイルをつくって、文字コードをutf-8で保存…！ xml version="1.0" encoding="UTF-8" ?> title="ここにパーツ名かこうね！"... 続きを読む

Shift_JIS「もしかして・・・・・・」　UTF-8「私たち……」：キニ速

2018/01/04 599 users キニ速 Shift_JIS 私たち

1： 風吹けば名無し ： 2018/01/03(水) 23:38:43.26ID:zdl6/pdI0.net 二人「蜈･繧梧崛繧上▲縺ｦ繧具ｽ橸ｼ?ｼ」 3： 風吹けば名無し ： 2018/01/03(水) 23:39:12.64ID:N/R9DTv80.net 草 7： 風吹けば名無し ： 2018/01/03(水) 23:39:46.66ID:MvPZI/VE0.net いとへん文字化けすこ ... 続きを読む

「ASCIIをUTF-8にして」それが『できない』ことを理解してもらえなかった話 - Qiita

2021/04/03 539 users 発端 Shift_JIS 拙者 Qiita ASCII

物語の始まり 事の発端は納品後。 先方からメッセージが届きました。 クライアント様「このファイルの文字コードがShift_JISになっておりますので、UTF-8で再納品をお願いいたします。」 拙者（あれ…UTF-8にしてたと思うんだけどな） 拙者「確認いたします。」 文字コードを確認する 本案件はいわゆる更新案件で、今回の... 続きを読む

UTF-8のテーブル(MySQL5.6)に竈門禰󠄀豆子が格納できない問題を調べてみた - Qiita

2022/02/01 512 users Qiita テーブル 豆子 MySQL5.6 問題

mysql> show create table verification\G *************************** 1. row *************************** Table: verification Create Table: CREATE TABLE `verification` ( `name` varchar(100) COLLATE utf8_bin DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin 1 row in set (0.01 sec) my... 続きを読む

ASCII.jp：BOMなしUTF-8によってWindowsでもたらされる困惑 (1/2)

2021/06/13 473 users 困惑 エクスプローラー Windows ASCII.jp 主流

かつてWindowsでテキストファイルといえばシフトJIS形式のものが大半だった。しかし最近では、UTF-8形式のテキストファイルも普通に見かけるようになってきた。世の中はUTF-8が主流になりつつあると言っていいだろう。 しかし、WindowsでUTF-8を使うと、ちょっと困ったことがある。それは、エクスプローラーの検索欄など... 続きを読む

MySQL で utf8 と utf8mb4 の混在で起きること - tmtms のメモ

2016/09/06 471 users tmtms MySQ MySQL 混在 utf8mb

2016 - 09 - 06 MySQL で utf8 と utf8mb4 の混在で起きること MySQL MySQL を UTF-8 で使おうと思ってハマりがちなのは charset utf8 を指定してしまうことです。 MySQL の UTF-8 には歴史的事情により utf8 と utf8mb4 の二つあります。 UTF-8 は1バイト〜4バイトで1文字が構成される文字コードですが、MySQ... 続きを読む

「//このコメントを消したら動かない」は大体Shift_JISの2バイト目が原因で発生する - Qiita

2023/12/05 440 users GCC Qiita コンパイラ 改行 Linux

TL;DR Shift_JISにしただけでコンパイラが通らなくなる恐ろしい事件とその回避法について。 \ (¥)のASCIIコードは0x5c 表、能はダメ文字 UTF-8は神 Shift_JISやめろ \を改行とみなすかどうか C言語のコンパイラの仕様によっては\を改行と解釈しコメントが続くと解釈します。この辺りはWindowsのgcc/g++とMac/Linuxのそれ... 続きを読む

UTF-8の冗長なエンコードとは何で、なんでそれがセキュリティ的に危ないのか？を文字コード知識レヴェル3くらいの凡プログラマが考えてみる - それ図解で。・・・tohokuaikiのチラシの裏

2009/09/10 436 users tohokuaiki エンコード チラシ

何故かあたり前にならない文字エンコーディングバリデーションってあるように、いまいち文字コードの不正な判定による危険性ってのが分かってない。SJISの問題は、第5回■注目される文字コードのセキュリティ問題 - SQLインジェクションを根絶！セキュア開発の極意：ITproの記事がわかりやすかった。というか、やっぱりPHP使ってると誰でも一度は「なんじゃこの『￥』は？」って思うもんなんで。なるほど、確か... 続きを読む

UTF-8にもいろいろある - ザリガニが見ていた...。

2013/11/24 398 users ザリガニ ロケール ターミナル 改行コード 言語環境

コマンド前回からの続き。改行コードの違いを体感してみる - ザリガニが見ていた...。文字エンコードとロケールを体感する - ザリガニが見ていた...。改行コードの違いも知った。文字コードとロケール、ターミナルの言語環境との関係も知った。これで文字にまつわる悩みとはおさらばできると思ったら、まだダメだった...。実験環境OSX 10.8 Mountain Lion以前*1ターミナル 言語環境：Un... 続きを読む

シフトJISを使い続ける上場企業をまとめてみた - megamouthの葬列

2017/10/19 389 users リテラル srad.jp megamouth ダコ PHP

2017 - 10 - 20 シフトJISを使い続ける上場企業をまとめてみた srad.jp こういうニュースがあった。世界のWebサイトの90％が utf-8 を使用している、という。 昔、 シフトJIS で エンコード された PHP ファイルを編集させられた時、「表示」が表示できず（文字通りの意味である）バイナリ リテラル を書いてい たこ とを思い出す。 文字コード 断絶の歴史を乗り越え、... 続きを読む

Webページの本文抽出 (nakatani @ cybozu labs)

2007/09/12 335 users require nakatani カテゴライズ 技法 HTML

Webページの自動カテゴライズ の続き。 前回書いたとおり、パストラックで行っている Web ページのカテゴライズでは、Web ページの本文抽出がひとつの鍵になっています。今回はその本文抽出モジュールを公開しつつ、使っている技法をざっくり解説などしてみます。 本モジュールの利用は至極簡単。require して analyse メソッドに解析したい html を与えるだけ。文字コードは UTF-8 ... 続きを読む

Rubyの内部文字コードはUTF-8ではない…だと…？！

2016/10/13 329 users Ruby ツッコミ ご存じ 掌底 hachi8833

こんにちは、 hachi8833 です。 少し前に、 baba さんから「Rubyの内部文字コードはUTF-8じゃないよ」とツッコミがありました。 いきなりの展開にくらくらきましたが、babaさんはさらにたたみかけます。 とっくにご存じの方も多いと思いますが、私のように「Rubyといえば2.0以来UTF-8完全対応なんじゃないの」と勝手に思い込んでた脳に 掌底を食らったような思い です。ああ、でも... 続きを読む

メールアドレスのバリデーション崩壊のお知らせ、もしくは、全てが UTF-8 になる - 雑文発散(2013-01-24)

2013/01/24 315 users 雑文発散 セッション 2013-01-24 ドメイン名 web

▼ [雑] メールアドレスのバリデーション崩壊のお知らせ、もしくは、全てが UTF-8 になる JANOG31 のページをつらつら見てたら気になるセッションがあった。 「メールアドレスの国際化(JANOG25からの変更点)」というものだ。（多用されているかはともかく）Web で使われるドメイン名では国際化が進んでいたけど、メールアドレスに関してはほとんど進んでいなかった印象だったのに、どうも RF... 続きを読む

Go言語でag(The Silver Searcher)ライクな高速検索ツールをつくった。EUC-JP/Shift-JISも検索できマス。 - Thinking-megane

2014/01/16 293 users Thinking-megane EUC-JP Go言語 改造

いまや高速パターン検索といえばag(The Silver Searcher)ですが、検索対象がUTF-8のテキストを前提としているため、EUC-JPやShift-JISといったファイルを検索するのに課題があります。 これまで、それらの日本語文字セットを検索できるようにするため、色々とagの改造、公開を行っていました。 ag(The Silver Searcher)でEUC-JP/Shift-JIS... 続きを読む

Unicodeを斬りたい - Yahoo! JAPAN Tech Blog

2014/04/16 284 users unicode UTF-16 モチベーション 文字符号化方式

ここではUTF-8をあげましたが、もちろんこれ以外にもUnicodeを実現する文字符号化方式はあります。（UTF-16とかUTF-32など）大事なことはこれらが「世界中にあるすべての文字を一つの一貫した方法で表現したい」というモチベーションに基いて定義されたということです。なんとも壮大で夢のある話ですね。 UTF-8とは？　 私はWeb屋さんなのでUTF-8をよく見ます。実際今回の自分の開発してい... 続きを読む

はじめての mixi アプリ - IT戦記

2009/04/08 275 users mixi IT戦記 アプリ CDATA encoding

mixi 友達一覧取得IE では動きません。 xml version="1.0" encoding="UTF-8" ?> title="simple mixi Appli"> feature="opensocial-0.8"/> type="html"> CDATA[ ]]> 続きを読む

プログラマのための文字コード技術入門を読んだ 2010-02-14 - 未来のいつか/hyoshiokの日記

2010/02/14 268 users hyoshiok サロゲートペア プログラマ SJIS UTF

例えば、次の言葉の意味を知りたい、聞いたことがあるけどよく分かっていないプログラマにとって、お勧めの書籍だ。Unicode/UTF-8/UTF-16/USC-2/JIS X0208/JIS X0212/JIS X0213/SJIS/EUC-JP/CP932/ISO-2022-JP/ASCII/Latin-1/ISO 10646/ISO 8859-1/サロゲートペア/文字化け/機種依存文字/半角カナ... 続きを読む

Python 3.15からデフォルトのエンコーディングがUTF-8になります - methaneのブログ

2022/04/26 229 users methane filepath UNIX エンコーディング

Pythonがファイルを開くときなどに使われるエンコーディングはロケール（WindowsではANSIコードページ）依存でした。 Unixの世界ではどんどんUTF-8ロケールが一般的になっている一方、WindowsのANSIコードページはなかなかUTF-8になりません。 そのために、Unixユーザーが open(filepath) のようにエンコーディングを指... 続きを読む

徳丸浩の日記: PHP5.4のhtmlspecialcharsに非互換問題

2011/11/06 229 users htmlSpecialChars 徳丸浩 アプリケーション

2011年11月7日月曜日 PHP5.4のhtmlspecialcharsに非互換問題 PHP5.4.0から、htmlspecialchars関数のデフォルト文字エンコーディングがISO-8859-1(Latin-1)からUTF-8に変更されます。これに伴い、従来動いていたアプリケーションが動かなくなるケースが出てきます。典型的には、以下の両方の条件に該当するアプリケーションは、マルチバイト文字が... 続きを読む

「ASCIIをUTF-8にして」それが『できない』ことを理解してもらえなかった話 - Qiita

2021/04/03 190 users 発端 Shift_JIS 拙者 Qiita ASCII

物語の始まり 事の発端は納品後。 先方からメッセージが届きました。 クライアント様「このファイルの文字コードがShift_JISになっておりますので、UTF-8で再納品をお願いいたします。」 拙者（あれ…UTF-8にしてたと思うんだけどな） 拙者「確認いたします。」 文字コードを確認する 本案件はいわゆる更新案件で、今回の... 続きを読む