「//このコメントを消したら動かない」は大体Shift_JISの2バイト目が原因で発生する - Qiita

2023/12/05 440 users GCC Qiita コンパイラ 改行 Linux

TL;DR Shift_JISにしただけでコンパイラが通らなくなる恐ろしい事件とその回避法について。 \ (¥)のASCIIコードは0x5c 表、能はダメ文字 UTF-8は神 Shift_JISやめろ \を改行とみなすかどうか C言語のコンパイラの仕様によっては\を改行と解釈しコメントが続くと解釈します。この辺りはWindowsのgcc/g++とMac/Linuxのそれ... 続きを読む

awkが新しくなる！？ 本家AwkがUnicode (UTF-8)とCSV対応に！ - Qiita

2023/09/16 147 users awk Qiita unicode CSV Excel

はじめに 2023年、長い時を経て awk がとうとう Unicode (UTF-8) と CSV に対応しました 🎉🎉🎉 awk で日本語がうまく扱えない（場合がある）、Excel が出力する CSV ファイルが扱えない（場合がある）、といった問題が解決に向けて一歩に進みます。 去年、本家 awk (One True Awk, nawk) に Unicode サポートが Brian K... 続きを読む

話題の「Telnet」電子公告、「平文やんけ」という指摘に応えて「over SSL」版を追加／文字コードも「UTF-8」に、ただし超長文の反論付き【やじうまの杜】

2023/09/06 182 users Telnet やじうま 電子公告 指摘 平文

続きを読む

「HTMLでは環境依存文字（①や©など）を文字参照にしなければいけない」という誤解と、本当に置換すべき文字

2022/10/21 150 users 誤解 HTML 特殊記号 ソフトウェア 環境依存文字

HTMLファイルで特殊記号を使う際、① は ①、© は © のように置き換えて書かないといけないものだと思いこんでいないでしょうか。 現代ではそれは誤解です。 UTF-8では特殊記号の文字参照は不要 そもそも環境依存文字とは、データを扱う機種・ソフトウェアなどの違い（文字コードの割り当ての違い）により表示... 続きを読む

UTF-8で動くRailsがShift_JISな外部システムと通信する方法 - BOOK☆WALKER Tech Blog

2022/09/02 131 users Rails フサギコ AWS Shift_JIS テックリード

こんにちは。 メディアサービス開発部Webアプリケーション開発課のフサギコ(髙﨑)です。部署名が変わりました。 Ruby on Railsによるバックエンドの実装運用と、AWSによるサービスインフラの設計構築を中心とした、いわゆるテックリードのような立ち位置で働いています。 本記事では、UTF-8環境下で動くRailsがShift_JIS... 続きを読む

Python 3.15からデフォルトのエンコーディングがUTF-8になります - methaneのブログ

2022/04/26 229 users methane filepath UNIX エンコーディング

Pythonがファイルを開くときなどに使われるエンコーディングはロケール（WindowsではANSIコードページ）依存でした。 Unixの世界ではどんどんUTF-8ロケールが一般的になっている一方、WindowsのANSIコードページはなかなかUTF-8になりません。 そのために、Unixユーザーが open(filepath) のようにエンコーディングを指... 続きを読む

国産のWikiソフト「PukiWiki」が2年ぶりにバージョンアップ、「PHP 8.0/8.1」に対応／EUC-JP版をUTF-8へ変換するツールも用意

2022/03/31 133 users PukiWiki 国産 ツール バージョンアップ 用意

続きを読む

UTF-8のテーブル(MySQL5.6)に竈門禰󠄀豆子が格納できない問題を調べてみた - Qiita

2022/02/01 512 users Qiita テーブル 豆子 MySQL5.6 問題

mysql> show create table verification\G *************************** 1. row *************************** Table: verification Create Table: CREATE TABLE `verification` ( `name` varchar(100) COLLATE utf8_bin DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin 1 row in set (0.01 sec) my... 続きを読む

ASCII.jp：BOMなしUTF-8によってWindowsでもたらされる困惑 (1/2)

2021/06/13 473 users 困惑 エクスプローラー Windows ASCII.jp 主流

かつてWindowsでテキストファイルといえばシフトJIS形式のものが大半だった。しかし最近では、UTF-8形式のテキストファイルも普通に見かけるようになってきた。世の中はUTF-8が主流になりつつあると言っていいだろう。 しかし、WindowsでUTF-8を使うと、ちょっと困ったことがある。それは、エクスプローラーの検索欄など... 続きを読む

「ASCIIをUTF-8にして」それが『できない』ことを理解してもらえなかった話 - Qiita

2021/04/03 190 users 発端 Shift_JIS 拙者 Qiita ASCII

物語の始まり 事の発端は納品後。 先方からメッセージが届きました。 クライアント様「このファイルの文字コードがShift_JISになっておりますので、UTF-8で再納品をお願いいたします。」 拙者（あれ…UTF-8にしてたと思うんだけどな） 拙者「確認いたします。」 文字コードを確認する 本案件はいわゆる更新案件で、今回の... 続きを読む

「ASCIIをUTF-8にして」それが『できない』ことを理解してもらえなかった話 - Qiita

2021/04/03 539 users 発端 Shift_JIS 拙者 Qiita ASCII

物語の始まり 事の発端は納品後。 先方からメッセージが届きました。 クライアント様「このファイルの文字コードがShift_JISになっておりますので、UTF-8で再納品をお願いいたします。」 拙者（あれ…UTF-8にしてたと思うんだけどな） 拙者「確認いたします。」 文字コードを確認する 本案件はいわゆる更新案件で、今回の... 続きを読む

Basic 認証情報が ISO-8859-1 から UTF-8 によるエンコードに変わりました (影響あり) | Firefox サイト互換性情報

2018/04/10 114 users 記号 エンコード BASIC 従来 Firefox

Firefox は従来、Basic HTTP 認証リクエスト用のユーザー名とパスワードに ISO-8859-1 文字エンコーディングを採用していました。Firefox 59 以降、フランス語のアクセント記号付き文字など非 ASCII 文字が適切にエンコードされるよう、 Authorization ヘッダーに UTF-8 が採用されます。 あなたのサイトがユーザーの認証情報に英数字や一般的な記号のみ... 続きを読む

Shift_JIS「もしかして・・・・・・」　UTF-8「私たち……」：キニ速

2018/01/04 599 users キニ速 Shift_JIS 私たち

1： 風吹けば名無し ： 2018/01/03(水) 23:38:43.26ID:zdl6/pdI0.net 二人「蜈･繧梧崛繧上▲縺ｦ繧具ｽ橸ｼ?ｼ」 3： 風吹けば名無し ： 2018/01/03(水) 23:39:12.64ID:N/R9DTv80.net 草 7： 風吹けば名無し ： 2018/01/03(水) 23:39:46.66ID:MvPZI/VE0.net いとへん文字化けすこ ... 続きを読む

Windows 10のInsider PreviewでシステムロケールをUTF-8にするオプションが追加される | スラド

2017/11/14 142 users スラド beta ダイアログ ベータ 告知

あるAnonymous Coward曰く、 Windows Experience Blogの告知などでは一切言及されていないようだが、Windows 10 Redstone 4のInsider Previewでは、システムロケールの変更を行うダイアログに「ベータ:ワールドワイド言語サポートでUnicode UTF-8を使用」（英語では'Beta: Use Unicode UTF-8 for wor... 続きを読む

シフトJISを使い続ける上場企業をまとめてみた - megamouthの葬列

2017/10/19 389 users リテラル srad.jp megamouth ダコ PHP

2017 - 10 - 20 シフトJISを使い続ける上場企業をまとめてみた srad.jp こういうニュースがあった。世界のWebサイトの90％が utf-8 を使用している、という。 昔、 シフトJIS で エンコード された PHP ファイルを編集させられた時、「表示」が表示できず（文字通りの意味である）バイナリ リテラル を書いてい たこ とを思い出す。 文字コード 断絶の歴史を乗り越え、... 続きを読む

HTML文書は文字エンコーディングUTF-8でなければなりません - 水底の血

2017/10/08 642 users 水底 Requ エンコーディング エンコード HTML文書

2017 - 10 - 08 HTML文書は文字エンコーディングUTF-8でなければなりません さよなら レガシーエンコーディング 。 文字 エンコーディング 宣言が存在するかどうかにかかわらず、文書の エンコード に使用される実際の文字 エンコーディング は UTF-8 でなければならない。 4.2.5.5 文書の文字エンコーディングを指定する - HTML Standard 日本語訳 Requ... 続きを読む

Rubyの内部文字コードはUTF-8ではない…だと…？！

2016/10/13 329 users Ruby ツッコミ ご存じ 掌底 hachi8833

こんにちは、 hachi8833 です。 少し前に、 baba さんから「Rubyの内部文字コードはUTF-8じゃないよ」とツッコミがありました。 いきなりの展開にくらくらきましたが、babaさんはさらにたたみかけます。 とっくにご存じの方も多いと思いますが、私のように「Rubyといえば2.0以来UTF-8完全対応なんじゃないの」と勝手に思い込んでた脳に 掌底を食らったような思い です。ああ、でも... 続きを読む

MySQL で utf8 と utf8mb4 の混在で起きること - tmtms のメモ

2016/09/06 471 users tmtms MySQ MySQL 混在 utf8mb

2016 - 09 - 06 MySQL で utf8 と utf8mb4 の混在で起きること MySQL MySQL を UTF-8 で使おうと思ってハマりがちなのは charset utf8 を指定してしまうことです。 MySQL の UTF-8 には歴史的事情により utf8 と utf8mb4 の二つあります。 UTF-8 は1バイト〜4バイトで1文字が構成される文字コードですが、MySQ... 続きを読む

PHPのbasename関数でマルチバイトのファイル名を用いる場合の注意 | 徳丸浩の日記

2015/02/12 132 users basename関数 徳丸浩 PHP Shift_JIS 内部

2015年2月12日木曜日 PHPのbasename関数でマルチバイトのファイル名を用いる場合の注意 まずは以下のサンプルをご覧ください。サーバーはWindowsで、内部・外部の文字エンコーディングはUTF-8です。UTF-8のファイル名を外部から受け取り、Windowsなのでファイル名をShift_JISに変換してファイルを読み込んでいます。basename関数を通すことにより、ディレクトリトラ... 続きを読む

setTimeout() vs ハッカー、仁義なき戦い - 株式会社CFlatの明後日スタイルのブログ

2014/08/17 112 users counter setTimeout head 仁義 HTML

2014-08-18 setTimeout() vs ハッカー、仁義なき戦い JavaScript 早速ですが、以下のHTMLを見て下さい……。 <!doctype html> <html> <head> <meta charset="UTF-8"> <title>サンプル1</title> <style> #counter { font-size: 3em; font-family: monos... 続きを読む

Unicodeを斬りたい - Yahoo! JAPAN Tech Blog

2014/04/16 284 users unicode UTF-16 モチベーション 文字符号化方式

ここではUTF-8をあげましたが、もちろんこれ以外にもUnicodeを実現する文字符号化方式はあります。（UTF-16とかUTF-32など）大事なことはこれらが「世界中にあるすべての文字を一つの一貫した方法で表現したい」というモチベーションに基いて定義されたということです。なんとも壮大で夢のある話ですね。 UTF-8とは？　 私はWeb屋さんなのでUTF-8をよく見ます。実際今回の自分の開発してい... 続きを読む

Go言語でag(The Silver Searcher)ライクな高速検索ツールをつくった。EUC-JP/Shift-JISも検索できマス。 - Thinking-megane

2014/01/16 293 users Thinking-megane EUC-JP Go言語 改造

いまや高速パターン検索といえばag(The Silver Searcher)ですが、検索対象がUTF-8のテキストを前提としているため、EUC-JPやShift-JISといったファイルを検索するのに課題があります。 これまで、それらの日本語文字セットを検索できるようにするため、色々とagの改造、公開を行っていました。 ag(The Silver Searcher)でEUC-JP/Shift-JIS... 続きを読む

SQLインジェクション対策について

2013/12/16 125 users SQLインジェクション対策 Query MySQL SQL

SQLインジェクション対策について 教育的な観点ではなく実務的な観点から、僕の考えをまとめてみる。UTF-8 を利用し、SET NAMES を利用していなくて mysql で、クライアントプリペアドステートメントなケースを想定している。 SQL インジェクションとは $foo=$_POST[‘id’]; query(“SELECT * FROM foo WHERE id=$foo”); のように外... 続きを読む

ssh接続先の文字コードが接続元と違うときの対処法 - 文字っぽいの。

2013/12/15 159 users 接続元 文字っぽい 文字コード 対処法 lang

2013-12-15 ssh接続先の文字コードが接続元と違うときの対処法 問題 自分の環境：UTF-8 SSH接続先：EUC-JP とかよくありますね。 $ export LANG=eucJP とか $ export LANG=ja_JP.UTF-8 してあげてもいいんですが、わざわざやるのも面倒ですし、「ログイン先とこっちのどっちで設定するといいんだ？」みたいに悩みます。 解決法 cocotとい... 続きを読む

UTF-8にもいろいろある - ザリガニが見ていた...。

2013/11/24 398 users ザリガニ ロケール ターミナル 改行コード 言語環境

コマンド前回からの続き。改行コードの違いを体感してみる - ザリガニが見ていた...。文字エンコードとロケールを体感する - ザリガニが見ていた...。改行コードの違いも知った。文字コードとロケール、ターミナルの言語環境との関係も知った。これで文字にまつわる悩みとはおさらばできると思ったら、まだダメだった...。実験環境OSX 10.8 Mountain Lion以前*1ターミナル 言語環境：Un... 続きを読む