UTF-8で動くRailsがShift_JISな外部システムと通信する方法 - BOOK☆WALKER Tech Blog

2022/09/02 131 users Rails フサギコ AWS UTF-8 テックリード

こんにちは。 メディアサービス開発部Webアプリケーション開発課のフサギコ(髙﨑)です。部署名が変わりました。 Ruby on Railsによるバックエンドの実装運用と、AWSによるサービスインフラの設計構築を中心とした、いわゆるテックリードのような立ち位置で働いています。 本記事では、UTF-8環境下で動くRailsがShift_JIS... 続きを読む

Re: Goでcsvを操作するための基本的な知識

2022/04/21 75 users println エンコーディング CSV Mac UTF-8

Println で標準出力してみると以下のように表示されるかと思います。（SHIFT-JIS形式なのでmacでみると文字化けしていますがひとまず置いておきます） 日本では一般的に CSV ファイルは　Shift_JIS でエンコードされている事が多いです。Go 言語は内部のエンコーディングが UTF-8 なので、Shift_JIS な CSV ファイルを読... 続きを読む

「ASCIIをUTF-8にして」それが『できない』ことを理解してもらえなかった話 - Qiita

2021/04/03 190 users 発端 拙者 Qiita ASCII ファイル

物語の始まり 事の発端は納品後。 先方からメッセージが届きました。 クライアント様「このファイルの文字コードがShift_JISになっておりますので、UTF-8で再納品をお願いいたします。」 拙者（あれ…UTF-8にしてたと思うんだけどな） 拙者「確認いたします。」 文字コードを確認する 本案件はいわゆる更新案件で、今回の... 続きを読む

「ASCIIをUTF-8にして」それが『できない』ことを理解してもらえなかった話 - Qiita

2021/04/03 539 users 発端 拙者 Qiita ASCII ファイル

物語の始まり 事の発端は納品後。 先方からメッセージが届きました。 クライアント様「このファイルの文字コードがShift_JISになっておりますので、UTF-8で再納品をお願いいたします。」 拙者（あれ…UTF-8にしてたと思うんだけどな） 拙者「確認いたします。」 文字コードを確認する 本案件はいわゆる更新案件で、今回の... 続きを読む

UTF-8 の文字列をできる限り Shift_JIS に変換したい(実践編) | うなすけとあれこれ

2020/08/17 25 users UTF-8 文字列 実践編 iconv unicode

先日、きりきりやままさんがこのような記事を公開していました UTF-8 の文字列をできる限り Shift_JIS に変換したい - きりきりやま それでは実際にそのような文字列変換を行うにはどうすればよいのか、またコメントでiconvについて触れられていたので、この記事ではUnicodeにおけるNFKC正規化をどうやって行うのか試し... 続きを読む

UTF-8 の文字列をできる限り Shift_JIS に変換したい - きりきりやま

2020/08/05 23 users UTF-8 unicode 文字列 CSV 変換

Shift_JIS の CSV で連携する外部サービスがあり、DB では UTF-8 でテキストを持っていたため文字コードを変換する必要が生じた。 ところが UTF-8 に存在する多くの文字は Shift_JIS に対応がないため変換することができない1。 そこで、事前に NFKC 形式で Unicode 正規化することで変換可能な文字を増やすことを試みた... 続きを読む

Shift_JIS「もしかして・・・・・・」　UTF-8「私たち……」：キニ速

2018/01/04 599 users UTF-8 キニ速 私たち

1： 風吹けば名無し ： 2018/01/03(水) 23:38:43.26ID:zdl6/pdI0.net 二人「蜈･繧梧崛繧上▲縺ｦ繧具ｽ橸ｼ?ｼ」 3： 風吹けば名無し ： 2018/01/03(水) 23:39:12.64ID:N/R9DTv80.net 草 7： 風吹けば名無し ： 2018/01/03(水) 23:39:46.66ID:MvPZI/VE0.net いとへん文字化けすこ ... 続きを読む

iOSDC Japan 2017参加レポート - VASILY DEVELOPERS BLOG

2017/09/20 14 users VASILY DEVELOPERS Blog VASILY

2017 - 09 - 20 iOSDC Japan 2017参加レポート iOS Swift UI こんにちは。iOSエンジニアの遠藤です。 9/15〜17にかけiOSDC Japan 2017が開催され、VASILYでもiOSチーム全員で参加しました。 また、私はLTとしてShift_JISのURLデコードについて発表させていただきました。 以下、発表資料です。 speakerdeck.com... 続きを読む

PHPのbasename関数でマルチバイトのファイル名を用いる場合の注意 | 徳丸浩の日記

2015/02/12 132 users basename関数 徳丸浩 UTF-8 PHP サーバー

2015年2月12日木曜日 PHPのbasename関数でマルチバイトのファイル名を用いる場合の注意 まずは以下のサンプルをご覧ください。サーバーはWindowsで、内部・外部の文字エンコーディングはUTF-8です。UTF-8のファイル名を外部から受け取り、Windowsなのでファイル名をShift_JISに変換してファイルを読み込んでいます。basename関数を通すことにより、ディレクトリトラ... 続きを読む

文字コードをutf-8にし、改行コードをunixにするVimのコマンドを作る - blog.textfile.org

2014/11/01 16 users UNIX ゴマン vim vimrc UTF

背景 Vimを使っている。 Windowsをメインに使っていた時代に作ったShift_JISのファイルがある。 問題 編集するときに「文字コードをutf-8にし、改行コードをunixにする」という操作をよく行う。 解法 コマンドラインから以下のように入力すればいい。 1 2 :set fenc=utf8 :set ff=unix 頻繁に行うなら、以下のように ~/.vimrc に書いておき、コマン... 続きを読む

Sublime Text 2をShift_JISに対応させるプラグインがあると聞いて | REFLECTDESIGN

2012/10/05 159 users REFLECTDESIGN emacs vim エディター

今エンジニア界隈で話題になっているエディター「Sublime Text 2」。プラグインの豊富さは、まだまだVimやEmacsなどには劣りますが、それらエディターのように細かい設定やプラグインをインストールしなくても、ある程度の環境が最初から揃っているなど導入コストが低い点が優れていると言われています。 しかし！ DreamweaverなどのGUIエディターから乗り換える人が多いようですが、それで... 続きを読む

SoftBank iPhoneのShift_JISがすごいことになっている件 - Mac OS Xの文字コード問題に関するメモ

2012/04/23 471 users SoftBank iPhone メモ Mac OS X 下図

下図は、SoftBank iPhoneのMailが用いるShift_JISのIBM拡張文字領域*1。どうだ、驚いたろう。SoftBank iPhoneのMailは、charset=Shift_JISをよく使う。髙村薫の「髙」や宮﨑あおいの「﨑」などのWindows外字もShift_JISで送るし、絵文字もShift_JISで送る。しかし、WindowsのIBM拡張文字領域とSoftBankの絵文字... 続きを読む

徳丸浩の日記: PDOにおける一応の安全宣言と残る問題点

2011/08/22 71 users PDO SQLインジェクション 徳丸浩 ボク リリース

2011年8月22日月曜日 PDOにおける一応の安全宣言と残る問題点 8月18日にPHP5.3.7がリリースされました。このリリースにより、PDOのSQLインジェクションの問題が一応解決されたと判断しましたので、ここに「一応の安全宣言」を表明するとともに、残る問題について報告します。 PDOの問題とは何か 以前、ぼくがPDOを採用しなかったわけ(Shift_JISによるSQLインジェクション)にて... 続きを読む

ぼくがPDOを採用しなかったわけ(Shift_JISによるSQLインジェクション) - 徳丸浩の日記

2011/06/19 18 users PDO プレースホルダ SQLインジェクション 徳丸浩 初稿

●ぼくがPDOを採用しなかったわけ(Shift_JISによるSQLインジェクション) PHPのデータベース・アクセス・ライブラリPDOは、DB接続時の文字エンコーディング指定ができないため、文字エンコーディングの選択によっては、プレースホルダを使っていてもSQLインジェクション脆弱性が発生します。 はじめに 本を書いています。SQLインジェクションの節から書き始めて、初稿はレビュアーの方々にお送り... 続きを読む

M.C.P.C.: WWW::Mechanizeはmetaタグを見てデコードするが、charset=Shift_JISのコンテンツって実際にはCP932なので化けるじゃねえか問題

2011/02/24 9 users Mechanize perl ｗｗｗ metaタグ UTF-8

WWW::Mechanizeはmetaタグを見てデコードするが、charset=Shift_JISのコンテンツって実際にはCP932なので化けるじゃねえか問題TweetWWW::Mechanizeという、Perlで使う画面表示がないブラウザがあるんですけれども、こいつは取得するHTML文書がShift_JISでも、UTF-8でも、metaタグのcharset指定を読み込んで、デコードしてくれる機能... 続きを読む

ぼくがPDOを採用しなかったわけ(Shift_JISによるSQLインジェクション)

2010/07/01 181 users PDO プレースホルダ SQLインジェクション レビュアー

●ぼくがPDOを採用しなかったわけ(Shift_JISによるSQLインジェクション) PHPのデータベース・アクセス・ライブラリPDOは、DB接続時の文字エンコーディング指定ができないため、文字エンコーディングの選択によっては、プレースホルダを使っていてもSQLインジェクション脆弱性が発生します。 はじめに 本を書いています。SQLインジェクションの節から書き始めて、初稿はレビュアーの方々にお送り... 続きを読む

日本語処理・携帯絵文字処理関係のperlモジュール

2005/07/05 73 users EUC-JP CGI Kawa.netxp モジュール群

Kawa.netxp 日本語処理・携帯絵文字処理関係のPerlモジュール 日本語を含む多言語処理(主にUTF8、Shift_JIS、ISO-2022-JP。 その他にLatin1、EUC-JP、EUC-KR、Big5、GB2310などにも対応)や、 DoCoMo・SoftBank・au に対応した携帯絵文字処理関連のモジュール群です。 CGIparamJP.pm - CGI.pmのクエリ中の日本語... 続きを読む