MySQLのtable collationが意図した値になっているかテストするActions Workflowを作った - 風に吹かれても

2023/07/05 10 users MySQL RDBMS 照合順序 概念 ルール

文字セットと照合順序 MySQLに限らず多くのRDBMSには文字をどのようにバイト列で表現するかを決めるルールである文字セットがあります。 また文字セットに対応して文字同士を比較するときのルールである照合順序*1という概念があります。MySQLの場合、この照合順序は1つの文字セットに対して複数存在する概念です。なの... 続きを読む

PHPからJavaScriptにデータを受け渡すときに考えること - Qiita

2023/01/01 123 users Qiita String Array JSON unicode

PHPのstringは任意のバイト列を扱えますが、JavaScript/JSONはUnicodeで扱える文字しか扱えません PHPのint / floatはプラットフォーム依存ですが、JavaScriptのnumberは整数と小数を型レベルで区別しません JSONのarrayに対応する型はPHPのarrayのうちリストであるものです PHPは配列(リスト)と連想配列を型レベルで区... 続きを読む

Python 3.11 からデフォルトの文字列ハッシュアルゴリズムが SipHash13 になります - methaneのブログ

2021/10/11 10 users methane ハッシュアルゴリズム デフォルト rust

Pythonの文字列やバイト列に対するハッシュアルゴリズムは、HashDoS対策としてPython 3.4から SipHash24が使われていました。 その後、ラウンド数を減らしたSipHash13でも十分に安全だとして2015年にRustが、2016年にRubyが、SipHash24からSipHash13への切り替えを行いました。 https://github.com/rust-lang/rust/issue... 続きを読む

実践！安全ではないデシリアライゼーションの攻撃手法 | yamory Blog

2021/01/15 8 users デシリアライゼーション DOS オブジェクト 改ざん 直列化

安全でないデシリアライゼーション（Insecure Deserialization）とは、多くのプログミング言語に存在するバイト列等の表現で直列化されたデータを元のオブジェクトに変換する処理で発生する脆弱性です。 攻撃者がこの脆弱性を悪用することにより、DoS や状態の改ざん、最悪の場合は任意のコード実行を引き起こす可能性が... 続きを読む

WiresharkのDissectorを使った独自プロトコル解析をやさしく解説してみました - DARK MATTER

2020/03/16 148 users Wireshark プロトコル Dark matter 本稿

本稿では、基本的なDissectorの作り方と、Dissectorを活用したパケット解析方法を紹介します。 WiresharkのDissectorをご存知でしょうか？DissectorはWiresharkのプロトコル解析部分で、バイト列を人が理解できる内容に変換し表示してくれます。 Wiresharkを使った事がある方なら、独自プロトコルのバイト列を人が理解で... 続きを読む

iTerm2 で `cat /dev/urandom` すると印刷ダイアログが出ることがある - mizdra's blog

2019/12/04 42 users urandom dev cat 印字 ターミナル

皆さんは /dev/urandom と呼ばれるUnixデバイスをご存知でしょうか. /dev/urandom は一言でいうと擬似乱数を出力する疑似デバイスで, catすると以下のようにランダムなバイト列を逐次的に出力してくれます. 出力するバイトの値域に特に制限は無いため, ターミナルに印字不可能な文字が表示されたりします. 良い具合にバ... 続きを読む

CNNによる文字コード不明なドキュメントの推定 - にほんごのれんしゅう

2018/01/08 56 users Twitter れんしゅう CNN 喪失 推定

2018 - 01 - 08 CNNによる文字コード不明なドキュメントの推定 CNNによる 文字コード 不明なドキュメントの推定 Advent Calender遅刻いい訳 年末忙しすぎた ネタと期待していたいくつかがまともに結果が出ずに苦しい思いをしていた 元URLの喪失 バイト列から文字コーディングを推定する Twitter で時々バズるネタとして、 機械学習 がこれほどもてはやされるのに、今だ... 続きを読む

デシリアライズ速度の比較 ByteBuffer vs DirectBuffer vs Unsafe vs C - Blog by Sadayuki Furuhashi

2014/03/12 63 users OpenJDK Unsafe 整数値

2014-03-12 デシリアライズ速度の比較 ByteBuffer vs DirectBuffer vs Unsafe vs C OpenJDK や Hotspot VM には、sun.misc.Unsafe という内部APIがあり*1、これを使うと ByteBuffer.getInt や ByteBuffer.getLong よりも高速にバイト列から整数値をデコードできるという。これを駆使する... 続きを読む

sonots:blog : Ruby 2.1.0 に追加される不正なバイト列を除去する String#scrub の紹介

2013/12/07 84 users sonots アップグレードガイド str rspec 紹介

2013年12月07日13:01 カテゴリ Ruby 2.1.0 に追加される不正なバイト列を除去する String#scrub の紹介 Ruby Advent Calendar 2013 7日目担当 @sonots です。昨日は yujinakayama さんの RSpecの最新の動向・RSpec 3へのアップグレードガイド の記事でした。今日は ruby 2.1.0 に新しく追加される Str... 続きを読む

NSStringの文字列比較はisEqualToStringではなくてcompareメソッドがいいのか - iOS プログラミングメモ - iPhoneアプリ開発グループ

2013/08/09 115 users NSString Compare メソッド Apple 事実

Appleのサンプルコード DownloadFont を眺めてたら、NSStringの文字列比較にcompare:メソッドを使っていて「あれisEqualToStringじゃないの？」って思ったので調べてみたら意外と重大な事実が判明しました。isEqualToStringはNSLiteralSearchオプションによる比較なので、見かけ上同じ文字列だったとしてもバイト列が異なる場合はNOを返すらし... 続きを読む

PerlIO::scalar でopenできるのはバイト列だけ！ - Islands in the byte stream

2013/04/26 8 users Scalar リファレンス OPEN 警告 Perl 5.18

Perl 5.18 からは、PerlIO::scalarでopenできるのはバイト列だけになるようです。wide characterを含んだスからリファレンスをopen()しようとしても警告と共にopen()が失敗します。perldialog: Strings with code points over 0xFF may not be mapped into in-memory file hand... 続きを読む

msgpack/msgpack#121を3行でまとめるブログ

2013/02/22 37 users ObjC MsgPack 折衷案 Python おれ

おい！おれの Python/ObjC なコードで msgpack 使うとなんかデータを復元できないんですが？バイト列か文字列か不明な場合が考慮されてないのが原因なんだから UTF-8 な文字列型を仕様に盛り込んでください いやそれ特定の言語でしか起こらない問題だしプロトコル仕様はミニマムであるべきだよね？でも折衷案として文字列型を新しく定義する代わりに型ヒントを表すバイトを付与できるようにしたらど... 続きを読む

Ruby の invalid byte sequence in UTF-8 例外を encode("UTF-8", "UTF-8") で回避するのはおかしいよ、という話 : sonotsのblog

2013/02/18 118 users Encode sonots UTF Ruby UTF-8

こんにちは @sonots です。 Ruby の invalid byte sequence in UTF-8 例外を encode("UTF-8", "UTF-8") で回避するのはおかしいよ、という話をします。 Ruby 1.9 でUTF-8的に正しくないバイト列がある文字列を扱っていると、正規表現マッチや gsub といったメソッドを使っているところで ArgumentError: inva... 続きを読む

Python-dev ML watch: 文字列リテラルに u プリフィックスがつきました。 - methaneの日記

2012/03/20 12 users プリフィックス prefix methane 文字列リテラル

更新が滞っているので、 Python-dev の ML の内容を伝える記事を気が向いた時に書くことにします。Python 3.3a1 がリリースされましたが、その直後にコミットされたのが、文字列リテラルのu プリフィックスです。この prefix は、 Python 2 と 3 に同一のコードで対応したい場合に利用します。文字列リテラルを書くときに、Python 2 でも 3 でも バイト列にする... 続きを読む

JavaScriptで任意のテキストをバイト列からラスタ画像化する、またはその逆 - muddy brown thang

2012/01/07 52 users muddy brown thang テキスト PNG 使い道

javascript, canvasid:monjudoh や id:nishiohirokazu と話してて作ったんだけどとりあえず使い道なかったので共有します。テキストをレンダリングして画像にするという話ではなく、 テキストを UTF-8 に変換するUTF-8 化されたバイト列であるテキストをラスタ画像 (ImageData) にする 画像を PNG 形式にするということをする話です。デモサイ... 続きを読む

【ハウツー】XMLはもう不要!? Google製シリアライズツール「Protocol Buffer」 (1) 構造化データをバイト列に変換するための新技術 | エンタープライズ | マイコミジャーナル

2008/07/18 326 users XML ハウツー エンタープライズ 本稿執筆時点 正式リリース

Protocol Bufferとは Protocol BufferはもともとGoogle社内で利用されていた技術/ツールだ。今月7日にApache Software License 2.0の下、オープンソースソフトウェアとして公開されたばかりで、本稿執筆時点の最新バージョンは2.0のβ版。正式リリースが2008年8月に行われる予定だ。 Protocol Bufferは、一言で言うと、構造化データを... 続きを読む