他部署から要請「すみませんがうちの課のデータベースに情報入力お願いします」→どう見ても正規化出来ないデータで絶望

2024/03/16 27 users 要請 データベース 絶望 すみません 他部署

ガシカ👨‍💻在庫金額ってなんぞよの件 @skill___up 他部署から要請 「すみませんがうちの課のデータベースに情報入力お願いします」 『とりあえずデータ見させて下さい』 ポチポチ （7000行位か まぁここを絞り込めば…） 💢😑💢 pic.twitter.com/dFAjqMbN0f 2024-03-15 10:47:21 続きを読む

“住所の表記揺れ”の正規化サービス登場　Excelファイルをアップするだけ

2023/08/16 20 users Excelファイル 住所 表記 Geolonia 緯度経度

位置情報に関連するクラウド事業を手掛けるGeoloniaは、住所の表記揺れを正規化できるサービス「クイック住所変換」の提供を始めた。表記ゆれしているExcelデータをアップロードすると、住所を正規化し、緯度経度の情報を付与できる。 位置情報に関連するクラウド事業を手掛けるGeolonia（東京都渋谷区）は8月16日、住所... 続きを読む

ヤバいと話題の“日本の住所表記”　何がそんなに大変？　ゼンリンに聞いた

2023/06/13 25 users ゼンリン 名寄せ Twitter上 ヤバイ 住所表記

日本の住所表記の正規化・名寄せがTwitter上で話題になっている。ITエンジニアを中心に「住所の表記揺れはすぐ解決できる問題ではない」と議論を醸すが、表記揺れを直すのはどのくらい難しいのか。地図情報を手掛けるゼンリンに話を聞いた。 日本の住所表記の正規化・名寄せがTwitter上で話題になっている。きっかけとな... 続きを読む

「日本の住所のヤバさ」知れ渡る　正規化・名寄せ問題、Twitterトレンドに

2023/06/07 29 users Twitterトレンド 名寄せ 住所 バス 日本

「日本の住所のヤバさ」が6月7日朝にTwitterトレンドになっている。住所表記の正規化・名寄せがいかに難しいかを解説した、inuroさんのnote記事がバズっているためだ。 「日本の住所のヤバさ」が6月7日朝にTwitterトレンドになっている。住所表記の正規化・名寄せがいかに難しいかを解説した、inuroさんのnote記事「とに... 続きを読む

とにかく日本の住所のヤバさをもっと知るべきだと思います｜inuro

2023/06/06 2409 users inuro まさかり 名寄せ 総立ち 言説

「住所の揺らぎ程度のことにAIを使いたいだとかデジタル音痴」だの「住所の正規化なんてExcelで2時間あれば作れそう」だの、たいへんフットワークの軽やかな言説の数々に、位置情報界隈のみならず住所の正規化や名寄せに少しでも関わったことのあるエンジニアが総立ちでマサカリを投げていたのも記憶に新しい今日この頃... 続きを読む

住所の正規化は沼である。

2023/06/06 383 users 住所 twitter.com 中略 河野大臣 河野太郎

杉原航太 @kota_sugihara 河野太郎がマイナンバーカードの住所照合についてデジタル音痴ぶりを如何なく発揮した件 河野大臣『問題は住所が「港区赤坂一丁目2の3」と書く人もいれば、「港区赤坂1-2-3」と書く人もいる…（中略）将来的にはAIの技術を使って表記揺れを判断することがあり得るかもしれない。』… twitter.com/... 続きを読む

テスラの自動運転システムは「主張よりもはるかに危険」なことが事故データを正規化することで明らかに

2022/02/04 22 users テスラ オートパイロット 主張 自動運転システム 論文

バージニア大学で高度道路交通システムを研究するノア・グッド―ル氏が、2021年10月に「部分自動運転車の安全性統計を正規化する方法について」という論文を公開しました。この論文を基にテスラの自動運転車の事故データを正規化すると、「テスラの自動運転システムであるオートパイロットは同社が主張するよりもはるかに... 続きを読む

日本の住所の正規化に本気で取り組んでみたら大変すぎて鼻血が出た。 - Qiita

2020/06/04 689 users Qiita 緯度経度 鼻血 JSON ファイル 数字

先日、弊社では Community Geocoder というサービスをリリースしました。 Community Geocoder 紹介記事 さて、このジオコーダーは、住所を正規化してそれを「大字町丁目コード」という12桁の数字に変換し、そのコードをファイル名として GitHub ページ上に大量においた JSON ファイルにアクセスして緯度経度を取得すると... 続きを読む

経産省発の npm モジュール！住所や電話番号の正規化、ジオコーディングなどができる IMI コンポーネントツールを試した！ - Geolonia developer's blog

2020/05/29 1237 users 経産省 ジオコーディング https npm ツール

Photo by Luiz Centenaro on Unsplash Code for Japan の関さんが SNS でシェアしてて知ったのですが、経産省さんがなにやらオープンソースで住所や電話番号の正規化などなどをするツールを公開したとのこと。 https://info.gbiz.go.jp/tools/imi_tools/ 経産省が住所変換や法人種別名、電話番号の正規化に使えるIMIコン... 続きを読む

文字コード再入門 ─ Unicodeでのサロゲートペア、結合文字、正規化、書記素クラスタを理解しよう！ - エンジニアHub｜若手Webエンジニアのキャリアを考える！

2020/04/28 358 users サロゲートペア unicode エンジニアHub 結合文字

ソフトウェア開発に携わる方の多くは、何らかの形で文字コードに触れることがあるでしょう。文字や記号をコンピュータ上でデータとして扱うには、文字コードの知識が必要不可欠です。 本稿では、書籍『プログラマのための文字コード技術入門』の著者である矢野啓介さんが、知っておきたい基礎知識を分かりやすく解説しま... 続きを読む

アンチパターンから学ぶ RDBの正しい設計 / learn-from-failure-2 - Speaker Deck

2019/03/24 336 users RDB Speaker Deck Proposal 前作 失敗

■PHPerKaigi 2019の登壇資料です - https://phperkaigi.jp/2019/ - https://fortee.jp/phperkaigi-2019/proposal/328896eb-c084-41c9-847f-f0512a538811 ■前作 - 失敗から学ぶ、RDBの正規化の話 - https://soudai.hatenablog.com/entry/learn-from-failure-1 続きを読む

現在の制作環境に合うよう開発された、使い勝手がよさそうな新しいCSSリセット -Destyle.css | コリス

2019/01/18 48 users コリス Normalize.css Eric Meyer

使い勝手がよさそうな新しいCSSリセットがリリースされたので、紹介します。 Destyle.cssは現在の制作環境に合うよう開発されたCSSリセットで、Eric MeyerのリセットとNormalize.cssの不満点を解消するようスタイルのリセットと正規化の両方が実現されています。 Destyle.css Destyle.css -GitHub Destyle.cssの特徴 Des... 続きを読む

機械学習で株価予測～scikit-learnで株価予測④：世界の主要指数の追加～ │ 似非ITエンジニアからの脱却

2018/10/14 60 users scikit-learn 脱却 株価 株価予測 精度

機械学習で株価を予測することに挑戦していきます。今回は世界の主要指数を説明変数に加え、精度を改善できるかを確認します。 関連記事 機械学習で株価予測～scikit-learnで株価予測①～ 機械学習で株価予測～scikit-learnで株価予測②：特徴量選択とデータの標準化、正規化～ 機械学習で株価予測～scikit-learnで株価予... 続きを読む

機械学習で株価予測～scikit-learnで株価予測②：特徴量選択とデータの標準化、正規化～ │ 似非ITエンジニアからの脱却

2018/08/12 73 users scikit-learn 脱却 株価 株価予測 株価データ

機械学習で株価を予測することに挑戦していきます。前回に引き続き、scikit-learnで過去の株価データを基に学習し、株価予測を行います。今回は特徴量選択とデータの標準化、正規化を実践します。 前回：機械学習で株価予測～scikit-learnで株価予測①～ 環境 OS:Windows10 Python：3.6.5 sklearn：0.19.2 概要 目標 様々... 続きを読む

何っ！ PWAがデスクトップでも動くだと？ しかも最高だと？【海外＆国内SEO情報ウォッチ】 | 海外SEO情報ブログ

2018/07/22 14 users Pwa noindex 落とし穴 グーグル SEO

Web担当者Forumの連載コーナー「海外&国内SEO情報ウォッチ」を更新。今週の注目ピックアップは『何っ！ PWAがデスクトップでも動くだと？ しかも最高だと？』。ほかにも、グーグルの URL 正規化で知っておきたいこと、あなたの知らない noindex の秘密、インデックスされない JavaScript リンクの落とし穴など、SEO や W... 続きを読む

立憲民主党・枝野代表へ「非正規公務員の正規化」「公契約法で官製ワーキングプア根絶」を基本政策に (1/2)

2018/01/12 24 users 旧来 Tweet 立憲民主党 公務員バッシング 公務員

記事 国家公務員一般労働組合 2018年01月12日 15:58 立憲民主党・枝野代表へ「非正規公務員の正規化」「公契約法で官製ワーキングプア根絶」を基本政策に 1/2 Tweet 前回、「 立憲民主党の基本政策「公務員人件費削減」は官製ワーキングプア増大で更なる貧困・自己責任社会まねく 」と指摘しました。うれしかったのは、旧来の公務員バッシングよりも立憲民主党の公務員人件費削減を批判するツイート... 続きを読む

Encoder-Decoder でレシピの材料名を正規化する - クックパッド開発者ブログ

2017/10/29 357 users 原島 かたわら マネージメント クックパッド しょうゆ

2017 - 10 - 30 Encoder-Decoder でレシピの材料名を正規化する 研究開発部の原島です。部のマネージメントのかたわら、自然言語処理関連の開発に従事しています。本エントリでは、最近社内で開発した自然言語処理システムを紹介します。 ■ 「しょうゆ」のバリエーションは 100 種類以上 クックパッドで以前から解決したかった課題の一つに材料の名前（以下、材料名）の正規化があります... 続きを読む

【SEO効果あり】canonical属性タグによる被リンク評価の引き継ぎ効果 - ネ活ちう。

2017/08/06 7 users SEO効果 レンタルブログ 引っ越し 301リダイレクト

2017 - 08 - 07 【SEO効果あり】canonical属性タグによる被リンク評価の引き継ぎ効果 ブログ運営 カスタマイズ レンタルブログへの引っ越しには「301リダイレクト」が使えない。そこで、旧サイトに canonical属性タグ を設定することで、引っ越し先の新URLを正規化してみたんだ。そうしたら、わずか数日で新URLが検索上位に出てくるようになったよ！ こんにちは、ちうぱんです... 続きを読む

やらなきゃ損！SEOで見落としがちなURLの正規化 | プロモニスタ

2017/02/22 25 users 用語 ご存知 プロモニスタ ルール 皆さん

皆さんはURLの正規化についてご存知でしょうか。SEOを語る上でしばしば登場する用語です。端的にいうと、URLをルールに従って整頓することを指します。 なぜ正規化という作業が必要なのか、どのように行えばよいかなどを詳細に説明します。 URL正規化とは そもそも正規化とは何を指す用語でしょうか。もともとはデ皆さんはURLの正規化についてご存知でしょうか。SEOを語る上でしばしば登場する用語です。端的... 続きを読む

Electronを使ってMac向けのアプリを開発する時のファイル名の扱いについて (所謂UTF-8-MAC問題) - Qiita

2015/09/24 63 users Electron Qiita NFD node node.js

以前Nodeで作っていたものをElectronで作り直していて、同じ問題にまたハマったので書いておく。 所謂、UTF-8-MAC問題である。もう遥か昔にNodeでハマった時の記事がある。 node.jsでUTF-8-MACを扱う - joker1007の日記 Macのファイルシステムはファイル名に対してNFDとかいう正規化を行っていて、ファイルシステムにアクセスする時に勝手に変換しやがる仕組みにな... 続きを読む

宮川達彦さんにインスパイアされてyelpの評価を適正化してみた - firenaviブログ

2015/01/25 8 users Yelp firenaviブログ 宮川達彦さん ロク 適正化

2015-01-26 宮川達彦さんにインスパイアされてyelpの評価を適正化してみた 宮川達彦さんが作成されたChrome Extension Tatsuhiko Miyagawa's blog — 食べログのレビュー点数を正規化する Chrome Extension にインスパイアされて、この正規化ツールのyelp版を作ってみました。 ・評価ポイントを表す★の画像の部分が正規化後の★に自動変換さ... 続きを読む

食べログのレビュー点数を正規化する Chrome Extension - Tatsuhiko Miyagawa's blog

2015/01/16 250 users Tatsuhiko Miyagawa's blog ロク

A weblog about Programming, Tech, gadgets, Japan and San Francisco. Tabelog is well known for its score system very crowded between 3.1 and 3.5. Most restaurants over 4 stars (or even 3.5) are excepti... 続きを読む

Swiftでの文字列比較におけるUnicode正規化を巡る注意点 - Qiita

2014/10/27 228 users Qiita NSString Swift String Let

Stringの比較は正規化をかけた上で行われる Swiftの文字列比較は，Unicode正規化をかけた上で行われます。 たとえば，次の例をご覧ください。 let gaC = "\u{304C}" // 「が」の結合形 let gaD = "\u{304B}\u{3099}" // 「が」の分解形 // NSString としての文字数（UTF16での文字数）は異なる (gaC as NSStrin... 続きを読む

∞-gram を使った短文言語判定

2011/11/23 62 users gram TokyoNLP shuyo アジェンダ 中谷

∞-gram を使った短文言語判定 - Presentation Transcript ∞-gram による短文言語判定 2011/11/23 TokyoNLP #8 中谷 秀洋＠サイボウズ・ラボ @shuyo / id:n_shuyo アジェンダ• 言語判定• 極大部分文字列• 実装• コーパス作りと正規化• 評価 言語判定 これ何語？• Ik kan er nooit tegen als me... 続きを読む

Google ウェブマスター向け公式ブログ: クロスドメイン URL の選択 - 複数のドメイン間の重複コンテンツの正規化について

2011/11/16 25 users クロスドメイン アルゴリズム ドメイン 重複コンテンツ URL

クロスドメイン URL の選択 - 複数のドメイン間の重複コンテンツの正規化について 2011年11月16日水曜日 | 10:48 このブログでも何度か 重複コンテンツ に関して取り上げてきました。重複コンテンツとは、同じコンテンツが複数の URL（同一のドメインにある/なしを問わず）に存在することを指しています。Google では、コンテンツが重複するページ グループを発見した場合、アルゴリズム... 続きを読む