富士通、教師データなしでデータの特徴を正確に獲得できるAI技術　世界初 - ITmedia NEWS

2020/07/13 18 users 富士通 ITmedia News DeepTwin AI技術

富士通研究所が、教師データなしで通信ログや医療データのような高次元データの特徴を正確に獲得できる技術を世界で初めて開発したと発表した。AIの精度向上が期待できるという。 富士通研究所は7月13日、教師データなしで通信ログや医療データのような高次元データの特徴を正確に獲得できるAI技術「DeepTwin」（ディー... 続きを読む

高次元データに対するL1正則化の有効性｜内場 崇之｜note

2018/12/17 10 users 数理 変数 線形回帰モデル 個数 有効性

Introduction高次元データでの回帰問題に対して、線形回帰モデルのL1正則化（Lasso回帰）の有効性は広く知られているところです。この有効性の理由は数理統計的な側面からも理解が進んで来ました。代表的な結果の1つに、Lasso回帰の 変数の個数に対して必要なサンプルサイズは対数的にしか増加しない。と言う性質が挙げ... 続きを読む

ヤフー、高次元データの高速検索技術「NGT」をオープンソース化　企業に“眠る”ビッグデータを分析しやすく - ITmedia ニュース

2016/11/25 48 users NGT ヤフー GitHub ビッグデータ オープンソース化

ヤフーは11月24日、高次元データの高速検索技術「NGT」（Neighborhood Graph and Tree for Indexing）を、商用・非商用を問わず利用できるApache License 2.0のオープンソースソフトウェア（OSS）として「GitHub」で 公開した 。同技術に関する特許実施権も無償提供する。 NGTは、テキストや画像、商品データ、ユーザーデータなど、複数の特徴を... 続きを読む

Yahoo! JAPAN、既存速度を大幅に超える検索技術をOSSで公開 | マイナビニュース

2016/11/25 21 users OSS GitHub Japan Yahoo NGT

「Yahoo! JAPAN研究所」 検索ポータルYahoo! JAPANを運営するヤフーは24日、高次元高速検索技術「NGT(Neighborhood Graph and Tree for Indexing)」を開発、オープンソースとして GitHub で公開した。 NGTは、テキストや画像に商品やユーザーデータなど複数の特徴を持つ高次元データを大量のデータベースから高速に検索できる技術で、同社で... 続きを読む

ヤフー、ビッグデータ分析を高速化する検索技術「NGT」をOSSとして公開--特許も無償開放 - CNET Japan

2016/11/24 23 users OSS GitHub IoT NGT ヤフー

ヤフーは24日、高次元データの高速検索技術「NGT（ Neighborhood Graph and Tree for Indexing）」を開発し、オープンソースソフトウェア（OSS）として「GitHub」に公開したと発表した。 NGTは、テキストや画像、商品・ユーザーデータなど、複数の特徴を持つ高次元データを、膨大なデータベースの中から高速に検索する技術。AIやIoTの登場で膨らみ続けるビッグデ... 続きを読む

高次元データの外れ値検出 - sfchaos blog

2014/05/19 40 users library ggplot2 次元 メモ 最小値

高次元データの外れ値検出についてのメモ． 高次元データと次元の呪い次元が大きくなるほど，点の間の距離は均一になっていく． 例として，2000個の点の各座標を一様乱数で発生させて，次元を変えながら点の間の距離の平均値，最大値，最小値，平均値±1σ，平均値±2σをみてみよう． library(ggplot2) set.seed(123) # 次元のリスト dims c(1:9, 10*(1:9), 1... 続きを読む

Locality Sensitive Hashによる類似ベクトル検索を試す - Negative/Positive Thinking

2013/04/30 30 users Negative ハッシュ関数 次元圧縮 ハッシュ値 言語処理

自然言語処理, プログラミングはじめに類似性が高いベクトルのハッシュ値が近い値になるようなハッシュ関数を使って、 類似するものを高速に検索することができるので、それを試してみた。 Locality Sensitive Hash類似するデータが高確率で近い値になる(Locality-Sensitive)ハッシュ関数のこと 高次元データの次元圧縮を行える(P1,P2,r,cr)-sensitiveなH... 続きを読む