似た文書をベクトル検索で探し出したい ~SentenceTransformersとFaissで効率的にベクトル検索~

2024/03/17 63 users 文書 ベクトル検索 ベクトル化 コード 用語説明

はじめに この記事では、ベクトル検索で似た文書を検索するコードを解説します。具体的には、Sentence Transformersライブラリを用いてベクトル化、Faissという近似最近傍探索ライブラリを用いて高速な検索を行います。 用語説明 ベクトル検索 ... 文書の検索にベクトルを使用する方法。例えば、文書に映画に関する内容... 続きを読む

アクセンチュアvs.電通､｢異業種バトル｣の第二幕

2023/10/23 168 users アクセンチュア 縄張り シグナル 電通 コンサル

コンサルの雄がまた一歩、広告会社の縄張りに踏み込んだ。 アクセンチュアは10月2日、広告・PR会社のベクトルから子会社のシグナルを買収した。 シグナルは2005年、ベクトルが手がけるPR案件におけるデジタル対応を目的に設立された。そのため複数のPR子会社を抱えるベクトルグループ内でも、SNSコンサルティングやWeb制... 続きを読む

高次元ベクトルを「矢印」とイメージするのがちょっとしっくりこない理由｜shi3z

2023/06/16 148 users 矢印 shi3z メタファー 足し算 引き算

なぜAIを考える時にベクトルを「矢印」と捉えるべきではないのか。 実際には矢印として考えたほうがいい例外もあります。 たとえば、特徴空間の任意の２点の引き算や足し算をするとき。 矢印のメタファーが使えます。 あるベクトルAから別のベクトルBを引いたベクトルCは、BからAへ伸びる矢印としてイメージするのは大丈... 続きを読む

超名門中学の物理研究部の資料を読んでいたら大学生も太刀打ちできないレベルのことやってた

2023/05/05 186 users 大学生 資料 量子力学 微積 キーチ

ぎーち(ブレイク兄) @BREAK_BROTHER ちょっと待って 昨日行った灘中校の物理研究部の資料を読んでて、 今まで灘はめちゃくちゃ頭良いからクソ難しい微分積分とか解いてるんだろうなぁとか思ってたんだけど、 中学生同士でベクトルやら微積、高校生同士で量子力学や超ひも理論とかを教え合ってたわ 今までの想定の20倍は... 続きを読む

自分のScrapboxをChatGPTにつないだ - 西尾泰和のScrapbox

2023/03/08 280 users Scrapbox OpenAI chatgpt 西尾泰和 文書

ChatGPTに対する質問がこのScrapboxを参照するようにした ScrapboxのデータからOpenAI APIで埋め込みベクトルを作る クエリー文章に関連のある文書をベクトル検索で見つける その文書をChatGPT APIへのプロンプトに埋め込む Scrapboxを参照していない場合 >>> Kozanebaって何？ 回答できません。提供された情報が不十分... 続きを読む

参院選の投票先お前らに委ねた

2022/07/02 129 users 参院選 有権者 お前ら 政党 根拠

どこに投票するべきか具体的な政党とその理由を答えよ 本来1票しかないけど、ここで説得力のある投票先と根拠を示せばお前らの1票は2票以上の価値を持つことになる ええやろ？ 自分で考えろとかいうやつ馬鹿だからな 本来選挙ってのは同じベクトルの要求を持った有権者が組織票を作ることでより影響力を持たせることが出... 続きを読む

弁護士が「エロサイト利用料500万請求されてます」という法律相談で虚無を感じた話→「詐欺は無くならない…」「行動力のベクトルがおかしい」

2022/06/30 241 users 虚無 問答 後日 詐欺 弁護士

ピピピーッ @O59K2dPQH59QEJx 役場相談会でのエロサイト利用料相談など。 ワイ「詐欺です。支払う必要ありません」 相談者「でも不安です」 みたいな問答を100回近く繰り返した末に、後日、相談者から、「合計500万振り込んだ。どうしたら良いか相談したい」みたいな問い合わせがある。 街弁は、虚無だ。 2022-06-29 16:... 続きを読む

婚約したけど、ためらっている

2022/06/27 252 users 晴れ姿 マリッジブルー 彼女 結婚式会場 内容

なんでだろ、マリッジブルーなのかな。 今、結婚式会場をどこにするか、いつにするか、どんな内容にするか、彼女は楽しそうに話している。 別にそれでいい。 結婚式自体は僕もしたいと思っている。 でも、会話していると彼女は自分の晴れ姿にだけにベクトルが向きすぎている気がしないでもない。 なんだろ、それに対する... 続きを読む

セガ、150ページ超の社内向け数学資料を無償公開　「3DCGの技術的基礎に」 - ITmedia NEWS

2021/06/16 1075 users セガ 行列 無償 教材 回転

セガは6月15日、社内勉強会で使った線形代数の教材を、公式ブログで無償公開した。ページ数は150以上。ゲーム開発に必要な3DCGの技術的基礎となる知識を学び直すために使ったものという。 2020年に行った社内勉強会向け教材の一部をPDF形式で公開。全8部構成で、ベクトルや行列、3次元での回転を計算するときに使う「ク... 続きを読む

もう○美屋は不要、麻婆豆腐 - Android版ファイアーエムブレム ヒーローズ報告

2021/03/05 494 users 麻婆豆腐 ちゅ ヒーローズ報告 木綿豆腐 老若男女

世には簡便な調理済食品が溢れているが、どれもコストを抑えて老若男女を意識したようなベクトルの短いものが多くフラストレーションが溜まっていた自身は神戸物産ででかい甜麺醤を買ってきた。買ってきたからには使わなければならない。 ということで「ちゃんとした麻婆豆腐」である。 木綿豆腐 600g 豚挽肉 200g チュ... 続きを読む

訃報 もりしげ先生 | 秋田書店

2020/07/03 223 users 訃報 秋田書店 もりしげ先生 学徒 おしかけメイド

訃報 去る6月30日、もりしげ先生がご逝去されました。 小社においては 「花右京メイド隊」「こいこい7」「学徒のベクトル」「サクラサクラ」 「おしかけメイドの白雪さん」の連載など多数の作品を発表され、 多くの読者の皆様に愛される才能あふれる作家でした。 あらためてその業績を讃え感謝するとともに、心よりご冥... 続きを読む

お金のはなしの心の持ち方について | ヨツピー | note

2019/07/06 247 users ヨッピー anond Note はなし フツー

こんにちは。ヨツピーです。大きい方の「ツ」の者です。 先の記事 anond:20190704095800 はたくさんの人に読んでもらえたようで嬉しかったです。もちろんそれは御本家があってのことではありますが。 御本家ヨッピーさんはもともと「下向きのベクトル」が面白かった方なのに、なにそんな「フツー」のポジションから「ち... 続きを読む

“役立たず”と言われがちの高校数学が思い切り日常に関わっていた！→子どもに学問の必要性は判断できない「大人あるある」「教える側が伝えると良い」 - Togetter

2019/06/14 256 users Togetter 行列 浅知恵 一体 次第

高校生の頃、CGがやりたくなって本屋さんで関連書籍をパラパラめくってたら、これが一体何の役に立つのかと思いながら学校で勉強してた行列やベクトルがガンガン出てきて「こういうことかー！！」と開眼し以来子供の浅知恵で勉強の必要性を判断してはいかんなと思った次第。 続きを読む

ディープラーニングの数学「スカラー・ベクトル・行列・テンソル」とは？

2019/05/22 52 users テンソル スカラー ディープラーニング 数学 行列

ディープラーニングの解説では「スカラー・ベクトル・行列・テンソル」という言葉がよく出てきます。これらは、数値をまとめてあつかうための数学の便利な仕組みなのですが、私をふくめ数学が苦手な方にとっては「〜をベクトルにして」とか「行列とスカラーを計算するには〜」と言われると、おそろしく難解なことに思え... 続きを読む

"ベクトル"が方向という意味だけを持つ日はくるのか？

2019/04/16 139 users 誤用 敷居 方向 意味 認識

個人的に言葉は音が同じでも意味が変わっていくものだと思ってる。 例えば、なし崩しだったり、敷居が高いだったりが挙げられる。 僕がそう思ってきたのは言葉の意味は、それが使われる社会での認識が意味を与えているからだ。 でもそうでもないかもしれない。 ベクトルの誤用が発見されたからだ。 理系にとっては当たり... 続きを読む

主人公が馬鹿すぎる漫画が読めない

2018/10/16 237 users 主人公 漫画 anond ロジカル 浮き沈み

anond:20181016205553 すげぇ分かる。逆のベクトルで分かる。 俺がワールドトリガーが好きな理由は、主人公を含めて主要登場人物が論理的に、頭を使って戦いを展開して、無駄な事、馬鹿気た事、愚かな事は基本的にしないからだと言える。多少の浮き沈みや、大きな失敗があっても、前を見てロジカルに状況に対処し自分を... 続きを読む

機械学習エンジニアとして数学を理解しておきたい！ベクトルや行列を扱う線形代数学を学び直すために：CodeZine（コードジン）

2018/09/04 52 users 本書 エンジニア 数学分野 機械学習 CodeZine

機械学習を支える数学分野の一つ、線形代数学。大学で学んだ覚えのある方もいるかもしれませんが、エンジニアとして仕事をする中で改めて学び直したいと考えることはないでしょうか。そんな方のために、中井悦司さんによる『技術者のための線形代数学』から、本書を通して線形代数学を学び直すためのポイントを紹介しま... 続きを読む

機械学習で使うベクトルや行列の微分を使った公式の導出

2018/08/22 276 users 微分 frac Partial 行列 巻末

はじめに 機械学習の勉強をしていると，次のようなベクトルや行列を使った公式達を使わなければならない場面が出てくると思います．機械学習の本の巻末に書いてあることが多いと思います．(これらはPattern Recognition and Machine Learning (Bishop著, 2006)の巻末に載っている公式です) \frac{\partial}{\partial\bol... 続きを読む

京大「私たちはお土産にどの八ッ橋を買えばよいのか」という超難問を学術研究した結果 - Togetter

2018/06/05 226 users Togetter wp-content 京大 数式 学術

京都の八ツ橋、どこのお店が一番美味しいのか調べてみたら、京都大学工学部が作った 「私たちはお土産にどの八ッ橋を買えばよいのか」 って論文があって、八ツ橋の味を決めるのに、突然謎の数式やベクトルやグラフが出てきて、理系の人たちやばすぎる… ml.ist.i.kyoto-u.ac.jp/wp/wp-content/… pic.twitter.com/8kUM0Lum5f 続きを読む

機械学習をやる上で線形代数のどのような知識が必要になるのか – 原理的には可能 – データ分析界隈の人のブログ、もとい雑記帳

2018/04/14 304 users 線形代数 データ分析界隈 機械学習 もとい雑記帳 知識

TL;DR 「機械学習をやるなら線形代数はやっとけ」的な話が出るけど具体的な話があまり見当たらない 研究でなく実務レベルで機械学習を扱う場合にどのような線形代数の知識が必要になるのか考えてみた 高校でやるベクトル・行列＋αくらいあれば概念的には十分で、計算が苦じゃない基礎体力が重要では？ TL;DR 「機械学習をやるなら線形代数はやっとけ」的な話が出るけど具体的な話があまり見当たらない 研究でなく... 続きを読む

高次元ベクトルデータ検索技術「NGT」のpythonライブラリ公開のお知らせ - Yahoo! JAPAN Tech Blog

2018/02/19 83 users NGT Yahoo 近傍 Python ソフトウェア

はじめに 検索技術の菅原です。 以前にこのTech Blogで紹介された NGT（Neighborhood Graph and Tree） という高速な近傍探索を実現するソフトウエアのpython用インターフェースが公開されました。pythonは機械学習のライブラリが多く公開されており、より手軽にNGTを組み合わせて使うことができるでしょう。 そこで今回はword2vecのベクトルを近傍探索する実... 続きを読む

Pythonで単語分散表現のクラスタリング - 自然言語処理の深遠

2017/11/01 74 users クラスタリング Python 演算 言語処理 単語

2017 - 11 - 01 Pythonで単語分散表現のクラスタリング Python Wikipedia gensim 機械学習 自然言語処理 最近の 自然言語処理 では、単語の分散表現は当たり前のように使われています。 単語分散表現では、各単語が高次元ベクトル空間に配置され、 加減乗除 等の演算を行えるようになります。 これらのベクトルは、意味の近い単語に対しては同じようなベクトルになることが... 続きを読む

建設業界に健全な競争環境を―、3年ぶりの資金調達でシェルフィーが仕掛ける業界革新 | TechCrunch Japan

2017/09/01 76 users ジェネシア・ベンチャーズ 第三者増資 資金調達 引受先 施工主

施工主と施工業者をマッチングするプラットフォームを提供するスタートアップ企業の シェルフィー が、ジェネシア・ベンチャーズ、ベクトル、Skyland Ventures、個人投資家を引受先とする第三者増資により、総額1億円の資金調達を行ったことをTechCrunch Japanへの取材で明らかにした。 1億円の追加資金調達といえば、いまの日本のスタートアップ界では決して大きな金額ではない。資金調達が... 続きを読む

機械学習初心者向け、Word2VecとDoc2Vecでディープラーニングやってみた - paiza開発日誌

2017/03/16 89 users Doc2Vec word2vec ディープラーニング 秋山

2017 - 03 - 16 機械学習初心者向け、Word2VecとDoc2Vecでディープラーニングやってみた 機械学習 秋山です。 機械学習 が人気ですが、「Word2Vec」「Doc2Vec」という、文章などを分析する ニューラルネットワーク モデルを知っていますか？ すごーく簡単に言うと、「Word2Vec」は単語の類似度のベクトル、「Doc2Vec」は文章の類似度のベクトルを表現します。... 続きを読む

Googleが機械学習のためのデータ可視化ツールEmbedding Projectorをオープンソース化 | TechCrunch Japan

2016/12/08 72 users TechCrunch JAPAN 機械学習 Google

今朝、 GoogleはデータビジュアライゼーションツールEmbedding Projectorをオープンソース化すると発表 した。このツールは機械学習の研究者がTensorFlowをインストールして走らせなくとも、データを可視化するためのツールだ。 次元やベクトルといった概念は、誰もが簡単に理解できるものではないだろう。問題は私たちが3次元の世界に生きていることだ。私たちは縦、横、高さがあると知っ... 続きを読む