似た文書をベクトル検索で探し出したい ~SentenceTransformersとFaissで効率的にベクトル検索~

2024/03/17 63 users 文書 ベクトル検索 ベクトル化 コード 用語説明

はじめに この記事では、ベクトル検索で似た文書を検索するコードを解説します。具体的には、Sentence Transformersライブラリを用いてベクトル化、Faissという近似最近傍探索ライブラリを用いて高速な検索を行います。 用語説明 ベクトル検索 ... 文書の検索にベクトルを使用する方法。例えば、文書に映画に関する内容... 続きを読む

アクセンチュアvs.電通､｢異業種バトル｣の第二幕

2023/10/23 168 users アクセンチュア 縄張り シグナル 電通 コンサル

コンサルの雄がまた一歩、広告会社の縄張りに踏み込んだ。 アクセンチュアは10月2日、広告・PR会社のベクトルから子会社のシグナルを買収した。 シグナルは2005年、ベクトルが手がけるPR案件におけるデジタル対応を目的に設立された。そのため複数のPR子会社を抱えるベクトルグループ内でも、SNSコンサルティングやWeb制... 続きを読む

OpenAIのEmbeddings APIを使って文の意味上の類似度を計算

2023/06/22 14 users OpenAI Bert chatgpt 類似度 計算

はじめに おはようございます。こんにちは。こんばんは。 GMOアドマーケティングのY-Kです。 前にBERTを使って文をベクトルに変換してからなんやかんやする記事を書いてから約半年が経過したのですが、その間にChatGPTが大きく流行り、言語生成系AIに大きな風が吹きました。 というわけで今回は、OpenAIのEmbeddings API... 続きを読む

高次元ベクトルを「矢印」とイメージするのがちょっとしっくりこない理由｜shi3z

2023/06/16 148 users 矢印 shi3z メタファー 足し算 引き算

なぜAIを考える時にベクトルを「矢印」と捉えるべきではないのか。 実際には矢印として考えたほうがいい例外もあります。 たとえば、特徴空間の任意の２点の引き算や足し算をするとき。 矢印のメタファーが使えます。 あるベクトルAから別のベクトルBを引いたベクトルCは、BからAへ伸びる矢印としてイメージするのは大丈... 続きを読む

超名門中学の物理研究部の資料を読んでいたら大学生も太刀打ちできないレベルのことやってた

2023/05/05 186 users 大学生 資料 量子力学 微積 キーチ

ぎーち(ブレイク兄) @BREAK_BROTHER ちょっと待って 昨日行った灘中校の物理研究部の資料を読んでて、 今まで灘はめちゃくちゃ頭良いからクソ難しい微分積分とか解いてるんだろうなぁとか思ってたんだけど、 中学生同士でベクトルやら微積、高校生同士で量子力学や超ひも理論とかを教え合ってたわ 今までの想定の20倍は... 続きを読む

「ラノベ属性山盛りすぎだろ」軍服を身にまとった世界の王族の画像を検索するとヨルダン国王だけ想定とベクトルが違いすぎる件

2023/04/22 20 users 軍服 王族 ヨルダン国王 pic.twitter.com 現象

けるちゃ @kerutya 軍服を身にまとった世界の王族の画像を検索するとき、ヨルダン国王のアブドラ2世だけ想定していたものとベクトルの異なる画像がゴロゴロ出てくる現象 pic.twitter.com/3ODDfPpRDk 2023-04-21 22:51:31 続きを読む

自分のScrapboxをChatGPTにつないだ - 西尾泰和のScrapbox

2023/03/08 280 users Scrapbox OpenAI chatgpt 西尾泰和 文書

ChatGPTに対する質問がこのScrapboxを参照するようにした ScrapboxのデータからOpenAI APIで埋め込みベクトルを作る クエリー文章に関連のある文書をベクトル検索で見つける その文書をChatGPT APIへのプロンプトに埋め込む Scrapboxを参照していない場合 >>> Kozanebaって何？ 回答できません。提供された情報が不十分... 続きを読む

[WebUI] Stable DiffusionベースモデルのCLIPの重みを良いやつに変更する

2022/11/29 10 users 前置き WebUI テキスト 基盤モデル 画像生成

簡単な記事なので前置きは省略します。 CLIPについて Stable Diffusionベースのモデルは、画像生成に際してテキストで条件づけを行う（a.k.a. txt2img）場合、CLIPという基盤モデルでテキストをベクトルに変換し、生成処理に渡しています。 つまり、入力したテキストをいかに的確に生成処理のモデルに伝えられるのかはCL... 続きを読む

イラスト生成AIに対するよくある誤解 - Qiita

2022/10/16 12 users Qiita Problem 誤解 イラスト生成AI 目次

Help us understand the problem. What are the problem? イラスト生成AIに対するよくある誤解 目次 イラスト生成AIに対するよくある誤解 目次 はじめに 注意事項 AIは既存のイラストを切り貼りしている/コラージュしている 解説 ベクトルについて 厳密には「切り貼り」も間違いではない AIのイラストは既存のイラストの... 続きを読む

古着通販「ベクトルパーク」に不正アクセス　1万8136人分のカード情報やセキュリティコードが漏えいか

2022/08/18 13 users セキュリティコード 漏えい 第三者 岡山県岡山市 不正アクセス

古着通販サイト「ベクトルパーク」を運営するベクトルは、同サイトが第三者による不正アクセスを受け、顧客1万8136人分のクレジットカード情報が漏えいした可能性があると発表した。 古着通販サイト「ベクトルパーク」を運営するベクトル（岡山県岡山市）は8月18日、同サイトが第三者による不正アクセスを受け、顧客1万8... 続きを読む

参院選の投票先お前らに委ねた

2022/07/02 129 users 参院選 有権者 お前ら 政党 根拠

どこに投票するべきか具体的な政党とその理由を答えよ 本来1票しかないけど、ここで説得力のある投票先と根拠を示せばお前らの1票は2票以上の価値を持つことになる ええやろ？ 自分で考えろとかいうやつ馬鹿だからな 本来選挙ってのは同じベクトルの要求を持った有権者が組織票を作ることでより影響力を持たせることが出... 続きを読む

弁護士が「エロサイト利用料500万請求されてます」という法律相談で虚無を感じた話→「詐欺は無くならない…」「行動力のベクトルがおかしい」

2022/06/30 241 users 虚無 問答 後日 詐欺 弁護士

ピピピーッ @O59K2dPQH59QEJx 役場相談会でのエロサイト利用料相談など。 ワイ「詐欺です。支払う必要ありません」 相談者「でも不安です」 みたいな問答を100回近く繰り返した末に、後日、相談者から、「合計500万振り込んだ。どうしたら良いか相談したい」みたいな問い合わせがある。 街弁は、虚無だ。 2022-06-29 16:... 続きを読む

婚約したけど、ためらっている

2022/06/27 252 users 晴れ姿 マリッジブルー 彼女 結婚式会場 内容

なんでだろ、マリッジブルーなのかな。 今、結婚式会場をどこにするか、いつにするか、どんな内容にするか、彼女は楽しそうに話している。 別にそれでいい。 結婚式自体は僕もしたいと思っている。 でも、会話していると彼女は自分の晴れ姿にだけにベクトルが向きすぎている気がしないでもない。 なんだろ、それに対する... 続きを読む

決定係数について - Qiita

2022/01/28 16 users Qiita Nospare パラメータ 線形回帰モデル 行列

はじめに 千葉大学/Nospareの米倉です．今回は決定係数について解説したいと思います． 決定係数とは まずは次のような線形回帰モデルを考えます， $$y=X\beta+\epsilon.$$ ここで$y,X,\beta$はそれぞれ，$n$次元の被説明変数のベクトル，$X$は説明変数ベクトルからなる$n\times d$の行列，$\beta$は$d$次元のパラメータ... 続きを読む

セガ、150ページ超の社内向け数学資料を無償公開　「3DCGの技術的基礎に」 - ITmedia NEWS

2021/06/16 1075 users セガ 行列 無償 教材 回転

セガは6月15日、社内勉強会で使った線形代数の教材を、公式ブログで無償公開した。ページ数は150以上。ゲーム開発に必要な3DCGの技術的基礎となる知識を学び直すために使ったものという。 2020年に行った社内勉強会向け教材の一部をPDF形式で公開。全8部構成で、ベクトルや行列、3次元での回転を計算するときに使う「ク... 続きを読む

ツイッターの登場で激変した　新聞と読者の関係：朝日新聞デジタル

2021/06/12 29 users 朝日新聞デジタル ツイッター 新聞 読者 登場

メディア空間考　三橋麻子（コンテンツエディター）　朝日新聞が発行され、100年以上になる。投稿欄などの例外はあるとはいえ、大きな流れでいえば、新聞は長らく、記者が書いて、編集者が組み、読者が読むものだった。ところが、この20年あまり、ベクトルは大きく変わっている。新聞社→読者の矢印は、双方向にかじを切... 続きを読む

もう○美屋は不要、麻婆豆腐 - Android版ファイアーエムブレム ヒーローズ報告

2021/03/05 494 users 麻婆豆腐 ちゅ ヒーローズ報告 木綿豆腐 老若男女

世には簡便な調理済食品が溢れているが、どれもコストを抑えて老若男女を意識したようなベクトルの短いものが多くフラストレーションが溜まっていた自身は神戸物産ででかい甜麺醤を買ってきた。買ってきたからには使わなければならない。 ということで「ちゃんとした麻婆豆腐」である。 木綿豆腐 600g 豚挽肉 200g チュ... 続きを読む

訃報 もりしげ先生 | 秋田書店

2020/07/03 223 users 訃報 秋田書店 もりしげ先生 学徒 おしかけメイド

訃報 去る6月30日、もりしげ先生がご逝去されました。 小社においては 「花右京メイド隊」「こいこい7」「学徒のベクトル」「サクラサクラ」 「おしかけメイドの白雪さん」の連載など多数の作品を発表され、 多くの読者の皆様に愛される才能あふれる作家でした。 あらためてその業績を讃え感謝するとともに、心よりご冥... 続きを読む

統計学に出てくる記号の読み方 | 3分ニュース: にゃんぷん

2020/06/13 14 users 記号 統計学 ニアリーイコール 読み方 イータ

統計学に出てくる記号の読み方 記号 読み方 メモ ∇ ナブラ 偏微分を並べたベクトル η イータ Hのラテン語表記 ≈ ニアリーイコール ≒と同じ ≡ 合同 左辺と右辺が同一の場合に使う =は特定の変数のときに成り立つとき ≡はどの変数に対しても常に成り立つとき 恒等式 ∂ デル、ラウンドデルタ 偏微分 続きを読む

検察は「厳正公平」という幻想　　民意とＯＢ意見のベクトルは異なる　検察庁法改正問題（上） ｜ 47NEWS

2020/05/21 11 users 民意 検察 幻想 検察庁法改正問題 47NEWS

本州の北辺・下北半島で育ちました。子どもや若者のこと、生きもの（動物園・水族館）について長く取材してきました。なので、軽視されたり無視されたりしがちな存在、人権のないものへの共感も少しはあります。 佐々木央の記事一覧を見る 政府の判断で検察幹部の定年延長を可能にする検察庁法改正案は、今国会での成立... 続きを読む

ASCII.jp：「iPhone 11に驚きがない」と言う前にアップル最大の戦略を見よ (1/3)｜iPhone 11、ASCII徹底大特集！

2019/09/13 22 users ASCII.jp ASCII徹底大特集 戦略 クパチーノ 去年

9月10日（米国時間）、アメリカ・カルフォルニア州、クパチーノにある本社内「スティーブ・ジョブズシアター」で開催されたスペシャルイベントの後に披露された「iPhone 11」 「iPhone 11」のコスパの良さが目立つ 「ああ、テクノロジーとしてのベクトルは去年と同じでも、メッセージングは変えてきたんだな」――今年のiP... 続きを読む

お金のはなしの心の持ち方について | ヨツピー | note

2019/07/06 247 users ヨッピー anond Note はなし フツー

こんにちは。ヨツピーです。大きい方の「ツ」の者です。 先の記事 anond:20190704095800 はたくさんの人に読んでもらえたようで嬉しかったです。もちろんそれは御本家があってのことではありますが。 御本家ヨッピーさんはもともと「下向きのベクトル」が面白かった方なのに、なにそんな「フツー」のポジションから「ち... 続きを読む

“役立たず”と言われがちの高校数学が思い切り日常に関わっていた！→子どもに学問の必要性は判断できない「大人あるある」「教える側が伝えると良い」 - Togetter

2019/06/14 256 users Togetter 行列 浅知恵 一体 次第

高校生の頃、CGがやりたくなって本屋さんで関連書籍をパラパラめくってたら、これが一体何の役に立つのかと思いながら学校で勉強してた行列やベクトルがガンガン出てきて「こういうことかー！！」と開眼し以来子供の浅知恵で勉強の必要性を判断してはいかんなと思った次第。 続きを読む

高次元ベクトルデータの近傍検索を「NGT」で試してみる - 元RX-7乗りの適当な日々

2019/05/27 13 users NGT 元RX-7乗り 多次元 サンプル 高次元

三国志のゲームの武将データを（サンプルに）使った近傍検索を、検索ライブラリ「NGT」を使って、試してみた話です。 ひょんなことから、久しぶりに高次元（多次元）ベクトルのデータを扱うことになりました。（もとい仕事で扱うことにしました。） というのも、15年以上前の話ですが、私、学生の頃は情報検索に関する研... 続きを読む

ディープラーニングの数学「スカラー・ベクトル・行列・テンソル」とは？

2019/05/22 52 users テンソル スカラー ディープラーニング 数学 行列

ディープラーニングの解説では「スカラー・ベクトル・行列・テンソル」という言葉がよく出てきます。これらは、数値をまとめてあつかうための数学の便利な仕組みなのですが、私をふくめ数学が苦手な方にとっては「〜をベクトルにして」とか「行列とスカラーを計算するには〜」と言われると、おそろしく難解なことに思え... 続きを読む