似た文書をベクトル検索で探し出したい ~SentenceTransformersとFaissで効率的にベクトル検索~

2024/03/17 63 users ベクトル 文書 ベクトル検索 コード 用語説明

はじめに この記事では、ベクトル検索で似た文書を検索するコードを解説します。具体的には、Sentence Transformersライブラリを用いてベクトル化、Faissという近似最近傍探索ライブラリを用いて高速な検索を行います。 用語説明 ベクトル検索 ... 文書の検索にベクトルを使用する方法。例えば、文書に映画に関する内容... 続きを読む

新サービス「Tangolf」をはてラボでリリースしました - Hatelabo Developer Blog

2023/03/27 229 users 単語 https はてラボ ゴルフゲーム 本日

本日、はてなスタッフ id:nakataki による新サービス「Tangolf」をはてラボにリリースしました。読み方は、「たんごるふ」です。 https://tangolf.hatelabo.jp/ Tangolfとは？ Tangolfは、単語をベクトル化し、「意味を足し引き」して遊ぶゴルフゲームです。 表示されるお題に近い意味を持つ「4文字以内の読みの単語」を... 続きを読む

たった一文でPandasのapplyメソッドを高速化する方法（検証計算あり） - Qiita

2019/11/14 147 users Qiita pandas Dask 挙動 各々

以下では、DaskやPandasなどと比較して、swifterがどの程度高速なのかを検証したいと思います。 swifterはベクトル化可能な場合とそうでない場合で挙動が異なるので、各々の場合を検証します。 使用したPCのスペックはIntel Core i5-8350U @1.70GHz、メモリが16GBです。 ベクトル化可能な場合 swifterはベクトル化可能な... 続きを読む

Pythonのfor文は遅い？ - atsuoishimoto's diary

2018/01/06 331 users Python atsuoishimoto's diary

2018 - 01 - 06 Pythonのfor文は遅い？ bicycle1885.hatenablog.com こちらの記事を拝見していて、ちょっと気になったので注釈。 Python やRを使っている人で、ある程度重い計算をする人達には半ば常識になっていることとして、いわゆる「for文を使ってはいけない。ベクトル化*1しろ。」という助言があります。 これは、 Python やRのような インタ... 続きを読む

協調フィルタリングで声優の流行を可視化する - Qiita

2017/12/19 55 users インタラクション Qiita クラスタ 協調フィルタリング

出演者が大勢いる声優イベントに参加すると、当然自分が知らない声優さんもいらっしゃいます。そんな時、出演者の立ち位置や評価を俯瞰できるといいなーと思うことがあったので、簡単に作ってみました。 大体以下のようなテーマで取り組みました。 ある声優がどのようなクラスタに属していて誰に支持されているのかがわかる その声優の流行がわかる 1.は声優とファンのインタラクションを利用して声優をベクトル化できればク... 続きを読む

MeCabをブーストさせよう - Qiita

2017/05/21 173 users Mecab Qiita qiita.com 動機 単語

はじめに MeCabとは日本語の形態素解析器をいいます。ここで、形態素というのは言語で意味を持つ最小単位のことです。分割された単語をベクトル化したり、各語彙の頻度を調べたりするために、最小単位に分割するモチベーションが生じます。 そもそもなぜ、形態素解析なんかやるの？っていう動機については、 http://qiita.com/Hironsan/items/2466fe0f344115aff177 ... 続きを読む

文章をベクトル化して類似文章の検索 - Qiita

2017/02/27 267 users Doc2Vec word2vec Qiita 単語 実装

Doc2Vecで類似文章を検索してみたので、実装を紹介します。 Doc2Vecとは コンピュータが自然言語を処理するためには、まず人間の言葉をコンピュータで扱える値にする必要があります。 単語の意味をベクトル化する手法として Word2Vec が存在します。 詳しくはリンク先がとてもわかりやすいのですが、ざっくり言うと前後n単語のリストでその単語を表現します。 こうすることで、例えば「犬」と「猫」... 続きを読む