Elasticsearchのベクトル検索速度を調べてみた - Taste of Tech Topics

2023/12/19 12 users elasticsearch LLM Rag YAMALEX

この記事は Elastic Stack (Elasticsearch) Advent Calendar 2023 18日目の記事です。 こんにちは。 Acroquestのデータサイエンスチーム「YAMALEX」に所属する@shin0higuchiです😊 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。 さて、最近はLLMの発展に伴ってRAG... 続きを読む

セマンティック検索の活用で、Elasticsearchの検索が根本的に変わる！？ - Taste of Tech Topics

2023/04/14 60 users elasticsearch shin0higuchi 新年

こんにちは、@shin0higuchiです😊 業務では、Elasticsearchに関するコンサルティングを担当しています。 最近すっかり春らしく、暖かくなってきました。 新年を迎えたばかりの感覚でしたが、あっという間に時が経ちますね。 さて、今回の記事では、Elasticsearchの検索を根本的に変える可能性を秘めたセマンティック検索... 続きを読む

noteの検索をCloudsearch からElasticsearchに移行しつつある話｜chov｜note

2023/02/10 17 users 指標 ハッシュタ ドメイン 移行 箇所

記事の概要を3行でまとめ検索システムの移行や導入は組織化しましょう 指標に気を取られすぎないようにしましょう 検索を見ると様々なドメインに触れるので知識が増えてお得 はじめにnote株式会社で検索エンジニアをしているchovです。 早速ですが、noteでは全文検索エンジンを以下の箇所で利用しています。 ハッシュタ... 続きを読む

ZOZOTOWN検索の精度改善の取り組み紹介 - ZOZO TECH BLOG

2023/01/19 26 users ZOZOTOWN検索 ZOZO TECH BLOG 紹介

こんにちは。検索基盤部の山﨑です。検索基盤部では、検索基盤の速度改善やシステム改善だけではなく検索の精度改善にも力を入れて取り組んでいます。 検索システム改善についての過去の取り組み事例は、こちらのリンクをご参照ください。 techblog.zozo.com また、ZOZOTOWNの検索ではElasticsearchを活用しています。El... 続きを読む

ElasticsearchのアーキテクチャとStateless / Serverless

2022/12/09 13 users elasticsearch Stateless

本記事は情報検索・検索技術 Advent Calendar 2022の9日目の記事です。 だいぶ間が空いてしまいましたが、日本語のオートコンプリートに関する記事の続きです。 という感じで、Suggesterのデータ構造とか仕組みを書こうと思っていたのですが、思ったよりも調べないといけないことが多くて挫折しました。。。 （これの続... 続きを読む

【Elasticsearch】1900万点に及ぶ商品データ作成の時間を約67%短縮できた構成と工夫 - MonotaRO Tech Blog

2022/10/18 200 users elasticsearch Solr バックエン 工夫 構成

初めまして、EC基盤グループ サーチチームの壷井です。 モノタロウでは2019年10月頃より新規検索システムの設計・開発を進め、今年の4月頃にECサイト(monotaro.com) 検索ページの裏側の検索システムを従来のSolrからElasticsearchに100%移行*1しました。この移行は将来の商品点数やリクエスト数の増加を見据えたバックエ... 続きを読む

AWSが主導するElasticsearchのフォーク「OpenSearch」にCanonicalが参加へ

2022/08/31 19 users canonical Ubuntu OpenSearch 参加

Linuxの主要なディストリビューションの1つであるUbuntuを開発するCanonicalは、AWSが主導するオープンソースの検索エンジン「OpenSearch」のプロジェクトへの参加を表明しました。 Great open source software is built together with a diverse community of contributors. Canonical, the publisher of #Ubuntu, is p... 続きを読む

ダウンタイムなしでEC2のElasticsearchからマネージドなOpenSearchへと移行した際の工夫

2022/06/28 10 users elasticsearch マネージドサービス AWS ユー

「HRMOS採用」では、採用に関するデータをElasticsearchに保存し検索機能で利用しております。 以前はEC2インスタンスにインストールしたElasticsearchを利用していましたが、スケールやメンテナンスしづらいことからAWSのマネージドサービスであるAmazon OpenSearch Serviceへの移行を行いました。 移行の際には、ユー... 続きを読む

Ubuntu を業務PCで使いつづけて3年が経ちました。 〜Web開発にmacOSじゃなくて大丈夫なのか気になる方へ〜 - Techブログ - MNTSQ, Ltd.

2022/06/13 251 users Ubuntu MNTSQ MacOS モンテスキュー 業務PC

MNTSQ(モンテスキュー)株式会社 ソフトウェアエンジニアの沼井です。 普段はRailsでのバックエンド開発をしつつ、Elasticsearchによる全文検索処理やインデクシングまわりの開発にも取り組んでいます。 私は現在、 Thinkpad X1 Carbon (2021年版)にUbuntu 20.04をインストールして開発を行なっています。MNTSQ社以前の経... 続きを読む

NewsPicksの検索アルゴリズム、変えました - Uzabase for Engineers

2022/04/18 20 users NewsPicks algorithm Data チェ 積極

こんにちは。NewsPicksでエンジニアやっております崔（チェ）です。現在は Data / Algorithm チームで検索エンジン開発を担当しております。弊社は、検索エンジンとして Elasticsearch を Amazon EC2 に乗せて構築しておりますが、メンテナンスに消極的だった部分があり、これからはマネージド化や検索精度向上など積極... 続きを読む

Elastic、AWSとの「Elasticsearch」に関する商標問題が解決したと発表。今後「Elasticsearch」を名乗るのはElasticのみに

2022/02/17 23 users Elastic elasticsearch AWS 訴訟 発表

Elastic、AWSとの「Elasticsearch」に関する商標問題が解決したと発表。今後「Elasticsearch」を名乗るのはElasticのみに Elasticは、Amazon Web Services（AWS）との「Elasticsearch」に関する商標問題の訴訟が解決したと発表しました。 Elastic and @amazon have resolved the Elasticsearch trademark infringement l... 続きを読む

Vimを支える技術: Alacritty, AquaSKK, tmux, Language Server… 高速ウェブ開発の世界

2021/12/18 76 users tmux elasticsearch SAA grpc Far

はじめに これは、ストックマーク Advent Calendar 2021 17日目の記事です。こんにちは、ストックマークでAstrategyというビジネス向けSaaSについて、主にフロントエンドの開発を担当している@tsukkeeです。 Astrategyの技術構成については以前にAstrategyを支える技術: gRPC, Elasticsearch, Cloud TPU, Fargate... Saa... 続きを読む

Elasticsearchで日本語検索を扱うためのマッピング定義 - ZOZO TECH BLOG

2021/11/05 242 users ZOZOTOWN elasticsearch 形態素解析

こんにちは、検索基盤部 検索基盤ブロックの渡です。私は検索基盤ブロックで、主にZOZOTOWNの検索周りのシステム開発に従事しています。 以前の記事では、Elasticsearchのマッピング設定の最適化について取り上げました。そして、今回は日本語による形態素解析を実現するまでの手順をご紹介します。 techblog.zozo.com ... 続きを読む

「Amazon Elasticsearch Service」の名称が「Amazon OpenSearch Service」に変更。ElasticsearchからフォークしたOpenSearchも採用 － Publickey

2021/09/09 10 users Publickey elasticsearch AWS 名称

「Amazon Elasticsearch Service」の名称が「Amazon OpenSearch Service」に変更。ElasticsearchからフォークしたOpenSearchも採用 Amazon Web Services（AWS）は、クラウドサービスとして提供しているAmazon Elasticsearch Serviceの名称を「Amazon OpenSearch Service」へ変更することを発表しました。 同時に、Elasti... 続きを読む

AWSによる「タダ乗り」へのオープンソースコミュニティの対抗策 - GIGAZINE

2021/08/10 12 users GIGAZINE elasticsearch AWS 対抗策

Amazon Web Services(AWS)がオープンソースの分析エンジン「Elasticsearch」を利用した製品「Amazon Elasticsearch Service(Amazon ES)」の商標登録を行ったことへの対抗策として、Elasticsearchは2021年1月にライセンスが変更されました。AWSはライセンスが変更される前にフォーク版を作成することで事態への対応を試み... 続きを読む

検索基盤を安全にElasticsearchに置き換えるためにやったこと - Speaker Deck

2021/05/15 11 users elasticsearch Feature Toggle

Transcript Hiroki Sakamoto
 @taisho6339 ݕࡧج൫Λ҆શʹ
 Elasticsearchʹஔ͖׵͑ΔͨΊʹ΍ͬͨ͜ͱ ຊࢿྉͰऔΓ্͛Δ಺༰ DBݕࡧ͔ΒElasticsearchʹ҆શʹஔ͖׵͑Δͱ͖ʹɺ μʔΫϩʔϯν΍FeatureToggleΛ׆༻ͯ҆͠શʹϦϦʔεͨ͠஌ݟ 
 https://www.elastic.co/jp/ ຊࢿྉͰड़΂ͳ͍͜ͱ • ESͷجૅతͳ෦෼ • ESͷΠϯσοΫεɺΫϥελઃܭ • ΠϯσΫγϯά΍ݕࡧͷࡉ͔͍࣮૷ʹ͍ͭͯ • Feature Toggleͷ۩ମతͳ࣮૷ʹ͍ͭͯ ࣮ࢪͨ͠αʔϏεཁ݅ • Ϣʔβ਺100ສਓҎ಺ఔ౓ͷձһ੍SNSαʔϏε • Ϣʔβͷݕࡧػೳ͕͋Δ • ଐੑ஋(ੑ... 続きを読む

Astrategyを支える技術: gRPC, Elasticsearch, Cloud TPU, Fargate... SaaS型AIサービスの内側の世界 - Stockmark Tech Blog

2021/05/10 11 users elasticsearch grpc Astrategy

ストックマークでは、法人ユーザー向けの「Astrategy」というウェブサービスを開発、提供しています。 本エントリでは、Astrategyで使われている技術やシステム構成をご紹介したいと思います。 Astrategyとは Astrategyとは、AIがウェブニュースを解析してあらゆる市場の動向やトレンド、有力企業の経済活動を可視化し、... 続きを読む

「ホットペッパービューティー」美容クリニックでのElasticsearchのユーザー辞書登録による検索改善 - Tech Blog - Recruit Engineer

2021/04/22 18 users 形態素解析器 全文検索エンジン elasticsearch

はじめに 『ホットペッパービューティー』美容クリニックのカウンセリング予約サービス(以降、美容クリニック)のバックエンドを担当している安達です。 本記事では、美容クリニックでの全文検索エンジンの利用と形態素解析器でのユーザー辞書登録の取り組みについて紹介します。 美容クリニックでの検索機能の技術スタッ... 続きを読む

AWS、ElasticsearchとKibanaのフォークによる「OpenSearch」プロジェクトを発表。Elasticとの溝は埋まらないまま － Publickey

2021/04/12 165 users Elastic Publickey Intr Kibana

AWS、ElasticsearchとKibanaのフォークによる「OpenSearch」プロジェクトを発表。Elasticとの溝は埋まらないまま AWSは、オープンソースの検索エンジンと可視化ツールの「OpenSearch」プロジェクトを発表しました。これは検索エンジンおよび可視化ツールとして人気のElasticSearchとKibanaをフォークしたものです。 Intr... 続きを読む

AWS、商用サービス化を制限するライセンス変更に対抗し「Elasticsearch」をフォーク、独自のオープンソース版へ － Publickey

2021/01/24 93 users Publickey elasticsearch AWS

AWS、商用サービス化を制限するライセンス変更に対抗し「Elasticsearch」をフォーク、独自のオープンソース版へ AWSは、オープンソースで開発されている検索エンジン「Elaticsearch」とデータの可視化ツール「Kibana」をフォークし、独自ディストリビューションを作成すると発表しました（AWS日本語ブログ）。 We are co... 続きを読む

Elastic 社による Elasticsearch および Kibana のライセンス変更にともなう AWS の対応方針のご案内 | Amazon Web Services ブログ

2021/01/22 244 users elasticsearch Kibana AWS アナウンス

Amazon Web Services ブログ Elastic 社による Elasticsearch および Kibana のライセンス変更にともなう AWS の対応方針のご案内 先週、Elastic 社が Elasticsearch および Kibana のライセンス変更に関するアナウンスを実施しました。これによりバージョン 7.11 以降の Elasticsearch と Kibana は、Apache License, V... 続きを読む

AWSをElasticが名指しで非難。ElasticsearchとKibanaのライセンスを、AWSが勝手にマネージドサービスで提供できないように変更へ － Publickey

2021/01/20 228 users Elastic Publickey Kibana AWS 非難

AWSをElasticが名指しで非難。ElasticsearchとKibanaのライセンスを、AWSが勝手にマネージドサービスで提供できないように変更へ オランダに本社を置くElasticは、オープンソースで開発してきたElasticとKibanaのライセンスをそれまでのApache License 2.0から、商用サービス化を制限する「Server Side Public License」... 続きを読む

ElasticsearchとKibela APIを使ってSlackでのCSお問い合わせ対応業務を改善した話 - BASEプロダクトチームブログ

2020/12/11 18 users elasticsearch Slack

この記事はBASE Advent Calendar 2020の11日目の記事です。 devblog.thebase.in BASE株式会社 Data Strategy チームの@tawamuraです。 BASEではオーナーの皆様や購入者様のお問い合わせに対して、Customer Supportチームが主となって対応をしています。その中でもいくつかの技術的なお問い合わせに対しては、以下のよう... 続きを読む

ZOZOTOWNにおける検索速度改善までの道のり - ZOZO Technologies TECH BLOG

2020/08/20 26 users ZOZOTOWN elasticsearch 有村 道のり

こんにちは。ZOZOテクノロジーズZOZOTOWN部 検索チーム 兼 ECプラットフォーム部 検索基盤チームの有村です。 ZOZOTOWNでは先日公開した記事の通り、すべての検索をElasticsearchへ置き換えました。置き換え直後は順調に見えたのですが、実際に数%ずつリリースしていく中で一部時間帯、一部リクエストでレスポンス速度の... 続きを読む

ZOZOTOWNの検索基盤におけるElasticsearch移行で得た知見 - ZOZO Technologies TECH BLOG

2020/06/22 193 users ZOZOTOWN elasticsearch RDB 知見

こんにちは。ZOZOテクノロジーズZOZOTOWN部 検索チーム 兼 ECプラットフォーム部 検索基盤チームの有村です。 ZOZOTOWNでは、以前からキーワード検索時にはRDBと併用してElasticsearchを使用していました。本記事ではこれまでRDBで行っていたIDによる索引検索も含め、すべての検索をElasticsearchへ置き換えた事例と、そ... 続きを読む