ElasticsearchでLIKE検索のような部分一致検索を高速に実現する方法 - Taste of Tech Topics

2024/12/11 50 users Qiita RDB PostgreSQL MySQL 課題

この記事は Elastic Stack (Elasticsearch) - Qiita Advent Calendar 2024 - Qiitaの11日目の記事です。 はじめまして。テクニカルコンサルタントの江見と申します。 普段はElasticsearchに関するコンサルティング業務に携わっております。 業務の中で、RDB（MySQLやPostgreSQLなど）の検索機能に関する課題として、「LI... 続きを読む

「お前の口調、角が立ってて相手からみたら不快だから治せ」的な指摘は、東大、東工大院卒の新人なら半数くらいは言われる→社会は正論で殴りあってはいけない

2024/11/25 311 users 正論 口調 半数 東大 指摘

ナシェモン @nassyemon 最近はBigQueryばかり書いてます。プロマネもやってますが、本業はエンジニアです。 React/node.js/flask/AWS+terraform+serverless/BQ/elasticsearch スクール→weblab.t.u-tokyo.ac.j ナシェモン @nassyemon 「お前の口調、角が立ってて相手からみたら不快だから治せ」の趣旨の指摘は、東大、東... 続きを読む

求人検索をElasticsearchにしたら 速度２倍速くなった！！

2024/09/30 26 users 速度2倍 求人検索

RDBが頑張っていた Web API 検索 RDB RDB RDB RDB RDB RDB RDB Reader Writer 900万人 検索 うおおおお！！ 複 製 登 録 29.7万拠点 400-600ms 上昇トレンド RDB クラスタ 続きを読む

pixivの全文検索基盤とElasticsearchによるリプレイス - pixiv inside

2024/08/26 140 users pixiv リプレイス pixiv inside 基盤 従来

まもなく17周年を迎えるpixivでは、長年にわたり作品などの全文検索基盤としてApache Solrを使用してきました。 しかし、サービスの規模が拡大する中で、従来の基盤に問題が生じていました。これを受けて、pixivでは全文検索基盤のリプレイスを実行しました。 今回のリプレイスにより、pixivでは検索結果の更新反映時間... 続きを読む

AWSでElasticsearch(Elastic Cloud)を使う時のポイント 2024年版（運用編２） - Taste of Tech Topics

2024/08/01 14 users ノムラ AWS Elastic社 Elastic Cloud

こんにちは、Elastic認定資格３種(※)を保持しているノムラです。 ※Elastic社の公式認定資格（Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer） こちらはAWS編の記事になります。 AWSでElasticsearch(Elastic Cloud)を使う時のポイントの記事一覧は以下です。 ①構... 続きを読む

AzureでElasticsearch(Elastic Cloud)を使う時のポイント 2024年版（運用編１） - Taste of Tech Topics

2024/07/26 10 users Azure ノムラ Elastic社 運用編 公式認定資格

こんにちは、Elastic認定資格３種(※)を保持しているノムラです。 ※Elastic社の公式認定資格（Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer） こちらはAzure編の記事になります。 AzureでElasticsearch(Elastic Cloud)を使う時のポイントの記事一覧は以下です。 ... 続きを読む

AWSでElasticsearch(Elastic Cloud)を使う時のポイント 2024年版（運用編1） - Taste of Tech Topics

2024/07/12 20 users ノムラ Elastic社 AWS Elastic Cloud

こんにちは、Elastic認定資格３種(※)を保持しているノムラです。 ※Elastic社の公式認定資格（Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer） こちらはAWS編の記事になります。 以下の構築編の記事でElastic Cloudを構築し、Security設定／認証設定を実施しまし... 続きを読む

ElasticsearchによるZOZOTOWNへのベクトル検索の導入検討とその課題 - ZOZO TECH BLOG

2024/06/12 19 users ZOZOTOWN techblog.zozo.com 課題

こんにちは。検索基盤部の橘です。ZOZOTOWNでは、商品検索エンジンとしてElasticsearchを利用し、大規模なデータに対して高速な全文検索を実現しています。 Elasticsearchに関する取り組みは以下の記事をご覧ください。 techblog.zozo.com 検索基盤部では、ZOZOTOWNの検索結果の品質向上を目指し、新しい検索手法の導入... 続きを読む

Elasticsearchのベクトル検索速度を調べてみた - Taste of Tech Topics

2023/12/19 12 users LLM Rag Acroquest YAMALEX 発展

この記事は Elastic Stack (Elasticsearch) Advent Calendar 2023 18日目の記事です。 こんにちは。 Acroquestのデータサイエンスチーム「YAMALEX」に所属する@shin0higuchiです😊 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。 さて、最近はLLMの発展に伴ってRAG... 続きを読む

セマンティック検索の活用で、Elasticsearchの検索が根本的に変わる！？ - Taste of Tech Topics

2023/04/14 60 users shin0higuchi セマンティック検索 あっという間

こんにちは、@shin0higuchiです😊 業務では、Elasticsearchに関するコンサルティングを担当しています。 最近すっかり春らしく、暖かくなってきました。 新年を迎えたばかりの感覚でしたが、あっという間に時が経ちますね。 さて、今回の記事では、Elasticsearchの検索を根本的に変える可能性を秘めたセマンティック検索... 続きを読む

noteの検索をCloudsearch からElasticsearchに移行しつつある話｜chov｜note

2023/02/10 17 users 指標 ハッシュタ ドメイン 移行 箇所

記事の概要を3行でまとめ検索システムの移行や導入は組織化しましょう 指標に気を取られすぎないようにしましょう 検索を見ると様々なドメインに触れるので知識が増えてお得 はじめにnote株式会社で検索エンジニアをしているchovです。 早速ですが、noteでは全文検索エンジンを以下の箇所で利用しています。 ハッシュタ... 続きを読む

ZOZOTOWN検索の精度改善の取り組み紹介 - ZOZO TECH BLOG

2023/01/19 26 users ZOZOTOWN検索 ZOZO TECH BLOG 紹介

こんにちは。検索基盤部の山﨑です。検索基盤部では、検索基盤の速度改善やシステム改善だけではなく検索の精度改善にも力を入れて取り組んでいます。 検索システム改善についての過去の取り組み事例は、こちらのリンクをご参照ください。 techblog.zozo.com また、ZOZOTOWNの検索ではElasticsearchを活用しています。El... 続きを読む

ElasticsearchのアーキテクチャとStateless / Serverless

2022/12/09 13 users Stateless serverless アーキテクチャ

本記事は情報検索・検索技術 Advent Calendar 2022の9日目の記事です。 だいぶ間が空いてしまいましたが、日本語のオートコンプリートに関する記事の続きです。 という感じで、Suggesterのデータ構造とか仕組みを書こうと思っていたのですが、思ったよりも調べないといけないことが多くて挫折しました。。。 （これの続... 続きを読む

【Elasticsearch】1900万点に及ぶ商品データ作成の時間を約67%短縮できた構成と工夫 - MonotaRO Tech Blog

2022/10/18 200 users Solr バックエン 工夫 構成 移行

初めまして、EC基盤グループ サーチチームの壷井です。 モノタロウでは2019年10月頃より新規検索システムの設計・開発を進め、今年の4月頃にECサイト(monotaro.com) 検索ページの裏側の検索システムを従来のSolrからElasticsearchに100%移行*1しました。この移行は将来の商品点数やリクエスト数の増加を見据えたバックエ... 続きを読む

AWSが主導するElasticsearchのフォーク「OpenSearch」にCanonicalが参加へ

2022/08/31 19 users canonical Ubuntu OpenSearch 参加

Linuxの主要なディストリビューションの1つであるUbuntuを開発するCanonicalは、AWSが主導するオープンソースの検索エンジン「OpenSearch」のプロジェクトへの参加を表明しました。 Great open source software is built together with a diverse community of contributors. Canonical, the publisher of #Ubuntu, is p... 続きを読む

ダウンタイムなしでEC2のElasticsearchからマネージドなOpenSearchへと移行した際の工夫

2022/06/28 10 users マネージドサービス AWS スケール ユー 移行

「HRMOS採用」では、採用に関するデータをElasticsearchに保存し検索機能で利用しております。 以前はEC2インスタンスにインストールしたElasticsearchを利用していましたが、スケールやメンテナンスしづらいことからAWSのマネージドサービスであるAmazon OpenSearch Serviceへの移行を行いました。 移行の際には、ユー... 続きを読む

Ubuntu を業務PCで使いつづけて3年が経ちました。 〜Web開発にmacOSじゃなくて大丈夫なのか気になる方へ〜 - Techブログ - MNTSQ, Ltd.

2022/06/13 251 users Ubuntu MNTSQ MacOS モンテスキュー 業務PC

MNTSQ(モンテスキュー)株式会社 ソフトウェアエンジニアの沼井です。 普段はRailsでのバックエンド開発をしつつ、Elasticsearchによる全文検索処理やインデクシングまわりの開発にも取り組んでいます。 私は現在、 Thinkpad X1 Carbon (2021年版)にUbuntu 20.04をインストールして開発を行なっています。MNTSQ社以前の経... 続きを読む

NewsPicksの検索アルゴリズム、変えました - Uzabase for Engineers

2022/04/18 20 users NewsPicks algorithm Data チェ 積極

こんにちは。NewsPicksでエンジニアやっております崔（チェ）です。現在は Data / Algorithm チームで検索エンジン開発を担当しております。弊社は、検索エンジンとして Elasticsearch を Amazon EC2 に乗せて構築しておりますが、メンテナンスに消極的だった部分があり、これからはマネージド化や検索精度向上など積極... 続きを読む

Elastic、AWSとの「Elasticsearch」に関する商標問題が解決したと発表。今後「Elasticsearch」を名乗るのはElasticのみに

2022/02/17 23 users Elastic AWS 訴訟 商標問題 発表

Elastic、AWSとの「Elasticsearch」に関する商標問題が解決したと発表。今後「Elasticsearch」を名乗るのはElasticのみに Elasticは、Amazon Web Services（AWS）との「Elasticsearch」に関する商標問題の訴訟が解決したと発表しました。 Elastic and @amazon have resolved the Elasticsearch trademark infringement l... 続きを読む

Vimを支える技術: Alacritty, AquaSKK, tmux, Language Server… 高速ウェブ開発の世界

2021/12/18 76 users tmux SAA grpc Astrategy Far

はじめに これは、ストックマーク Advent Calendar 2021 17日目の記事です。こんにちは、ストックマークでAstrategyというビジネス向けSaaSについて、主にフロントエンドの開発を担当している@tsukkeeです。 Astrategyの技術構成については以前にAstrategyを支える技術: gRPC, Elasticsearch, Cloud TPU, Fargate... Saa... 続きを読む

Elasticsearchで日本語検索を扱うためのマッピング定義 - ZOZO TECH BLOG

2021/11/05 242 users ZOZOTOWN techblog.zozo.com 手順

こんにちは、検索基盤部 検索基盤ブロックの渡です。私は検索基盤ブロックで、主にZOZOTOWNの検索周りのシステム開発に従事しています。 以前の記事では、Elasticsearchのマッピング設定の最適化について取り上げました。そして、今回は日本語による形態素解析を実現するまでの手順をご紹介します。 techblog.zozo.com ... 続きを読む

「Amazon Elasticsearch Service」の名称が「Amazon OpenSearch Service」に変更。ElasticsearchからフォークしたOpenSearchも採用 － Publickey

2021/09/09 10 users Publickey OpenSearch AWS 名称 採用

「Amazon Elasticsearch Service」の名称が「Amazon OpenSearch Service」に変更。ElasticsearchからフォークしたOpenSearchも採用 Amazon Web Services（AWS）は、クラウドサービスとして提供しているAmazon Elasticsearch Serviceの名称を「Amazon OpenSearch Service」へ変更することを発表しました。 同時に、Elasti... 続きを読む

AWSによる「タダ乗り」へのオープンソースコミュニティの対抗策 - GIGAZINE

2021/08/10 12 users GIGAZINE AWS ライセンス 対抗策 事態

Amazon Web Services(AWS)がオープンソースの分析エンジン「Elasticsearch」を利用した製品「Amazon Elasticsearch Service(Amazon ES)」の商標登録を行ったことへの対抗策として、Elasticsearchは2021年1月にライセンスが変更されました。AWSはライセンスが変更される前にフォーク版を作成することで事態への対応を試み... 続きを読む

検索基盤を安全にElasticsearchに置き換えるためにやったこと - Speaker Deck

2021/05/15 11 users Feature Toggle Speaker Deck

Transcript Hiroki Sakamoto
 @taisho6339 ݕࡧج൫Λ҆શʹ
 Elasticsearchʹஔ͖׵͑ΔͨΊʹ΍ͬͨ͜ͱ ຊࢿྉͰऔΓ্͛Δ಺༰ DBݕࡧ͔ΒElasticsearchʹ҆શʹஔ͖׵͑Δͱ͖ʹɺ μʔΫϩʔϯν΍FeatureToggleΛ׆༻ͯ҆͠શʹϦϦʔεͨ͠஌ݟ 
 https://www.elastic.co/jp/ ຊࢿྉͰड़΂ͳ͍͜ͱ • ESͷجૅతͳ෦෼ • ESͷΠϯσοΫεɺΫϥελઃܭ • ΠϯσΫγϯά΍ݕࡧͷࡉ͔͍࣮૷ʹ͍ͭͯ • Feature Toggleͷ۩ମతͳ࣮૷ʹ͍ͭͯ ࣮ࢪͨ͠αʔϏεཁ݅ • Ϣʔβ਺100ສਓҎ಺ఔ౓ͷձһ੍SNSαʔϏε • Ϣʔβͷݕࡧػೳ͕͋Δ • ଐੑ஋(ੑ... 続きを読む

Astrategyを支える技術: gRPC, Elasticsearch, Cloud TPU, Fargate... SaaS型AIサービスの内側の世界 - Stockmark Tech Blog

2021/05/10 11 users grpc Astrategy Far ウェブニュース 内側

ストックマークでは、法人ユーザー向けの「Astrategy」というウェブサービスを開発、提供しています。 本エントリでは、Astrategyで使われている技術やシステム構成をご紹介したいと思います。 Astrategyとは Astrategyとは、AIがウェブニュースを解析してあらゆる市場の動向やトレンド、有力企業の経済活動を可視化し、... 続きを読む