ElasticsearchでLIKE検索のような部分一致検索を高速に実現する方法 - Taste of Tech Topics

2024/12/11 50 users Qiita RDB PostgreSQL MySQL 課題

この記事は Elastic Stack (Elasticsearch) - Qiita Advent Calendar 2024 - Qiitaの11日目の記事です。 はじめまして。テクニカルコンサルタントの江見と申します。 普段はElasticsearchに関するコンサルティング業務に携わっております。 業務の中で、RDB（MySQLやPostgreSQLなど）の検索機能に関する課題として、「LI... 続きを読む

ISUCON 14: ClickHouse と OpenTelemetry で ISUCON の計測環境を作ったら快適だった - Unyablog.

2024/12/08 5 users isucon Unya OpenTelemetry FAIL

ISUCON 14 に id:utgwkk, id:wass80 と「ミレニアムサイエンススクール」というチーム名で参加した。 結果は 28875 点で 22 位！去年は fail して最下位だったので反省を活かすことができたのでは？ 一昨年に Kibana / Elasticsearch / Filebeat で解析環境を組んでサクセスしていたが、今年は OpenTelemetry (Otel) を... 続きを読む

「お前の口調、角が立ってて相手からみたら不快だから治せ」的な指摘は、東大、東工大院卒の新人なら半数くらいは言われる→社会は正論で殴りあってはいけない

2024/11/25 311 users 正論 口調 半数 東大 指摘

ナシェモン @nassyemon 最近はBigQueryばかり書いてます。プロマネもやってますが、本業はエンジニアです。 React/node.js/flask/AWS+terraform+serverless/BQ/elasticsearch スクール→weblab.t.u-tokyo.ac.j ナシェモン @nassyemon 「お前の口調、角が立ってて相手からみたら不快だから治せ」の趣旨の指摘は、東大、東... 続きを読む

求人検索をElasticsearchにしたら 速度２倍速くなった！！

2024/09/30 26 users 速度2倍 求人検索

RDBが頑張っていた Web API 検索 RDB RDB RDB RDB RDB RDB RDB Reader Writer 900万人 検索 うおおおお！！ 複 製 登 録 29.7万拠点 400-600ms 上昇トレンド RDB クラスタ 続きを読む

pixivの全文検索基盤とElasticsearchによるリプレイス - pixiv inside

2024/08/26 140 users pixiv リプレイス pixiv inside 基盤 従来

まもなく17周年を迎えるpixivでは、長年にわたり作品などの全文検索基盤としてApache Solrを使用してきました。 しかし、サービスの規模が拡大する中で、従来の基盤に問題が生じていました。これを受けて、pixivでは全文検索基盤のリプレイスを実行しました。 今回のリプレイスにより、pixivでは検索結果の更新反映時間... 続きを読む

AWSでElasticsearch(Elastic Cloud)を使う時のポイント 2024年版（運用編２） - Taste of Tech Topics

2024/08/01 14 users ノムラ AWS Elastic社 Elastic Cloud

こんにちは、Elastic認定資格３種(※)を保持しているノムラです。 ※Elastic社の公式認定資格（Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer） こちらはAWS編の記事になります。 AWSでElasticsearch(Elastic Cloud)を使う時のポイントの記事一覧は以下です。 ①構... 続きを読む

AzureでElasticsearch(Elastic Cloud)を使う時のポイント 2024年版（運用編１） - Taste of Tech Topics

2024/07/26 10 users Azure ノムラ Elastic社 運用編 公式認定資格

こんにちは、Elastic認定資格３種(※)を保持しているノムラです。 ※Elastic社の公式認定資格（Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer） こちらはAzure編の記事になります。 AzureでElasticsearch(Elastic Cloud)を使う時のポイントの記事一覧は以下です。 ... 続きを読む

AWSでElasticsearch(Elastic Cloud)を使う時のポイント 2024年版（運用編1） - Taste of Tech Topics

2024/07/12 20 users ノムラ Elastic社 AWS Elastic Cloud

こんにちは、Elastic認定資格３種(※)を保持しているノムラです。 ※Elastic社の公式認定資格（Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer） こちらはAWS編の記事になります。 以下の構築編の記事でElastic Cloudを構築し、Security設定／認証設定を実施しまし... 続きを読む

ElasticsearchによるZOZOTOWNへのベクトル検索の導入検討とその課題 - ZOZO TECH BLOG

2024/06/12 19 users ZOZOTOWN techblog.zozo.com 課題

こんにちは。検索基盤部の橘です。ZOZOTOWNでは、商品検索エンジンとしてElasticsearchを利用し、大規模なデータに対して高速な全文検索を実現しています。 Elasticsearchに関する取り組みは以下の記事をご覧ください。 techblog.zozo.com 検索基盤部では、ZOZOTOWNの検索結果の品質向上を目指し、新しい検索手法の導入... 続きを読む

SIEM on Amazon OpenSearch Serviceによるセキュリティログの可視化について - SEGA TECH Blog

2024/01/26 8 users セキュリティログ Cognito SIEM アーキテクチャ

はじめに 株式会社セガ　ｹﾞｰﾑｺﾝﾃﾝﾂ&ｻｰﾋﾞｽ事業本部技術本部開発IT支援部の長谷川と申します。今回はセキュリティログの活用法の一例としてSIEMを用いた可視化方法を紹介します。 目次 はじめに 目次 背景 Opensearch(Elasticsearch)とは SIEMとは Cognitoとは ユーザプールとは IDプールとは アーキテクチャ 設定方法 Cog... 続きを読む

Elasticsearchのベクトル検索速度を調べてみた - Taste of Tech Topics

2023/12/19 12 users LLM Rag Acroquest YAMALEX 発展

この記事は Elastic Stack (Elasticsearch) Advent Calendar 2023 18日目の記事です。 こんにちは。 Acroquestのデータサイエンスチーム「YAMALEX」に所属する@shin0higuchiです😊 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。 さて、最近はLLMの発展に伴ってRAG... 続きを読む

SREによるElasticsearchのQCD改善！シャーディング最適化とオートスケーラー開発の取り組み - ZOZO TECH BLOG

2023/09/27 8 users 花房 ZOZOTOWN SRE 大澤 SRE部

はじめに こんにちは、SRE部 検索基盤SREブロックの花房と大澤です。普段はZOZOTOWNの検索関連マイクロサービスのインフラ運用を担当しています。 ZOZOTOWNの検索基盤では、商品検索に関わる大規模なデータを取り扱うためにElasticsearchを利用しています。Elasticsearchを運用していく中で、私たちはパフォーマンスとイ... 続きを読む

セマンティック検索の活用で、Elasticsearchの検索が根本的に変わる！？ - Taste of Tech Topics

2023/04/14 60 users shin0higuchi セマンティック検索 あっという間

こんにちは、@shin0higuchiです😊 業務では、Elasticsearchに関するコンサルティングを担当しています。 最近すっかり春らしく、暖かくなってきました。 新年を迎えたばかりの感覚でしたが、あっという間に時が経ちますね。 さて、今回の記事では、Elasticsearchの検索を根本的に変える可能性を秘めたセマンティック検索... 続きを読む

noteの検索をCloudsearch からElasticsearchに移行しつつある話｜chov｜note

2023/02/10 17 users 指標 ハッシュタ ドメイン 移行 箇所

記事の概要を3行でまとめ検索システムの移行や導入は組織化しましょう 指標に気を取られすぎないようにしましょう 検索を見ると様々なドメインに触れるので知識が増えてお得 はじめにnote株式会社で検索エンジニアをしているchovです。 早速ですが、noteでは全文検索エンジンを以下の箇所で利用しています。 ハッシュタ... 続きを読む

ZOZOTOWN検索の精度改善の取り組み紹介 - ZOZO TECH BLOG

2023/01/19 26 users ZOZOTOWN検索 ZOZO TECH BLOG 紹介

こんにちは。検索基盤部の山﨑です。検索基盤部では、検索基盤の速度改善やシステム改善だけではなく検索の精度改善にも力を入れて取り組んでいます。 検索システム改善についての過去の取り組み事例は、こちらのリンクをご参照ください。 techblog.zozo.com また、ZOZOTOWNの検索ではElasticsearchを活用しています。El... 続きを読む

ElasticsearchのアーキテクチャとStateless / Serverless

2022/12/09 13 users Stateless serverless アーキテクチャ

本記事は情報検索・検索技術 Advent Calendar 2022の9日目の記事です。 だいぶ間が空いてしまいましたが、日本語のオートコンプリートに関する記事の続きです。 という感じで、Suggesterのデータ構造とか仕組みを書こうと思っていたのですが、思ったよりも調べないといけないことが多くて挫折しました。。。 （これの続... 続きを読む

【Elasticsearch】1900万点に及ぶ商品データ作成の時間を約67%短縮できた構成と工夫 - MonotaRO Tech Blog

2022/10/18 200 users Solr バックエン 工夫 構成 移行

初めまして、EC基盤グループ サーチチームの壷井です。 モノタロウでは2019年10月頃より新規検索システムの設計・開発を進め、今年の4月頃にECサイト(monotaro.com) 検索ページの裏側の検索システムを従来のSolrからElasticsearchに100%移行*1しました。この移行は将来の商品点数やリクエスト数の増加を見据えたバックエ... 続きを読む

AWSが主導するElasticsearchのフォーク「OpenSearch」にCanonicalが参加へ

2022/08/31 19 users canonical Ubuntu OpenSearch 参加

Linuxの主要なディストリビューションの1つであるUbuntuを開発するCanonicalは、AWSが主導するオープンソースの検索エンジン「OpenSearch」のプロジェクトへの参加を表明しました。 Great open source software is built together with a diverse community of contributors. Canonical, the publisher of #Ubuntu, is p... 続きを読む

ダウンタイムなしでEC2のElasticsearchからマネージドなOpenSearchへと移行した際の工夫

2022/06/28 10 users マネージドサービス AWS スケール ユー 移行

「HRMOS採用」では、採用に関するデータをElasticsearchに保存し検索機能で利用しております。 以前はEC2インスタンスにインストールしたElasticsearchを利用していましたが、スケールやメンテナンスしづらいことからAWSのマネージドサービスであるAmazon OpenSearch Serviceへの移行を行いました。 移行の際には、ユー... 続きを読む

Ubuntu を業務PCで使いつづけて3年が経ちました。 〜Web開発にmacOSじゃなくて大丈夫なのか気になる方へ〜 - Techブログ - MNTSQ, Ltd.

2022/06/13 251 users Ubuntu MNTSQ MacOS モンテスキュー 業務PC

MNTSQ(モンテスキュー)株式会社 ソフトウェアエンジニアの沼井です。 普段はRailsでのバックエンド開発をしつつ、Elasticsearchによる全文検索処理やインデクシングまわりの開発にも取り組んでいます。 私は現在、 Thinkpad X1 Carbon (2021年版)にUbuntu 20.04をインストールして開発を行なっています。MNTSQ社以前の経... 続きを読む

NewsPicksの検索アルゴリズム、変えました - Uzabase for Engineers

2022/04/18 20 users NewsPicks algorithm Data チェ 積極

こんにちは。NewsPicksでエンジニアやっております崔（チェ）です。現在は Data / Algorithm チームで検索エンジン開発を担当しております。弊社は、検索エンジンとして Elasticsearch を Amazon EC2 に乗せて構築しておりますが、メンテナンスに消極的だった部分があり、これからはマネージド化や検索精度向上など積極... 続きを読む

Elastic、AWSとの「Elasticsearch」に関する商標問題が解決したと発表。今後「Elasticsearch」を名乗るのはElasticのみに

2022/02/17 23 users Elastic AWS 訴訟 商標問題 発表

Elastic、AWSとの「Elasticsearch」に関する商標問題が解決したと発表。今後「Elasticsearch」を名乗るのはElasticのみに Elasticは、Amazon Web Services（AWS）との「Elasticsearch」に関する商標問題の訴訟が解決したと発表しました。 Elastic and @amazon have resolved the Elasticsearch trademark infringement l... 続きを読む

Vimを支える技術: Alacritty, AquaSKK, tmux, Language Server… 高速ウェブ開発の世界

2021/12/18 76 users tmux SAA grpc Astrategy Far

はじめに これは、ストックマーク Advent Calendar 2021 17日目の記事です。こんにちは、ストックマークでAstrategyというビジネス向けSaaSについて、主にフロントエンドの開発を担当している@tsukkeeです。 Astrategyの技術構成については以前にAstrategyを支える技術: gRPC, Elasticsearch, Cloud TPU, Fargate... Saa... 続きを読む

Elasticsearchで日本語を同義語展開する

2021/12/15 7 users 同義語 日本語

全文検索における同義語展開の必要性 全文検索では、基本的に文字列のマッチにより検索を行います。しかし我々が言葉を扱うときには、同じものを違う表現で指し示すことが多々あります。 例えば「独占禁止法」と呼ばれる法律があります。これは経済憲法とも言われる大変重要な法律なのですが、日本では「昭和二十二年法... 続きを読む

Elasticsearchで日本語検索を扱うためのマッピング定義 - ZOZO TECH BLOG

2021/11/05 242 users ZOZOTOWN techblog.zozo.com 手順

こんにちは、検索基盤部 検索基盤ブロックの渡です。私は検索基盤ブロックで、主にZOZOTOWNの検索周りのシステム開発に従事しています。 以前の記事では、Elasticsearchのマッピング設定の最適化について取り上げました。そして、今回は日本語による形態素解析を実現するまでの手順をご紹介します。 techblog.zozo.com ... 続きを読む