SIEM on Amazon OpenSearch Serviceによるセキュリティログの可視化について - SEGA TECH Blog

2024/01/26 8 users セキュリティログ elasticsearch SIEM 一例

はじめに 株式会社セガ　ｹﾞｰﾑｺﾝﾃﾝﾂ&ｻｰﾋﾞｽ事業本部技術本部開発IT支援部の長谷川と申します。今回はセキュリティログの活用法の一例としてSIEMを用いた可視化方法を紹介します。 目次 はじめに 目次 背景 Opensearch(Elasticsearch)とは SIEMとは Cognitoとは ユーザプールとは IDプールとは アーキテクチャ 設定方法 Cog... 続きを読む

Elasticsearchのベクトル検索速度を調べてみた - Taste of Tech Topics

2023/12/19 12 users elasticsearch LLM Rag YAMALEX

この記事は Elastic Stack (Elasticsearch) Advent Calendar 2023 18日目の記事です。 こんにちは。 Acroquestのデータサイエンスチーム「YAMALEX」に所属する@shin0higuchiです😊 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。 さて、最近はLLMの発展に伴ってRAG... 続きを読む

SREによるElasticsearchのQCD改善！シャーディング最適化とオートスケーラー開発の取り組み - ZOZO TECH BLOG

2023/09/27 8 users 花房 ZOZOTOWN SRE 大澤 SRE部

はじめに こんにちは、SRE部 検索基盤SREブロックの花房と大澤です。普段はZOZOTOWNの検索関連マイクロサービスのインフラ運用を担当しています。 ZOZOTOWNの検索基盤では、商品検索に関わる大規模なデータを取り扱うためにElasticsearchを利用しています。Elasticsearchを運用していく中で、私たちはパフォーマンスとイ... 続きを読む

セマンティック検索の活用で、Elasticsearchの検索が根本的に変わる！？ - Taste of Tech Topics

2023/04/14 60 users elasticsearch shin0higuchi 新年

こんにちは、@shin0higuchiです😊 業務では、Elasticsearchに関するコンサルティングを担当しています。 最近すっかり春らしく、暖かくなってきました。 新年を迎えたばかりの感覚でしたが、あっという間に時が経ちますね。 さて、今回の記事では、Elasticsearchの検索を根本的に変える可能性を秘めたセマンティック検索... 続きを読む

noteの検索をCloudsearch からElasticsearchに移行しつつある話｜chov｜note

2023/02/10 17 users 指標 ハッシュタ ドメイン 移行 箇所

記事の概要を3行でまとめ検索システムの移行や導入は組織化しましょう 指標に気を取られすぎないようにしましょう 検索を見ると様々なドメインに触れるので知識が増えてお得 はじめにnote株式会社で検索エンジニアをしているchovです。 早速ですが、noteでは全文検索エンジンを以下の箇所で利用しています。 ハッシュタ... 続きを読む

ZOZOTOWN検索の精度改善の取り組み紹介 - ZOZO TECH BLOG

2023/01/19 26 users ZOZOTOWN検索 ZOZO TECH BLOG 紹介

こんにちは。検索基盤部の山﨑です。検索基盤部では、検索基盤の速度改善やシステム改善だけではなく検索の精度改善にも力を入れて取り組んでいます。 検索システム改善についての過去の取り組み事例は、こちらのリンクをご参照ください。 techblog.zozo.com また、ZOZOTOWNの検索ではElasticsearchを活用しています。El... 続きを読む

ElasticsearchのアーキテクチャとStateless / Serverless

2022/12/09 13 users elasticsearch Stateless

本記事は情報検索・検索技術 Advent Calendar 2022の9日目の記事です。 だいぶ間が空いてしまいましたが、日本語のオートコンプリートに関する記事の続きです。 という感じで、Suggesterのデータ構造とか仕組みを書こうと思っていたのですが、思ったよりも調べないといけないことが多くて挫折しました。。。 （これの続... 続きを読む

【Elasticsearch】1900万点に及ぶ商品データ作成の時間を約67%短縮できた構成と工夫 - MonotaRO Tech Blog

2022/10/18 200 users elasticsearch Solr バックエン 工夫 構成

初めまして、EC基盤グループ サーチチームの壷井です。 モノタロウでは2019年10月頃より新規検索システムの設計・開発を進め、今年の4月頃にECサイト(monotaro.com) 検索ページの裏側の検索システムを従来のSolrからElasticsearchに100%移行*1しました。この移行は将来の商品点数やリクエスト数の増加を見据えたバックエ... 続きを読む

AWSが主導するElasticsearchのフォーク「OpenSearch」にCanonicalが参加へ

2022/08/31 19 users canonical Ubuntu OpenSearch 参加

Linuxの主要なディストリビューションの1つであるUbuntuを開発するCanonicalは、AWSが主導するオープンソースの検索エンジン「OpenSearch」のプロジェクトへの参加を表明しました。 Great open source software is built together with a diverse community of contributors. Canonical, the publisher of #Ubuntu, is p... 続きを読む

ダウンタイムなしでEC2のElasticsearchからマネージドなOpenSearchへと移行した際の工夫

2022/06/28 10 users elasticsearch マネージドサービス AWS ユー

「HRMOS採用」では、採用に関するデータをElasticsearchに保存し検索機能で利用しております。 以前はEC2インスタンスにインストールしたElasticsearchを利用していましたが、スケールやメンテナンスしづらいことからAWSのマネージドサービスであるAmazon OpenSearch Serviceへの移行を行いました。 移行の際には、ユー... 続きを読む

Ubuntu を業務PCで使いつづけて3年が経ちました。 〜Web開発にmacOSじゃなくて大丈夫なのか気になる方へ〜 - Techブログ - MNTSQ, Ltd.

2022/06/13 251 users Ubuntu MNTSQ MacOS モンテスキュー 業務PC

MNTSQ(モンテスキュー)株式会社 ソフトウェアエンジニアの沼井です。 普段はRailsでのバックエンド開発をしつつ、Elasticsearchによる全文検索処理やインデクシングまわりの開発にも取り組んでいます。 私は現在、 Thinkpad X1 Carbon (2021年版)にUbuntu 20.04をインストールして開発を行なっています。MNTSQ社以前の経... 続きを読む

NewsPicksの検索アルゴリズム、変えました - Uzabase for Engineers

2022/04/18 20 users NewsPicks algorithm Data チェ 積極

こんにちは。NewsPicksでエンジニアやっております崔（チェ）です。現在は Data / Algorithm チームで検索エンジン開発を担当しております。弊社は、検索エンジンとして Elasticsearch を Amazon EC2 に乗せて構築しておりますが、メンテナンスに消極的だった部分があり、これからはマネージド化や検索精度向上など積極... 続きを読む

Elastic、AWSとの「Elasticsearch」に関する商標問題が解決したと発表。今後「Elasticsearch」を名乗るのはElasticのみに

2022/02/17 23 users Elastic elasticsearch AWS 訴訟 発表

Elastic、AWSとの「Elasticsearch」に関する商標問題が解決したと発表。今後「Elasticsearch」を名乗るのはElasticのみに Elasticは、Amazon Web Services（AWS）との「Elasticsearch」に関する商標問題の訴訟が解決したと発表しました。 Elastic and @amazon have resolved the Elasticsearch trademark infringement l... 続きを読む

Vimを支える技術: Alacritty, AquaSKK, tmux, Language Server… 高速ウェブ開発の世界

2021/12/18 76 users tmux elasticsearch SAA grpc Far

はじめに これは、ストックマーク Advent Calendar 2021 17日目の記事です。こんにちは、ストックマークでAstrategyというビジネス向けSaaSについて、主にフロントエンドの開発を担当している@tsukkeeです。 Astrategyの技術構成については以前にAstrategyを支える技術: gRPC, Elasticsearch, Cloud TPU, Fargate... Saa... 続きを読む

Elasticsearchで日本語を同義語展開する

2021/12/15 7 users elasticsearch 同義語 日本語

全文検索における同義語展開の必要性 全文検索では、基本的に文字列のマッチにより検索を行います。しかし我々が言葉を扱うときには、同じものを違う表現で指し示すことが多々あります。 例えば「独占禁止法」と呼ばれる法律があります。これは経済憲法とも言われる大変重要な法律なのですが、日本では「昭和二十二年法... 続きを読む

Elasticsearchで日本語検索を扱うためのマッピング定義 - ZOZO TECH BLOG

2021/11/05 242 users ZOZOTOWN elasticsearch 形態素解析

こんにちは、検索基盤部 検索基盤ブロックの渡です。私は検索基盤ブロックで、主にZOZOTOWNの検索周りのシステム開発に従事しています。 以前の記事では、Elasticsearchのマッピング設定の最適化について取り上げました。そして、今回は日本語による形態素解析を実現するまでの手順をご紹介します。 techblog.zozo.com ... 続きを読む

AWS OpenSearch (Elasticsearch) Serviceで専用マスターノードは3つが推奨な理由を段階を踏んで理解する - Qiita

2021/10/11 9 users Qiita ノートタイプ elasticsearch 段階

前提 AWS OpenSearch ServiceでサポートするElasticsearch 7.10.2時点までの内容になります。 理解のステップ 以下のステップにより専用マスターノードに関しては3つが推奨な理由が大体理解できる流れです。 マスターノードとは何か、他にどんなノードタイプがあるのかを把握する。 専用マスターノードとは何か把握する... 続きを読む

「Amazon Elasticsearch Service」の名称が「Amazon OpenSearch Service」に変更。ElasticsearchからフォークしたOpenSearchも採用 － Publickey

2021/09/09 10 users Publickey elasticsearch AWS 名称

「Amazon Elasticsearch Service」の名称が「Amazon OpenSearch Service」に変更。ElasticsearchからフォークしたOpenSearchも採用 Amazon Web Services（AWS）は、クラウドサービスとして提供しているAmazon Elasticsearch Serviceの名称を「Amazon OpenSearch Service」へ変更することを発表しました。 同時に、Elasti... 続きを読む

AWSによる「タダ乗り」へのオープンソースコミュニティの対抗策 - GIGAZINE

2021/08/10 12 users GIGAZINE elasticsearch AWS 対抗策

Amazon Web Services(AWS)がオープンソースの分析エンジン「Elasticsearch」を利用した製品「Amazon Elasticsearch Service(Amazon ES)」の商標登録を行ったことへの対抗策として、Elasticsearchは2021年1月にライセンスが変更されました。AWSはライセンスが変更される前にフォーク版を作成することで事態への対応を試み... 続きを読む

魔窟と化した全文検索サーバーとふっかつのじゅもん - Cybozu Inside Out | サイボウズエンジニアのブログ

2021/06/16 7 users elasticsearch プロジェク サイボウズ ふっかつ

サイボウズのクラウド黎明期から運用し続けていたSolrサーバーを Elasticsearchに置き換えるプロジェクトが先日完了しました。 プロジェクト完了報告もかねてプロジェクトのあらましを公開したいと思います。 はじめに このプロジェクトの主軸は『魔窟と化したレガシー技術をどう捌くか？』になります。 このプロジェク... 続きを読む

検索基盤を安全にElasticsearchに置き換えるためにやったこと - Speaker Deck

2021/05/15 11 users elasticsearch Feature Toggle

Transcript Hiroki Sakamoto
 @taisho6339 ݕࡧج൫Λ҆શʹ
 Elasticsearchʹஔ͖׵͑ΔͨΊʹ΍ͬͨ͜ͱ ຊࢿྉͰऔΓ্͛Δ಺༰ DBݕࡧ͔ΒElasticsearchʹ҆શʹஔ͖׵͑Δͱ͖ʹɺ μʔΫϩʔϯν΍FeatureToggleΛ׆༻ͯ҆͠શʹϦϦʔεͨ͠஌ݟ 
 https://www.elastic.co/jp/ ຊࢿྉͰड़΂ͳ͍͜ͱ • ESͷجૅతͳ෦෼ • ESͷΠϯσοΫεɺΫϥελઃܭ • ΠϯσΫγϯά΍ݕࡧͷࡉ͔͍࣮૷ʹ͍ͭͯ • Feature Toggleͷ۩ମతͳ࣮૷ʹ͍ͭͯ ࣮ࢪͨ͠αʔϏεཁ݅ • Ϣʔβ਺100ສਓҎ಺ఔ౓ͷձһ੍SNSαʔϏε • Ϣʔβͷݕࡧػೳ͕͋Δ • ଐੑ஋(ੑ... 続きを読む

Astrategyを支える技術: gRPC, Elasticsearch, Cloud TPU, Fargate... SaaS型AIサービスの内側の世界 - Stockmark Tech Blog

2021/05/10 11 users elasticsearch grpc Astrategy

ストックマークでは、法人ユーザー向けの「Astrategy」というウェブサービスを開発、提供しています。 本エントリでは、Astrategyで使われている技術やシステム構成をご紹介したいと思います。 Astrategyとは Astrategyとは、AIがウェブニュースを解析してあらゆる市場の動向やトレンド、有力企業の経済活動を可視化し、... 続きを読む

「ホットペッパービューティー」美容クリニックでのElasticsearchのユーザー辞書登録による検索改善 - Tech Blog - Recruit Engineer

2021/04/22 18 users 形態素解析器 全文検索エンジン elasticsearch

はじめに 『ホットペッパービューティー』美容クリニックのカウンセリング予約サービス(以降、美容クリニック)のバックエンドを担当している安達です。 本記事では、美容クリニックでの全文検索エンジンの利用と形態素解析器でのユーザー辞書登録の取り組みについて紹介します。 美容クリニックでの検索機能の技術スタッ... 続きを読む

AWS、ElasticsearchとKibanaのフォークによる「OpenSearch」プロジェクトを発表。Elasticとの溝は埋まらないまま － Publickey

2021/04/12 165 users Elastic Publickey Intr Kibana

AWS、ElasticsearchとKibanaのフォークによる「OpenSearch」プロジェクトを発表。Elasticとの溝は埋まらないまま AWSは、オープンソースの検索エンジンと可視化ツールの「OpenSearch」プロジェクトを発表しました。これは検索エンジンおよび可視化ツールとして人気のElasticSearchとKibanaをフォークしたものです。 Intr... 続きを読む

AWS、商用サービス化を制限するライセンス変更に対抗し「Elasticsearch」をフォーク　独自のオープンソース版へ（1/2 ページ） - ITmedia NEWS

2021/01/26 6 users elasticsearch Kibana AWS 背景 データ

AWS、商用サービス化を制限するライセンス変更に対抗し「Elasticsearch」をフォーク　独自のオープンソース版へ（1/2 ページ） AWSが、オープンソースで開発されている検索エンジン「Elaticsearch」とデータの可視化ツール「Kibana」をフォークし、独自ディストリビューションを作成すると発表した。その背景に何があっ... 続きを読む