【Elasticsearch】1900万点に及ぶ商品データ作成の時間を約67%短縮できた構成と工夫 - MonotaRO Tech Blog

2022/10/18 200 users elasticsearch Solr バックエン 工夫 構成

初めまして、EC基盤グループ サーチチームの壷井です。 モノタロウでは2019年10月頃より新規検索システムの設計・開発を進め、今年の4月頃にECサイト(monotaro.com) 検索ページの裏側の検索システムを従来のSolrからElasticsearchに100%移行*1しました。この移行は将来の商品点数やリクエスト数の増加を見据えたバックエ... 続きを読む

Ubuntu を業務PCで使いつづけて3年が経ちました。 〜Web開発にmacOSじゃなくて大丈夫なのか気になる方へ〜 - Techブログ - MNTSQ, Ltd.

2022/06/13 251 users Ubuntu MNTSQ MacOS モンテスキュー 業務PC

MNTSQ(モンテスキュー)株式会社 ソフトウェアエンジニアの沼井です。 普段はRailsでのバックエンド開発をしつつ、Elasticsearchによる全文検索処理やインデクシングまわりの開発にも取り組んでいます。 私は現在、 Thinkpad X1 Carbon (2021年版)にUbuntu 20.04をインストールして開発を行なっています。MNTSQ社以前の経... 続きを読む

Elasticsearchで日本語検索を扱うためのマッピング定義 - ZOZO TECH BLOG

2021/11/05 242 users ZOZOTOWN elasticsearch 形態素解析

こんにちは、検索基盤部 検索基盤ブロックの渡です。私は検索基盤ブロックで、主にZOZOTOWNの検索周りのシステム開発に従事しています。 以前の記事では、Elasticsearchのマッピング設定の最適化について取り上げました。そして、今回は日本語による形態素解析を実現するまでの手順をご紹介します。 techblog.zozo.com ... 続きを読む

AWS、ElasticsearchとKibanaのフォークによる「OpenSearch」プロジェクトを発表。Elasticとの溝は埋まらないまま － Publickey

2021/04/12 165 users Elastic Publickey Intr Kibana

AWS、ElasticsearchとKibanaのフォークによる「OpenSearch」プロジェクトを発表。Elasticとの溝は埋まらないまま AWSは、オープンソースの検索エンジンと可視化ツールの「OpenSearch」プロジェクトを発表しました。これは検索エンジンおよび可視化ツールとして人気のElasticSearchとKibanaをフォークしたものです。 Intr... 続きを読む

Elastic 社による Elasticsearch および Kibana のライセンス変更にともなう AWS の対応方針のご案内 | Amazon Web Services ブログ

2021/01/22 244 users elasticsearch Kibana AWS アナウンス

Amazon Web Services ブログ Elastic 社による Elasticsearch および Kibana のライセンス変更にともなう AWS の対応方針のご案内 先週、Elastic 社が Elasticsearch および Kibana のライセンス変更に関するアナウンスを実施しました。これによりバージョン 7.11 以降の Elasticsearch と Kibana は、Apache License, V... 続きを読む

AWSをElasticが名指しで非難。ElasticsearchとKibanaのライセンスを、AWSが勝手にマネージドサービスで提供できないように変更へ － Publickey

2021/01/20 228 users Elastic Publickey Kibana AWS 非難

AWSをElasticが名指しで非難。ElasticsearchとKibanaのライセンスを、AWSが勝手にマネージドサービスで提供できないように変更へ オランダに本社を置くElasticは、オープンソースで開発してきたElasticとKibanaのライセンスをそれまでのApache License 2.0から、商用サービス化を制限する「Server Side Public License」... 続きを読む

ZOZOTOWNの検索基盤におけるElasticsearch移行で得た知見 - ZOZO Technologies TECH BLOG

2020/06/22 193 users ZOZOTOWN elasticsearch RDB 知見

こんにちは。ZOZOテクノロジーズZOZOTOWN部 検索チーム 兼 ECプラットフォーム部 検索基盤チームの有村です。 ZOZOTOWNでは、以前からキーワード検索時にはRDBと併用してElasticsearchを使用していました。本記事ではこれまでRDBで行っていたIDによる索引検索も含め、すべての検索をElasticsearchへ置き換えた事例と、そ... 続きを読む

脆弱な設定のElasticsearchによるエクアドル全国民情報流出の可能性についてまとめてみた - piyolog

2019/09/20 261 users piyolog elasticsearch VPNサービス

2019年9月16日、VPNサービスのレビュー等を行うvpnMentorはインターネット上でエクアドル国民に関わる大量の情報を発見したと発表しました。ここでは関連する情報をまとめます。 vpnMentorの発表 www.vpnmentor.com 数百万人のエクアドル国民に影響が及ぶ可能性がある大規模なデータを発見した。 発見したのはvpnMentor... 続きを読む

ホンダの内部ネットワーク情報を格納したElasticSearchが公開されていた件についてまとめてみた - piyolog

2019/07/31 374 users piyolog elasticsearch ホンダ

2019年7月31日、本田技研工業の従業員のメールアドレスや内部ネットワーク、PCに関連するElasticSearchデータベースが露出していたとして、対応の顛末が発見者により公開されました。この問題は本田のセキュリティチームに伝えられ、問題は解消されているとのことです。ここでは関連する情報をまとめます。 問題の発見者... 続きを読む

Elasticsearch における類似度ベクトル検索のベストプラクティスを求めて/es-vector-search - Speaker Deck

2019/07/31 119 users elasticsearch ベストプラクティス

All slide content and descriptions are owned by their creators. 続きを読む

AWSが、Elasticsearchのコードにはプロプライエタリが混在しているとして、OSSだけで構成される「Open Distro for Elasticsearch」を作成し公開 － Publickey

2019/03/18 229 users ディストリビューション プロプライエタリ Elastic社

AWSは、オープンソースの高速な検索エンジンとして活用されている「Elasticsearch」の独自ディストリビューション「Open Distro for Elasticsearch」を公開しました。 Elasticsearchはオランダに本社を置くElastic社が中心となり、オープンソースとして開発されている検索エンジンです。 検索エンジンのライブラリとして... 続きを読む

Elasticsearchの運用に関する典型的な4つの誤解 | Elastic

2018/10/19 106 users Elastic elasticsearch 羽田空港 誤解

初のフライト変更ということで、羽田空港で5時間の待ち時間ができたのでブログを書いているところです。 皆さんの使用方法などを知りたいと思い、日本語で書かれたツイートやブログを時々みていますが、 共通で見受けられるElasticsearchに関する誤解があるようです。 よりよくElasticsearchを利用していただくために、... 続きを読む

10分で構築! ElasticSearchとKibanaで作るTwitter分析ダッシュボード 作成チュートリアル

2018/07/21 214 users ElasticsearchとKibana Kibana

10分で構築! ElasticSearchとKibanaで作るTwitter分析ダッシュボード 作成チュートリアル はじめに 今回はElasticSearchとKibanaを使った、Twitterダッシュボードの作成方法についての解説しています。ElasticSearchに関する前提知識はなくても、最後までたどり着ける構成になっている(はず?)なので、是非参考にして頂け... 続きを読む

発表資料: Elasticsearchによる 全文検索の実装 in Rails - Islands in the byte stream

2018/03/24 108 users elasticsearch railsdm 実装 全文検索

2018 - 03 - 24 発表資料: Elasticsearchによる 全文検索の実装 in Rails Rails Developers Meetup 2018 (#railsdm) で話した資料です。 最初は elasticsearch-rails の使い方の話を中心にしようと思ったのですが、まず全文検索そのものの話を整理しないとそこにたどり着かないなということでその話を中心にしました。 ... 続きを読む

Elasticsearchのための新しい形態素解析器 「Sudachi」 - Qiita

2017/12/13 164 users Qiita elasticsearch Sudachi 要約

tl;dr （要約） Kuromojiに代わる新しい形態素解析器「 Sudachi 」 なにが良いの？ 最新の辞書 企業（ワークスアプリケーションズ）による継続的な更新 複数の分割単位 → 検索用途での再現率と適合率の向上 プラグインによる拡張 省メモリ Elasticsearchで使いたい プラグイン: WorksApplications/elasticsearch-sudachi 使い方は当記... 続きを読む

Fluentd / Embulk / Elasticsearch / Digdag を学ぶのに最高な「データ分析基盤構築入門」を読んだ - kakakakakku blog

2017/11/18 251 users fluentd elasticsearch embulk

2017 - 11 - 18 Fluentd / Embulk / Elasticsearch / Digdag を学ぶのに最高な「データ分析基盤構築入門」を読んだ Fluentd Elasticsearch Go 本 出版されてから少し時間がたってしまったけど，「データ分析基盤入門」を読み終えた．ページ数が多く，持ち運ぶようなサイズではないので，家でちょこちょこ読み進める感じになってしまって，想... 続きを読む

Elasticsearch 勉強会を開催したので資料公開します。1/2 – Veltra Engineering – Medium

2017/06/29 203 users elasticsearch medium リモート 前半 資料

６月２７日にクラスメソッド事業開発部の開発メンバーとベルトラ開発メンバー合同で Elasticsearch 勉強会１/２を開催しました。参加者はリモートも含めて約２５人くらい。時間は２時間。久しぶりに長時間喋ったので疲れました。。たくさんの人が参加すると聞いていたので、この勉強会のために資料まとめたので公開します。 Elasticsearch 勉強会 1/2 前半 全文検索エンジンの特徴について話... 続きを読む

Elasticsearch を検索エンジンとして利用する際のポイント « LINE Engineers' Blog

2016/12/08 2666 users elasticsearch ela hktechno 川田

こんにちは、LINE でスタンプ・着せかえショップのバックエンド開発をしている川田 ( @hktechno ) です。 この記事は、LINE Advent Calendar 2016 の 6 日目の記事です。 今年の4月に、Java も Elasticsearch もまともに知らなかった新卒エンジニアが Elasticsearch クラスタの管理を突然任されて苦労した話をしようと思います。 Ela... 続きを読む

知識ゼロからElasticsearchを実践で使えるようになろう！ - $shibayu36->blog;

2016/09/05 365 users elasticsearch $shibayu36 メモ 実践

2016 - 09 - 05 知識ゼロからElasticsearchを実践で使えるようになろう！ tech elasticsearch 以前少しだけElasticsearchを触った時に、 自分流Elasticsearch入門 - $shibayu36->blog; というElasticsearchに入門した時のメモをまとめていた。しかし、その頃はElasticsearchを使って完全に一人で一つ... 続きを読む

Fluentd + Kinesis + Elasticsearch + Kibana / Grafanaでのリアルタイムログ解析基盤 | Tech Blog - リクルート住まいカンパニー

2016/06/01 353 users KINESIS エンジニア 上野 fluentd Kibana

こんにちは、SUUMOスマホサイトの開発チームに所属しているエンジニアの上野です。 今回は、リアルタイムログ解析基盤を紹介します。 背景 皆様はwebサーバログ監視（アクセスログ・エラーログなど）をどのように行われているでしょうか？ スーモスマホサイトでは、アクセス数増加に伴いサーバ台数が増え、csshX地こんにちは、SUUMOスマホサイトの開発チームに所属しているエンジニアの上野です。 今回は、... 続きを読む

リクルート流Elasticsearchの使い方

2016/05/26 188 users elasticsearch 中原 使い方 氏名 運用

リクルート流Elasticsearchの使い方 1. 0 2. 株式会社リクルートテクノロジーズ インフラソリューション部 中原 裕成 1 リクルート流Elasticsearchの使い方 3. 自己紹介 • 氏名  中原 裕成 • 所属  株式会社リクルートテクノロジーズ ITソリューション統括部 インフラソリューション部 • 担当業務  Elasticsearchを用いたサービスの運用など... 続きを読む

第６回 Elasticsearch 入門 基本コンセプトを理解する ｜ Developers.IO

2016/05/26 153 users elasticsearch Cluster node 入門

これまでの記事でも Cluster や Node を始めとする Elasticsearch を構成する要素について触れているのですが、 文章だけでは理解しづらいところもあるので、今回は改めて Elasticsearch の基本コンセプトについて図も交えて解説したいと思います。 それではさっそく。 Cluster は Node の集合 Cluster は 1つ以上の Node (Elasticsea... 続きを読む

第２回 Elasticsearch 入門 データスキーマ設計のいろは ｜ Developers.IO

2016/03/17 209 users Developers.IO いろは RDB 入門 習慣

第2回目の Elasticsearch 入門は「データスキーマ設計のいろは」です。 設計と言うほどでもないのですが、例えば RDB で検索にフォーカスした設計や、他の検索エンジンも経験していると、これまでの制限や習慣で Elasticsearch の特徴を生かせない設計をしてしまう事があるので、このテーマにしてみました。 それではインデックスするためのデータ構造を Elasticsearch でど... 続きを読む

第１回 Elastisearch 入門 インデックスを設計する際に知っておくべき事 ｜ Developers.IO

2016/03/10 209 users インデックス Developers.IO 入門 RDB ビュー

今回、第1回目の Elasticsearch 入門という事で、今回は「インデックスを設計する際に知っておくべき事」というテーマにしてみました。ここでのインデックスの設計とは RDB のデータベースとかテーブル、ビューの設計に当たるところです。 Elasticsearch は RDB など他のデータベスに比べ、その設計方法も結構独特です。（と言うか同じ事を実現するにしても色々な方法が用意されていて、... 続きを読む

Elasticsearch キーワードサジェスト日本語のための設計 — Hello! Elasticsearch. — Medium

2015/12/21 142 users elasticsearch Elastic medium

keyword suggest Elasticsearch キーワードサジェスト日本語のための設計 Google に代表される「キーワードサジェスト」機能を Elasticsearch を前提に日本語向けに設計。 よくある要件 サイト内で過去に検索された有効なキーワードをサジェストしたい。 入力されたテキストに関連性が高く、過去に検索された回数の多い順でサジェストしたい。 最初に入力された言葉の後... 続きを読む