ElasticsearchでLIKE検索のような部分一致検索を高速に実現する方法 - Taste of Tech Topics

2024/12/11 50 users Qiita RDB PostgreSQL MySQL 課題

この記事は Elastic Stack (Elasticsearch) - Qiita Advent Calendar 2024 - Qiitaの11日目の記事です。 はじめまして。テクニカルコンサルタントの江見と申します。 普段はElasticsearchに関するコンサルティング業務に携わっております。 業務の中で、RDB（MySQLやPostgreSQLなど）の検索機能に関する課題として、「LI... 続きを読む

「お前の口調、角が立ってて相手からみたら不快だから治せ」的な指摘は、東大、東工大院卒の新人なら半数くらいは言われる→社会は正論で殴りあってはいけない

2024/11/25 311 users 正論 口調 半数 東大 指摘

ナシェモン @nassyemon 最近はBigQueryばかり書いてます。プロマネもやってますが、本業はエンジニアです。 React/node.js/flask/AWS+terraform+serverless/BQ/elasticsearch スクール→weblab.t.u-tokyo.ac.j ナシェモン @nassyemon 「お前の口調、角が立ってて相手からみたら不快だから治せ」の趣旨の指摘は、東大、東... 続きを読む

pixivの全文検索基盤とElasticsearchによるリプレイス - pixiv inside

2024/08/26 140 users pixiv リプレイス pixiv inside 基盤 従来

まもなく17周年を迎えるpixivでは、長年にわたり作品などの全文検索基盤としてApache Solrを使用してきました。 しかし、サービスの規模が拡大する中で、従来の基盤に問題が生じていました。これを受けて、pixivでは全文検索基盤のリプレイスを実行しました。 今回のリプレイスにより、pixivでは検索結果の更新反映時間... 続きを読む

セマンティック検索の活用で、Elasticsearchの検索が根本的に変わる！？ - Taste of Tech Topics

2023/04/14 60 users shin0higuchi セマンティック検索 あっという間

こんにちは、@shin0higuchiです😊 業務では、Elasticsearchに関するコンサルティングを担当しています。 最近すっかり春らしく、暖かくなってきました。 新年を迎えたばかりの感覚でしたが、あっという間に時が経ちますね。 さて、今回の記事では、Elasticsearchの検索を根本的に変える可能性を秘めたセマンティック検索... 続きを読む

【Elasticsearch】1900万点に及ぶ商品データ作成の時間を約67%短縮できた構成と工夫 - MonotaRO Tech Blog

2022/10/18 200 users Solr バックエン 工夫 構成 移行

初めまして、EC基盤グループ サーチチームの壷井です。 モノタロウでは2019年10月頃より新規検索システムの設計・開発を進め、今年の4月頃にECサイト(monotaro.com) 検索ページの裏側の検索システムを従来のSolrからElasticsearchに100%移行*1しました。この移行は将来の商品点数やリクエスト数の増加を見据えたバックエ... 続きを読む

Ubuntu を業務PCで使いつづけて3年が経ちました。 〜Web開発にmacOSじゃなくて大丈夫なのか気になる方へ〜 - Techブログ - MNTSQ, Ltd.

2022/06/13 251 users Ubuntu MNTSQ MacOS モンテスキュー 業務PC

MNTSQ(モンテスキュー)株式会社 ソフトウェアエンジニアの沼井です。 普段はRailsでのバックエンド開発をしつつ、Elasticsearchによる全文検索処理やインデクシングまわりの開発にも取り組んでいます。 私は現在、 Thinkpad X1 Carbon (2021年版)にUbuntu 20.04をインストールして開発を行なっています。MNTSQ社以前の経... 続きを読む

Vimを支える技術: Alacritty, AquaSKK, tmux, Language Server… 高速ウェブ開発の世界

2021/12/18 76 users tmux SAA grpc Astrategy Far

はじめに これは、ストックマーク Advent Calendar 2021 17日目の記事です。こんにちは、ストックマークでAstrategyというビジネス向けSaaSについて、主にフロントエンドの開発を担当している@tsukkeeです。 Astrategyの技術構成については以前にAstrategyを支える技術: gRPC, Elasticsearch, Cloud TPU, Fargate... Saa... 続きを読む

Elasticsearchで日本語検索を扱うためのマッピング定義 - ZOZO TECH BLOG

2021/11/05 242 users ZOZOTOWN techblog.zozo.com 手順

こんにちは、検索基盤部 検索基盤ブロックの渡です。私は検索基盤ブロックで、主にZOZOTOWNの検索周りのシステム開発に従事しています。 以前の記事では、Elasticsearchのマッピング設定の最適化について取り上げました。そして、今回は日本語による形態素解析を実現するまでの手順をご紹介します。 techblog.zozo.com ... 続きを読む

AWS、ElasticsearchとKibanaのフォークによる「OpenSearch」プロジェクトを発表。Elasticとの溝は埋まらないまま － Publickey

2021/04/12 165 users Elastic Publickey Intr Kibana

AWS、ElasticsearchとKibanaのフォークによる「OpenSearch」プロジェクトを発表。Elasticとの溝は埋まらないまま AWSは、オープンソースの検索エンジンと可視化ツールの「OpenSearch」プロジェクトを発表しました。これは検索エンジンおよび可視化ツールとして人気のElasticSearchとKibanaをフォークしたものです。 Intr... 続きを読む

AWS、商用サービス化を制限するライセンス変更に対抗し「Elasticsearch」をフォーク、独自のオープンソース版へ － Publickey

2021/01/24 93 users Publickey Kibana ディストリビューション

AWS、商用サービス化を制限するライセンス変更に対抗し「Elasticsearch」をフォーク、独自のオープンソース版へ AWSは、オープンソースで開発されている検索エンジン「Elaticsearch」とデータの可視化ツール「Kibana」をフォークし、独自ディストリビューションを作成すると発表しました（AWS日本語ブログ）。 We are co... 続きを読む

Elastic 社による Elasticsearch および Kibana のライセンス変更にともなう AWS の対応方針のご案内 | Amazon Web Services ブログ

2021/01/22 244 users Kibana AWS アナウンス ライセンス変更 バージョン

Amazon Web Services ブログ Elastic 社による Elasticsearch および Kibana のライセンス変更にともなう AWS の対応方針のご案内 先週、Elastic 社が Elasticsearch および Kibana のライセンス変更に関するアナウンスを実施しました。これによりバージョン 7.11 以降の Elasticsearch と Kibana は、Apache License, V... 続きを読む

AWSをElasticが名指しで非難。ElasticsearchとKibanaのライセンスを、AWSが勝手にマネージドサービスで提供できないように変更へ － Publickey

2021/01/20 228 users Elastic Publickey Kibana AWS 非難

AWSをElasticが名指しで非難。ElasticsearchとKibanaのライセンスを、AWSが勝手にマネージドサービスで提供できないように変更へ オランダに本社を置くElasticは、オープンソースで開発してきたElasticとKibanaのライセンスをそれまでのApache License 2.0から、商用サービス化を制限する「Server Side Public License」... 続きを読む

ZOZOTOWNの検索基盤におけるElasticsearch移行で得た知見 - ZOZO Technologies TECH BLOG

2020/06/22 193 users ZOZOTOWN RDB 知見 有村 ECプラットフォーム部

こんにちは。ZOZOテクノロジーズZOZOTOWN部 検索チーム 兼 ECプラットフォーム部 検索基盤チームの有村です。 ZOZOTOWNでは、以前からキーワード検索時にはRDBと併用してElasticsearchを使用していました。本記事ではこれまでRDBで行っていたIDによる索引検索も含め、すべての検索をElasticsearchへ置き換えた事例と、そ... 続きを読む

「Elastic Cloud on Kubernetes」が正式版に。ElasticsearchやKibanaなどをKubernetes環境にデプロイ、Operatorにより運用も容易に － Publickey

2020/01/21 66 users operator Elastic Publickey 運用

「Elastic Cloud on Kubernetes」が正式版に。ElasticsearchやKibanaなどをKubernetes環境にデプロイ、Operatorにより運用も容易に Elasticは、ElasticsearchやKibanaなどをKubernetes対応としてパッケージングした「Elastic Cloud on Kubernetes」を正式版としてリリースしたことを発表しました。 We're proud to annou... 続きを読む

Elasticsearch + Sudachi + Docker でユーザー辞書を作ってみるハンズオン - Qiita

2019/10/18 76 users Qiita Docker Dockerfile ハンズオン

今回は Elasticsearch + Sudachi でユーザー辞書を使う Dockerfile を作ったので作り方を共有します。 Sudachi とは Sudachi は日本語形態素解析器です。株式会社ワークスアプリケーションズ下の機関であるワークス徳島人工知能NLP研究所が開発しています。複数の分割単位をサポートしているなどの特徴があります。 ドキ... 続きを読む

Elasticsearchを用いて類似度ベクトル検索をやってみてわかったこと - ログミーTech

2019/10/14 90 users ベストプラクティス SUMMER ログミーTech 手法 技術

Elasticsearchを用いて類似度ベクトル検索をやってみてわかったこと Elasticsearch における類似度ベクトル検索のベストプラクティスを求めて 2019年7月31日、検索技術研究会が主催するイベント「Search Engineering Tech Talk 2019 Summer」が開催されました。「検索」や「検索システム」にまつわる技術や手法を共有す... 続きを読む

脆弱な設定のElasticsearchによるエクアドル全国民情報流出の可能性についてまとめてみた - piyolog

2019/09/20 261 users piyolog VPNサービス レビュー 影響 データ

2019年9月16日、VPNサービスのレビュー等を行うvpnMentorはインターネット上でエクアドル国民に関わる大量の情報を発見したと発表しました。ここでは関連する情報をまとめます。 vpnMentorの発表 www.vpnmentor.com 数百万人のエクアドル国民に影響が及ぶ可能性がある大規模なデータを発見した。 発見したのはvpnMentor... 続きを読む

ホンダの内部ネットワーク情報を格納したElasticSearchが公開されていた件についてまとめてみた - piyolog

2019/07/31 374 users piyolog ホンダ

2019年7月31日、本田技研工業の従業員のメールアドレスや内部ネットワーク、PCに関連するElasticSearchデータベースが露出していたとして、対応の顛末が発見者により公開されました。この問題は本田のセキュリティチームに伝えられ、問題は解消されているとのことです。ここでは関連する情報をまとめます。 問題の発見者... 続きを読む

Elasticsearch における類似度ベクトル検索のベストプラクティスを求めて/es-vector-search - Speaker Deck

2019/07/31 119 users ベストプラクティス Speaker Deck

All slide content and descriptions are owned by their creators. 続きを読む

Amazon Elasticsearch Serviceの検索でSQLが使えるようになったので使ってみました - YOMON8.NET

2019/05/29 58 users SQL YOMON8.NET groupby 検索 たび

開発しているサービスの一部でElasticearch使っているのですが、ElasticsearchのクエリDSLって少し触ってないだけで忘れてしまいます。 昨日もGroupByに当たる、Aggregationを複数フィールドでやるのどうやるんだっけと、素人みたいなことで悩んでググっていました。 こういうの調べるたびに、SQL打てたらなーと思ってい... 続きを読む

AWSが、Elasticsearchのコードにはプロプライエタリが混在しているとして、OSSだけで構成される「Open Distro for Elasticsearch」を作成し公開 － Publickey

2019/03/18 229 users ディストリビューション プロプライエタリ Elastic社

AWSは、オープンソースの高速な検索エンジンとして活用されている「Elasticsearch」の独自ディストリビューション「Open Distro for Elasticsearch」を公開しました。 Elasticsearchはオランダに本社を置くElastic社が中心となり、オープンソースとして開発されている検索エンジンです。 検索エンジンのライブラリとして... 続きを読む

Elasticsearchの運用に関する典型的な4つの誤解 | Elastic

2018/10/19 106 users Elastic 羽田空港 誤解 共通 運用

初のフライト変更ということで、羽田空港で5時間の待ち時間ができたのでブログを書いているところです。 皆さんの使用方法などを知りたいと思い、日本語で書かれたツイートやブログを時々みていますが、 共通で見受けられるElasticsearchに関する誤解があるようです。 よりよくElasticsearchを利用していただくために、... 続きを読む

はじめてのElasticsearchクラスタ

2018/07/28 99 users Elasticsearchクラスタ ナイトセミナー つか

はじめてのElasticsearchクラスタ 1. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 1 JJUG ナイトセミナー「Elasticsearch特集」 はじめてのElasticsearchクラスタ 2018-07-25 Acroquest Technology 束野 仁政(つかの さとゆき) 2. 自己紹介 • 束野 仁政(つかの さとゆき) • 仕事 1. Elasticsearch... 続きを読む

10分で構築! ElasticSearchとKibanaで作るTwitter分析ダッシュボード 作成チュートリアル

2018/07/21 214 users ElasticsearchとKibana Kibana

10分で構築! ElasticSearchとKibanaで作るTwitter分析ダッシュボード 作成チュートリアル はじめに 今回はElasticSearchとKibanaを使った、Twitterダッシュボードの作成方法についての解説しています。ElasticSearchに関する前提知識はなくても、最後までたどり着ける構成になっている(はず?)なので、是非参考にして頂け... 続きを読む

発表資料: Elasticsearchによる 全文検索の実装 in Rails - Islands in the byte stream

2018/03/24 108 users elasticsearch-rails railsdm

2018 - 03 - 24 発表資料: Elasticsearchによる 全文検索の実装 in Rails Rails Developers Meetup 2018 (#railsdm) で話した資料です。 最初は elasticsearch-rails の使い方の話を中心にしようと思ったのですが、まず全文検索そのものの話を整理しないとそこにたどり着かないなということでその話を中心にしました。 ... 続きを読む