社内用語集を気軽に質問できるSlackBotを作ってみた (RAGの応用アプリ) - ABEJA Tech Blog

2024/02/08 116 users Rag Slackbot LLM GitHub 坂井

こんにちは！株式会社 ABEJA で ABEJA Platform 開発を行っている坂井（GitHub : @Yagami360）です。 LangChain を使用すれば、RAG [Retrieval Augment Generation] を使用した LLM アプリケーションを簡単に作成できるので便利ですよね。 今回 LangChain での RAG を使用して、LLM が学習に使用していない特定ドメイン... 続きを読む

【独自】“国産・生成AI”開発　政府が７者採択　Googleが支援（テレ東BIZ） - Yahoo!ニュース

2024/02/01 17 users 生成AI テレ東BIZ 国産 政府 Yahoo

政府は、国産の生成AIの開発力を強化するため、基盤モデルを開発する国内7者を採択し支援する方針を固めたことが、テレビ東京の取材でわかった。採択されるのは、ABEJA、Preferred Elements、ストックマーク、Sakana AI、Turingの国内スタートアップ企業と、情報・システム研究機構、東京大学の7者。経済産業省が所管す... 続きを読む

機械学習におけるEDAって結局何するの？ - ABEJA Tech Blog

2023/12/25 5 users EDA 服部 データサイエンティスト 機械学習 データ分析

ABEJAでデータサイエンティストをしている服部です。 「EDAって結局何したらいいの？」っていう声をよく聞く気がするので、無謀にも今回はEDAについて記事を書いてみました。 本記事はABEJAアドベントカレンダー2023 25日目の記事です。 EDAとは EDAは「Exploratory Data Analysis」の略で「探索的データ分析」と日本語... 続きを読む

AWS Config が高いと感じたら。AWS Config のコストを15分の1に下げた話 - ABEJA Tech Blog

2023/12/21 6 users AWS Config コスト 村主 リソース 15分

切っ掛けと問題の認識 AWS Config のカウント数の監視 対象外にしたいリソースが見つかったら AWS Config 側で除外する 実際のコスト削減効果 なぜもともとコストが高かったのか まとめ こんにちは、ABEJAの村主です。 今回は、意外にも高額になりがちなAWS Configのコスト削減について、どのように対応したかをご紹介し... 続きを読む

コンペで使える！？LightGBMで実装する３つの弱教師あり学習 - ABEJA Tech Blog

2023/09/04 9 users LightGBM コンペ 目次 データサイエンティスト 小林

ABEJAでデータサイエンティストをしている小林です。 今回は、もしかしたらいつか業務や機械学習コンペに役立つかもしれない情報、LightGBMで弱教師あり学習を行う方法についてお話します。 コードはこちらで公開しております。 目次 はじめに 弱教師あり学習の例（マルチインスタンス学習） LightGBMで弱教師あり学習が... 続きを読む

ChatGPT の仕組みを理解する（前編） - ABEJA Tech Blog

2023/07/27 22 users chatgpt LLM ABEJA Tech Blog 坂井

こんにちは！株式会社 ABEJA で ABEJA Platform 開発を行っている坂井（@Yagami360）です。世間では ChatGPT などの大規模言語モデル（LLM）による対話型 AI が盛り上がってますね。クオリティーも凄いし AI 業界以外でも盛り上がってると嬉しいですよね。この数年で一段と AI の社会実装が業界以外の人にも目に見える形... 続きを読む

外部データをRetrievalしてLLM活用する上での課題と対策案 - ABEJA Tech Blog

2023/07/03 17 users ABEJA Tech Blog 課題 対策案 外部データ 服部

はじめに ABEJAでデータサイエンティストをしている服部です。 今回はLLMで外部データを使うケースについてのお話をしたいと思います。 はじめに LLMと外部データの利用 RetrievalとLLM 0. (事前準備)参照したいテキストデータをDBに格納 1. ユーザの入力文とのテキスト類似度を計算して、関連テキストを抽出する(Retrie... 続きを読む

GPTでKey作品の名言から文章を生成してみた - ABEJA Tech Blog

2022/12/13 12 users GPT インターン 目次 名言 生成コード

目次 目次 はじめに そもそもGPTとは 日本語データセットで学習されたGPT 入力文章 GPTによる生成コード 出力結果 ChatGPTで生成 まとめ ABEJAについて はじめに 本記事はABEJAアドベントカレンダー2022の13日目の記事です。 こんにちは！カスタマーサクセス統括部 データサイエンスグループでインターンをやらせていた... 続きを読む

夫婦で納得の土地探しをするためにLINE Bot作ったりデータサイエンスした話 - ABEJA Tech Blog

2022/12/10 127 users ABEJA Tech Blog 土地 夫婦 納得 服部

皆さんこんにちは！ ABEJAでデータサイエンティストをしている服部といいます。 本記事はABEJA Advent Calendar2022の10日目の記事になります。 背景 引っ越しから2年.... データサイエンティストとしてのリベンジ 前回の反省を踏まえて.... 1. お得そうに見える土地には絶対に理由がある 2. 土地の数はせいぜい限られて... 続きを読む

ABEJAで作った大規模GPTモデルとその道のり - ABEJA Tech Blog

2022/07/27 14 users GPTモデル 道のり ABEJA Tech Blog 学習

1. はじめに 2. そもそもGPTとは?? 3. ABEJAで作ったGPTモデルについて 3.1 モデルサイズ 3.2 データセット Wikipedia CC100 OSCAR mC4 3.3 参考にしたコード 3.4 モデルの学習 せっかくここまで育てたモデルが・・・ 4. 技術的な工夫点 4.1 データセットの前処理 4.2 GPT-neoxの活用 4.3 並列VMでの学習 4.4 モデルアー... 続きを読む

実務で必須！２変数の関連性を正しく評価できるよう関連知識をまとめてみた - ABEJA Tech Blog

2022/04/14 21 users 実務 ABEJA Tech Blog 2変数 必須 関連知識

こんにちは、ABEJAの真壁孝嘉（@Takayoshi_ma）です。変数Aと変数Bにどれくらいの関連性があるの？このデータから何が言える？みたいなニーズって至る所にあるかと思います。その時に活用される様々な数学的指標たち、（自分含め）名前を知ってるだけだと危険だよなあって場面が近頃多い気がしたので、改めてメモ的な意... 続きを読む

ABEJA Insight for Retailの技術スタックを公開します (2021年10月版） - ABEJA Tech Blog

2021/10/22 14 users 技術スタック ABEJA Tech Blog 大田黒 初め

初めに こんにちわ。大田黒（おおたぐろ）です。暑い日が落ち着いてきて、秋(冬？）が来たなぁと感じるこの頃です。皆様いかがおすごしでしょうか。前回の「ABEJAの技術スタックについて紹介する記事」が公開されてからしばらく経ちました。 引き続きエンジニアの方とお話させていただく中で、 「ABEJAってよく聞くけど.... 続きを読む

AI新興、ブームが一服　　アベジャ、SOMPO関連会社に: 日本経済新聞

2021/05/11 11 users 一服 アベジャ AI新興 ブーム 出資

日経の記事利用サービスについて 企業での記事共有や会議資料への転載・複製、注文印刷などをご希望の方は、リンク先をご覧ください。 詳しくはこちら 人工知能（AI）に関わるスタートアップのブームに一服感が出てきた。象徴は米グーグル本体から出資を受けたことで知られるABEJA（アベジャ、東京・港）だ。画像分析な... 続きを読む

フロントエンドを100倍速くした（ ＾ω＾） - Qiita

2020/12/24 291 users Qiita 年の瀬 グロ フロントエンド チーム

おはようございます、なのくろです。年の瀬ですね。 この記事は ABEJA Advent Calendar 2020 の最終日です。 私は2020年01月にABEJAへ入社しました。チームではフロントエンド開発全般を任されています。 参入してちょうど１年が経過しましたので、今年取り組んだことをまとめました。 「フロントエンドを100倍速く」と... 続きを読む

データセットの読み込みにはEBS、その成果物にはEFSを使うとよい　文献から学ぶクラウド機械学習のベストプラクティス - ログミーTech

2020/11/02 8 users efs 知見 EBS ABEJA Platform AWS環境

Machine Learning Casual Talksは、機械学習を用いたシステムを実運用している話を中心に、実践的な機械学習に関して気軽に話す会です。実際に運用していく上での工夫や、知見を共有します。今回は、ABEJAの服部圭悟氏が、文献を紹介しながら、自社のABEJA Platformでの実践例も交え、AWS環境における機械学習プロジェク... 続きを読む

ABEJAのスピードあるコロナ（COVID-19）対応 - ABEJA Tech Blog

2020/06/24 6 users ADMIN コロナ COVID－19 意志 緊急事態宣言

ABEJAでAdminの業務（一般的には管理部？）をしている森田潤也です。コロナの影響による働き方の対策に関して、緊急事態宣言が終わったこともありこれまでにやったことを振り返りとして整理しました。いろんな仕組みをスピード持って意志決定して作れたなぁ。とそれなりに満足してます。個別で参考になるものや、ABEJAイ... 続きを読む

Go vs Rust : 特徴量DBに適するのはどっち！？ - ABEJA Tech Blog

2020/04/09 24 users Go vs Rust ABEJA Tech Blog 中川

ABEJA で Research Engineer をやっている中川です．普段は論文読んだり，機械学習モデルを実装したり，インフラを構築したりしています．今回のブログでは，Insight for Retail の一機能として提供しているリピータ分析に用いる特徴量DBの改善に向けた言語選定について紹介します． モチベーション リピート分析では，... 続きを読む

デザイナー3人が語る「こうしてデザインと組織とプロダクトに向き合った」Design it！#1｜テクプレたちの日常 by ABEJA

2020/02/14 5 users DESIGN MEET UP デザイナー DESIGN IT

ABEJAでプロダクトのデザインを担当している上野真由美です。 12月17日にデザイナー向けのmeet up イベント「Design it！#1」を、本社セミナールームで開きました。50を超す人たちが集まりました。 なぜいま開いたのかこのイベントは、「デザイナーが語る、デザインとプロダクトと組織」というテーマで、「ビジネスに泥... 続きを読む

AWSのAZ障害でもサービスを継続させる技術 - ABEJA Tech Blog

2019/12/11 29 users AWS AZ障害 村主 ABEJA Tech Blog 技術

こんにちは。ABEJAのインフラ管理してる村主 @rwle1221 です。 本ブログは ABEJA Advent Calendar 2019 の11日目です。 今日は、みなさん記憶に新しい2019年8月末に発生した AWS の東京リージョンの AZ 障害について、どのようにしていればサービス影響を与えずにシステムを稼働させられたのか。という話をしたいと思い... 続きを読む

なぜPrometheusを辞めてDatadogを採用したのか - ABEJA Tech Blog

2019/12/08 17 users Prometheus 村主 Datadog インフラ 採用基準

こんにちは。ABEJAのインフラ管理してる村主 @rwle1221 です。 本ブログは Datadog Advent Calendar 2019 の8日目です。 今日は ABEJA Platform というプロダクトで、なぜ Prometheus から Datadog に変えたのか。というお話したいと思います。 一人の方でも採用基準の参考になればと思います。 第一フェーズ：実は元々D... 続きを読む

ICCV2019 に参加してきました - ABEJA Tech Blog

2019/11/19 23 users ABEJA Tech Blog Researcher 白川

ABEJA で Research Engineer をやっている中川です．普段は論文読んだり，機械学習モデルを実装したり，インフラを構築したりしています． 10/27-11/2 に韓国で開催された ICCV2019 に Researcher の白川と参加してきたので簡単に報告します． Summary 過去最大の ICCV で中国・アメリカの完全なる二強状態． ハードウェ... 続きを読む

ABEJAの技術スタックを公開します(2019年11月版) - ABEJA Tech Blog

2019/11/11 173 users 緒方 自称 技術スタック エンジニア 技術視点

どうも、Tech Blog編集長(自称)の緒方(@conta_)です。 よくエンジニアの方にご質問いただく ABEJAってよく聞くけど、実際どんなことやってるのかよくわからない という点をクリアにするために、事業内容と技術視点でのABEJAの取り組みを紹介したいと思います。 ABEJAに興味のある方や、未来の一緒に働くメンバーに読んで... 続きを読む

「僕は楽しいからそうする」。大学の外で研究する「在野研究者」たち｜Torus (トーラス)by ABEJA

2019/10/23 43 users 在野 トーラス Torus 在野研究ビギナーズ アカデミア

”なにかおもしろいことが生まれる可能性はアカデミアのなかにもあるだろうけど、在野や世間にだって同じくらいある。その区別も今となってはどうでもいい。僕はどっちにも存在している。学びはどこでもできる。何度でも始めなおせばいい。僕は楽しいからそうする” （『在野研究ビギナーズ』逆卷しとね 「第一二章 彷徨う... 続きを読む

「製造業のコストはAIで劇的に削減できる」ABEJAが導入事例とAIモデル作成を披露「NVIDIA ディープラーニングセミナー 次世代の製造現場へ提案」で | ロボスタ

2019/10/21 34 users NVIDIA ディープラーニング ソリューション とおり 導入

シェア 2 ツイート 0 はてブ 1 NVIDIAは「次世代の製造現場へ提案 NVIDIA ディープラーニングセミナー」を都内で開催した。タイトルのとおり今回のテーマは「製造現場」と「ディープラーニング」。NVIDIA とパートナーが提供する製造業向けのディープラーニング・ソリューションを紹介し、活用し始めている製造業の導入... 続きを読む

タイで「日本ブランド」の地盤沈下？ 若手大使館員がベンチャーと切り拓く未来 | Forbes JAPAN（フォーブス ジャパン）

2019/09/30 14 users フォーブス 地盤沈下 ベンチャー ディープラーニング タイ

これまで、社員数十人のベンチャーでも海外で成功できるのかというテーマで、ディープラーニングを手がけるベンチャー企業「ABEJA」で海外事業を担当する私自身や仲間の奮闘を伝えてきました。 そんな私たちがシンガポールに進出したのとほぼ同じ時期に、タイに赴任した大使館員がいます。在タイ日本国大使館一等書記官... 続きを読む