はてブログ

はてなブックマーク新着エントリーの過去ログサイトです。



タグ ABEJA Tech Blog

新着順 人気順 5 users 10 users 50 users 100 users 500 users 1000 users
 
(1 - 25 / 41件)

Megatron-LMとGKEで作るMixtral 8x7Bを語彙拡張継続事前学習 Part1 ~学習コードとモデルの先行公開~ - ABEJA Tech Blog

2024/04/20 このエントリーをはてなブックマークに追加 18 users Instapaper Pocket Tweet Facebook Share Evernote Clip GKE 先行公開 モデル

こんにちは!ABEJAでデータサイエンティストをしている大谷です。 ABEJAは国立研究開発法人新エネルギー・産業技術総合開発機構(以下「NEDO」)が公募した「ポスト5G情報通信システム基盤強化研究開発事業/ポスト5G情報通信システムの開発」に当社提案の「LLMの社会実装に向けた特化型モデルの元となる汎化的LLM」が採... 続きを読む

社内用語集を気軽に質問できるSlackBotを作ってみた (RAGの応用アプリ) - ABEJA Tech Blog

2024/02/08 このエントリーをはてなブックマークに追加 116 users Instapaper Pocket Tweet Facebook Share Evernote Clip Rag Slackbot LLM GitHub ABEJA

こんにちは!株式会社 ABEJA で ABEJA Platform 開発を行っている坂井(GitHub : @Yagami360)です。 LangChain を使用すれば、RAG [Retrieval Augment Generation] を使用した LLM アプリケーションを簡単に作成できるので便利ですよね。 今回 LangChain での RAG を使用して、LLM が学習に使用していない特定ドメイン... 続きを読む

色々な生成AIモデルをColabで動かして今年を振り返る - ABEJA Tech Blog

2023/12/21 このエントリーをはてなブックマークに追加 13 users Instapaper Pocket Tweet Facebook Share Evernote Clip Colab 生成AIモデル

こんにちは、ラボで研究開発をしたりプロトタイプを作っている藤本(X(Twitter))です。ここ近年、生成AIの勢いが凄いです。最近は一夜明けたら世界が変わっているみたいなことがしょっちゅう起きています。そんな状況なので、なかなか世の中についていくのが難しいのではないかと思います。そこで今回は、これまでに色々... 続きを読む

LangChainを使わない - ABEJA Tech Blog

2023/12/13 このエントリーをはてなブックマークに追加 137 users Instapaper Pocket Tweet Facebook Share Evernote Clip LangChain

TL; DR LangChainのメリデメを整理する過程で、今となってはopenai-pythonのうちChatGPTのAPIをを簡単に取り回せる程度のシンプルなライブラリがあるだけでも十分便利なんじゃないかと思ったので、ライブラリを個人で作ってみました。(バージョン0.0.1なのでちょっとお粗末な所もありますが) github.com はじめに こん... 続きを読む

ChatGPT の仕組みを理解する(前編) - ABEJA Tech Blog

2023/07/27 このエントリーをはてなブックマークに追加 22 users Instapaper Pocket Tweet Facebook Share Evernote Clip chatgpt LLM ABEJA 坂井 クオリティー

こんにちは!株式会社 ABEJA で ABEJA Platform 開発を行っている坂井(@Yagami360)です。世間では ChatGPT などの大規模言語モデル(LLM)による対話型 AI が盛り上がってますね。クオリティーも凄いし AI 業界以外でも盛り上がってると嬉しいですよね。この数年で一段と AI の社会実装が業界以外の人にも目に見える形... 続きを読む

外部データをRetrievalしてLLM活用する上での課題と対策案 - ABEJA Tech Blog

2023/07/03 このエントリーをはてなブックマークに追加 17 users Instapaper Pocket Tweet Facebook Share Evernote Clip 課題 対策案 外部データ LLM ABEJA

はじめに ABEJAでデータサイエンティストをしている服部です。 今回はLLMで外部データを使うケースについてのお話をしたいと思います。 はじめに LLMと外部データの利用 RetrievalとLLM 0. (事前準備)参照したいテキストデータをDBに格納 1. ユーザの入力文とのテキスト類似度を計算して、関連テキストを抽出する(Retrie... 続きを読む

暗号の歴史と現代暗号の基礎理論(RSA, 楕円曲線)-前半- - ABEJA Tech Blog

2023/04/11 このエントリーをはてなブックマークに追加 584 users Instapaper Pocket Tweet Facebook Share Evernote Clip RSA 楕円曲線 前半 現代暗号 基礎理論

はじめに このブログに書かれていること 自己紹介 注意 Part1 古典暗号 2つの暗号方式 スキュタレー暗号 アルゴリズムと鍵 シーザー暗号 原理 頻度分析 アルベルティ暗号 ヴィジュネル暗号 如何にしてヴィジュネル暗号は破られたか Part2 近代暗号 エニグマ エニグマの登場 エニグマの基本構造 如何にしてエニグマは突破... 続きを読む

暗号の歴史と現代暗号の基礎理論(RSA, 楕円曲線)-後半- - ABEJA Tech Blog

2023/04/11 このエントリーをはてなブックマークに追加 333 users Instapaper Pocket Tweet Facebook Share Evernote Clip RSA RSA暗号 楕円曲線 暗号 共通鍵暗号方式

はじめに このブログに書かれていること 自己紹介 注意 Part3 現代の暗号 共通鍵暗号方式と鍵配送問題 鍵配送問題とは? 共通鍵暗号方式と公開鍵暗号方式の違いとメリット・デメリット RSA暗号 RSAで使われる鍵 処理手順 暗号化の手順 復号化の手順 RSA暗号の数学的背景 一次不定式が自然数解を持つ理由 eとLの関係性 そ... 続きを読む

Stable Diffusion の仕組みを理解する - ABEJA Tech Blog

2022/12/19 このエントリーをはてなブックマークに追加 248 users Instapaper Pocket Tweet Facebook Share Evernote Clip Stable Diffusion

この記事は、ABEJAアドベントカレンダー2022 の 19 日目の記事です。 こんにちは!株式会社 ABEJA で ABEJA Platform 開発を行っている坂井です。 世間では Diffusion Model 使った AI による画像生成が流行っているみたいですね。 自分は元々 Computer Vision 系の機械学習エンジニアだったんですが、この1年くらいは ... 続きを読む

GPTでKey作品の名言から文章を生成してみた - ABEJA Tech Blog

2022/12/13 このエントリーをはてなブックマークに追加 12 users Instapaper Pocket Tweet Facebook Share Evernote Clip GPT ABEJA インターン 目次 名言

目次 目次 はじめに そもそもGPTとは 日本語データセットで学習されたGPT 入力文章 GPTによる生成コード 出力結果 ChatGPTで生成 まとめ ABEJAについて はじめに 本記事はABEJAアドベントカレンダー2022の13日目の記事です。 こんにちは!カスタマーサクセス統括部 データサイエンスグループでインターンをやらせていた... 続きを読む

オフィスDXを支える技術2022年版(チャットツール連携編) - ABEJA Tech Blog

2022/12/11 このエントリーをはてなブックマークに追加 11 users Instapaper Pocket Tweet Facebook Share Evernote Clip 小笠原 Advent Calendar エンジニア 去年 土地

ABEJA Advent Calendar 2022 11日目の記事です。昨日は服部さんの夫婦で納得の土地探しをするためにLINE Bot作ったりデータサイエンスした話でした。 はじめに こんにちは、こんばんは、おはようございます、エンジニアの小笠原(@seiro-ogasawara)です。 去年の Advent Calendar で @toshitanian がオフィスDXを支える技... 続きを読む

夫婦で納得の土地探しをするためにLINE Bot作ったりデータサイエンスした話 - ABEJA Tech Blog

2022/12/10 このエントリーをはてなブックマークに追加 127 users Instapaper Pocket Tweet Facebook Share Evernote Clip 土地 夫婦 納得 ABEJA 服部

皆さんこんにちは! ABEJAでデータサイエンティストをしている服部といいます。 本記事はABEJA Advent Calendar2022の10日目の記事になります。 背景 引っ越しから2年.... データサイエンティストとしてのリベンジ 前回の反省を踏まえて.... 1. お得そうに見える土地には絶対に理由がある 2. 土地の数はせいぜい限られて... 続きを読む

掃除ロボットをかゆいところまで手の届く仕様に改造する - ABEJA Tech Blog

2022/12/01 このエントリーをはてなブックマークに追加 15 users Instapaper Pocket Tweet Facebook Share Evernote Clip かゆいところ 掃除ロボット 仕様

はじめに 本記事はABEJA Advent Calendar 2022 1本目の記事です。 こんにちは、メカやロボットが大好きな栗林です。本日ご紹介するのは清掃ロボットの制御システムをRaspberry Piから操作する方法についてです! URYYYYYYYY!! 過去の記事など tech-blog.abeja.asia tech-blog.abeja.asia ※ 例によって、本記事でおこなっ... 続きを読む

Kaggle Days World Championshipで優勝した話 - ABEJA Tech Blog

2022/11/18 このエントリーをはてなブックマークに追加 14 users Instapaper Pocket Tweet Facebook Share Evernote Clip

ABEJAでデータサイエンティストをしている服部です。 2022年10月28, 29日にバルセロナにてKaggle Days World Championship Finalというデータサイエンスに関するイベント兼コンペティションが開催され、そこに参加しました。そして幸いなことに私の所属するチームが優勝することができました!! 本記事では今回のイベン... 続きを読む

GPT-neoxの学習用にマルチノード並列学習環境を整えた with DeepSpeed - ABEJA Tech Blog

2022/08/03 このエントリーをはてなブックマークに追加 15 users Instapaper Pocket Tweet Facebook Share Evernote Clip 学習用

1. はじめに 2. 並列学習環境を調べる 並列学習方法を調べる ネットワーク、コンピューティング周りを調べる 3. インフラ環境を構築する コンパクトプレースメントポリシーの作成 Compute Engine を起動する (Fast Socket と gVNIC を利用する) 4. まずはシングルノードで動かす 5. 次はマルチ環境で動かす w/ Docker リ... 続きを読む

ABEJAで作った大規模GPTモデルとその道のり - ABEJA Tech Blog

2022/07/27 このエントリーをはてなブックマークに追加 14 users Instapaper Pocket Tweet Facebook Share Evernote Clip ABEJA GPTモデル 道のり 学習 処理

1. はじめに 2. そもそもGPTとは?? 3. ABEJAで作ったGPTモデルについて 3.1 モデルサイズ 3.2 データセット Wikipedia CC100 OSCAR mC4 3.3 参考にしたコード 3.4 モデルの学習 せっかくここまで育てたモデルが・・・ 4. 技術的な工夫点 4.1 データセットの前処理 4.2 GPT-neoxの活用 4.3 並列VMでの学習 4.4 モデルアー... 続きを読む

Firebase Realtime Databaseの利用料増加問題をFirestore移行で解決した話 (年間数百万削減) - ABEJA Tech Blog

2022/05/16 このエントリーをはてなブックマークに追加 15 users Instapaper Pocket Tweet Facebook Share Evernote Clip Firebase Realtime Database

はじめに ある日、このようなIssueが起票されました。 背景を話すと、Insight for Retail の顧客管理システムは5年ほど前にFirebaseで作成されております。 事業を切り開いていった先人たちには足を向けて寝られないのですが、サービスの成長に伴いマイクロサービス化していった結果、この顧客管理システムのRealtime Da... 続きを読む

実務で必須!2変数の関連性を正しく評価できるよう関連知識をまとめてみた - ABEJA Tech Blog

2022/04/14 このエントリーをはてなブックマークに追加 21 users Instapaper Pocket Tweet Facebook Share Evernote Clip 実務 2変数 必須 関連知識 ABEJA

こんにちは、ABEJAの真壁孝嘉(@Takayoshi_ma)です。変数Aと変数Bにどれくらいの関連性があるの?このデータから何が言える?みたいなニーズって至る所にあるかと思います。その時に活用される様々な数学的指標たち、(自分含め)名前を知ってるだけだと危険だよなあって場面が近頃多い気がしたので、改めてメモ的な意... 続きを読む

ABEJA Data Scienceチームの紹介 - ABEJA Tech Blog

2021/11/19 このエントリーをはてなブックマークに追加 11 users Instapaper Pocket Tweet Facebook Share Evernote Clip 紹介

はじめに ABEJAにおけるDSのお仕事 どんな仕事? どんな人達? 業務の進め方 アセスメントフェーズ PoCフェーズ インテグレーションフェーズ ABEJA DSの特徴 ①運用を意識したモデル開発 ②要件定義フェーズの早い段階からの連携 ③技術・情報共有の仕組み 日々の取り組みや制度 ①DS Review(提案内容議論・レビュー会) ②... 続きを読む

ABEJA Insight for Retailの技術スタックを公開します (2021年10月版) - ABEJA Tech Blog

2021/10/22 このエントリーをはてなブックマークに追加 14 users Instapaper Pocket Tweet Facebook Share Evernote Clip 技術スタック 大田黒 ABEJA エンジニア 初め

初めに こんにちわ。大田黒(おおたぐろ)です。暑い日が落ち着いてきて、秋(冬?)が来たなぁと感じるこの頃です。皆様いかがおすごしでしょうか。前回の「ABEJAの技術スタックについて紹介する記事」が公開されてからしばらく経ちました。 引き続きエンジニアの方とお話させていただく中で、 「ABEJAってよく聞くけど.... 続きを読む

Go vs Rust : 特徴量DBに適するのはどっち!? - ABEJA Tech Blog

2020/04/09 このエントリーをはてなブックマークに追加 24 users Instapaper Pocket Tweet Facebook Share Evernote Clip Go vs Rust ABEJA 中川 インフラ 言語選定

ABEJA で Research Engineer をやっている中川です.普段は論文読んだり,機械学習モデルを実装したり,インフラを構築したりしています.今回のブログでは,Insight for Retail の一機能として提供しているリピータ分析に用いる特徴量DBの改善に向けた言語選定について紹介します. モチベーション リピート分析では,... 続きを読む

Atomic Design思考でVue.js×Plotly.jsでのグラフComponentを実装した結果 - ABEJA Tech Blog

2019/12/11 このエントリーをはてなブックマークに追加 20 users Instapaper Pocket Tweet Facebook Share Evernote Clip 結果

第0章:はじめに こんにちは。はじめまして。 ABEJAでフロントエンドとバックエンドをフラフラしているエンジニアの齋藤(@z-me)*1です。 本ブログは ABEJA Advent Calendar 2019 の9日目です。 不本意ながらABEJAで開催するフロントエンドのミートアップやカジュアル面談でよく、 ABEJAってAIの会社ってイメージはあるけ... 続きを読む

AWSのAZ障害でもサービスを継続させる技術 - ABEJA Tech Blog

2019/12/11 このエントリーをはてなブックマークに追加 29 users Instapaper Pocket Tweet Facebook Share Evernote Clip AWS AZ障害 村主 ABEJA 技術

こんにちは。ABEJAのインフラ管理してる村主 @rwle1221 です。 本ブログは ABEJA Advent Calendar 2019 の11日目です。 今日は、みなさん記憶に新しい2019年8月末に発生した AWS の東京リージョンの AZ 障害について、どのようにしていればサービス影響を与えずにシステムを稼働させられたのか。という話をしたいと思い... 続きを読む

なぜPrometheusを辞めてDatadogを採用したのか - ABEJA Tech Blog

2019/12/08 このエントリーをはてなブックマークに追加 17 users Instapaper Pocket Tweet Facebook Share Evernote Clip Prometheus 村主 Datadog ABEJA 参考

こんにちは。ABEJAのインフラ管理してる村主 @rwle1221 です。 本ブログは Datadog Advent Calendar 2019 の8日目です。 今日は ABEJA Platform というプロダクトで、なぜ Prometheus から Datadog に変えたのか。というお話したいと思います。 一人の方でも採用基準の参考になればと思います。 第一フェーズ:実は元々D... 続きを読む

EKSの運用を楽に安くするためにSpotinst Oceanを使って工夫してる話 - ABEJA Tech Blog

2019/12/02 このエントリーをはてなブックマークに追加 12 users Instapaper Pocket Tweet Facebook Share Evernote Clip EKS 運用

こんにちは。ABEJAのインフラ管理してる村主 @rwle1221 です。 この記事は Amazon EKS Advent Calendar 2019 2日目の記事です。 1日目は AWSの中の方が re:Invent 直前のアツい想いを書く ということで、ハードルが上がってそうですがそんなことは気にせずに書いていきたいと思います。 [課題] ワーカーノードを管理した... 続きを読む

 
(1 - 25 / 41件)