情報検索モデルで最高性能(512トークン以下)・日本語版SPLADE v2をリリース - A Day in the Life

2024/12/23 9 users リリース 最高性能 セコン hotchpotch 趣味

2024年は情報検索技術に興味を持ち、情報検索関連のモデル作りを趣味で行っている @hotchpotch (セコン)です。Transfomer は割と適当にやっても、いい感じに学習してくれるので、楽しいですね。 というわけで、日々部屋でご家庭用GPUを回し、以前公開した情報検索に特化したモデル・日本語版SPLADE v1をさらに良い感じに... 続きを読む

日本語 BERT RetroMAE モデルの公開と、後続検索タスクでの評価 - A Day in the Life

2024/10/30 8 users モデル 評価 日本語 公開

結果として、ほぼ全てのスコアにおいて性能向上が確認されており、RetroMAEの有益性が確認された。また学習方法も、教師なしでテキストのみを与えれば良いという手軽さも実用性が高いであろう。 RetroMAE について RetroMAEの特徴は、Masked Auto-Encoderの手法を採用しながら、以下の3つの設計を取り入れた点である。 ... 続きを読む

世界最速のスーパーコンピューター「Frontier」はどんなマシンなのか

2024/09/09 6 users Frontier articles スーパーコンピュー 開発

By OLCF at ORNL 2024年9月時点で公開されている中では世界最大の計算能力を誇るスーパーコンピューター「Frontier」について、Natureが解説しています。 A day in the life of the world’s fastest supercomputer https://www.nature.com/articles/d41586-024-02832-5 世界各国が開発・設置しているスーパーコンピュー... 続きを読む

日本語最高性能のRerankerをリリース / そもそも Reranker とは? - A Day in the Life

2024/04/01 12 users Embeddings テクニカルレポート リリース 文章 興味

なお、今回作ったRerankerの技術的な話は、日本語 Reranker 作成のテクニカルレポートに記載しているので、興味のある方はそちらをご覧ください。 そもそも Reranker とは？ Reranker とは、名前の通り再ランク付け(rerank)するもので、質問文に対して関連する順に文章を並べ替えます。文ベクトル(文章のembeddings)で類... 続きを読む

Q&A + RAG に特化したLLMをSFTで学習させ4bit量子化モデルを作り、GPT3.5以上の性能を7Bモデルで達成する - A Day in the Life

2023/12/14 14 users LLM hotchpotch github.com Rag

なお、評価に使ったコードはこちらの eval_xxx というコードである。 https://github.com/hotchpotch/youri-7b-stf-qa-context-jaqket/ Supervised Fine-tuning Trainer(SFT) を使った学習 STFは手軽な方法で指示に対して特定フォーマットの出力(Instruction Tuning)を学習させることができる方法である。学習のさせ方も... 続きを読む

RAG用途に使える、Wikipedia 日本語の embeddings とベクトル検索用の faiss index を作った - A Day in the Life

2023/12/03 14 users Embeddings

この記事は、情報検索・検索技術 Advent Calendar 2023の12月4日の記事である。 昨今のLLMの台頭により、外部情報を In-Context Learning として利用しLLMの生成結果の性能を高めることが可能な RAG(Retrieval Augmented Generation) の重要性の高まりを感じる。ただ、RAG を使ったシステムを構築してみようにも、データ... 続きを読む

1st page : A day in the life / アイドルマスター シャイニーカラーズ 事務的光空記録 - 夜出 偶太郎 | サンデーうぇぶり

2023/10/20 59 users シャイニーカラーズ 偶太郎 サンデーうぇぶり 経費精算 個性

アイドルマスター シャイニーカラーズ 事務的光空記録 夜出 偶太郎 「283プロダクション」 個性豊かなアイドルたちが集まる、小さいながら賑やかな「家」のような事務所。 電話対応、書類作成、経費精算などなど…… 「プロデュース」とは別のお仕事で、輝くアイドルたちを支えているのが事務員さんです。 283プロの事務員... 続きを読む

LoRA のもう一つの大きなメリット、GPUメモリ共有しつつ別のタスク処理モデルへ即時に切り替える方法 - A Day in the Life

2023/05/31 13 users CyberAgent Transformers LoRa

低ランク行列を追加することで、大元のモデルを維持しつつ少ないコストで学習できる LoRA(Low-Rank Adaptation of Large Language Models)。先日、日本語でも大規模パラメータモデル cyberagent/open-calm-7b や rinna/japanese-gpt-neox-3.6b 等々がリリースされたり、HuggingFaceからはtransformersでLoRAを簡単に実現... 続きを読む

RubyKaigi 2023 Day 3 / 2023年5月13日 - A Day in the Life

2023/05/15 5 users

引き続きホテル大和田に宿泊。朝の散歩二日目も気持ちが良いなぁ。周りどこ見ても山々、という景色も素晴らしい。 RubyKaigiで、Rubyistのキーボードを並べるちょっとしたイベントがあったので覗いてみると、どれもこれも面白くて新しいキーボード欲しくなるなぁ。日本のカスタムキーボードの先駆けの一人であるT氏から... 続きを読む

SVMを使った類似 embeddings 検索 - kNN ではない類似検索の選択肢 - A Day in the Life

2023/04/29 12 users SVM KNN Embeddings Top-K 実装

LangChain v0.0.141 に SVM Retriever という実装が入った。これは embeddings(集合)から、単一 embedding と類似しているもの top-K を SVM を使って見つけるという実装で、えっどうやってるの？と追っかけてみたら、知らない知識で面白かったのでメモ記事に。 kNN vs SVM この実装の元となった、knn_vs_svm.ipynbとい... 続きを読む

AI News の公開と、裏側の OpenAI の活用話 - A Day in the Life

2023/04/24 32 users Twitter OpenAI ATOMフィード 手前味噌 裏側

AI News という、AI・データサイエンス(DS)・機械学習(ML)関係の話題を集め、AIで3行に要約して配信するサイトを公開しました。twitter @AINewsDev や Atomフィードでも配信しています。数日前から運用していて、手前味噌ですが便利に情報集めに使えています。また英語記事も日本語で要約されるので便利です。 なぜ作っ... 続きを読む

Twitterでツイートされるリンクの中身はどういったジャンルのものが多いのか - GIGAZINE

2012/08/17 72 users GIGAZINE Twitter INFOGRAPHIC

By Jurgen Appelo 日々いろいろなサイトやムービーへのリンクを記したツイートがタイムラインを飛び交っていますが、いったいそのリンク先のサイトはどういったものが多いのかという疑問に、Diffbotが75万件のツイートを分析して答えを出してくれました。 Twitter: A Day in the Life [INFOGRAPHIC] 分析は2012年7月10日から11日にかけて、ツイート... 続きを読む

知識0から始めるiPhoneアプリ開発 - A Day In The Life

2010/08/02 2191 users iPhoneアプリ開発 知識

iphone, objective-c/objciPhone アプリ開発を初めてはや2年。わけわからんレベルからなんとかアプリをリリースするところまでこぎつけました。もともと趣味ではじめた事ですが今は仕事でも iPhone アプリ開発をしています。ここに至るまで自分が調べたことや参考にした文書をアプリの構想からアプリをリリースするまでの手順にそってまとめてみました。初期投資10800円とプライベー... 続きを読む