大規模データセットのためのアルゴリズムとデータ構造 - カメヲラボ

2024/07/17 16 users アルゴリズム リズ 数式 大規模データセット データ構造

とても良い本が出ます 概要 構成 第1部：確率的で簡潔なデータ構造 第2部：ストリーミングデータ構造とアルゴリズム 第3部：外部記憶データ構造とアルゴリズム 具体的なコードは少な目 参考文献がしっかり書いてある 数式は最低限 図がモリモリ 翻訳版特有の情報 内容的な修正 カタカナ表記 検索のしやすさ 読む際のリズ... 続きを読む

大規模言語モデル（LLM）に関するビジネスと法律～LLMやデータセットの構築と提供（レイヤー1）～ | STORIA法律事務所

2023/04/13 10 users LLM レイヤー 自民党 STORIA法律事務所 構築

第1　はじめに 前回の記事で大規模言語モデル（LLM）に関するビジネスは3つのレイヤーに分けると理解しやすいというお話をしました。 このうち、レイヤー1は「大規模データセットや大規模言語モデルを自ら開発して公開・提供するレイヤー」です。 このレイヤーに関する最近の話題としては、自民党が公表したホワイトペー... 続きを読む

Meta、画像内アイテム識別のAIモデル「SAM」と大規模データセットを無償公開

2023/04/06 22 users Meta sam 米Meta オブジェクト 無償

MetaのAI部門Meta AIは、画像内のオブジェクトをセグメント化するAIモデル「SAM」を無償公開した。また、このモデルのトレーニングに使った大規模データセット「SA-1B」も公開。従来のマスクデータセットの400倍の規模だ。 米MetaのAI部門であるMeta AIは4月5日（現地時間）、画像内から個々のオブジェクトを選択できるA... 続きを読む

IBM、55種類の言語、5億行のコードからなるソースコードの大規模データセット「Project CodeNet」を公開：CodeZine（コードジン）

2021/05/13 13 users ブログ CodeZine IBM Research IBM

IBM Researchは、55種類以上のプログラミング言語、1400万のサンプル、5億行のコードで構成される、ソースコードの大規模なデータセット「Project CodeNet」を5月11日（現地時間）にオープンソースで公開した。 Project CodeNetは、AIにソースコードを学習させるための大規模データセット。55種類以上のさまざまなプログ... 続きを読む