KaggleのNLPコンペで初手に使える可視化 〜BERTopicを用いた文書クラスタリングと可視化〜

2024/03/03 14 users Kaggle 初手 Kaggleコンペ 文書クラスタリング

BERTopic は、Transformersを用いて文書のトピックモデリングを行うためのPythonライブラリです。本記事では、自分がKaggleコンペの初手EDAによく使うコードをまとめました。 入出力のイメージ 入力： 文章のリスト （例：["I am sure some bashers of Pens fans ...", "My brother is in the market for a high-perform... 続きを読む

「トランスフォーマー」の販売終了ゲーム再リリースに、権利元Hasbroが意欲示す。マイクロソフトの助力に期待 - AUTOMATON

2023/08/01 10 users Activision AUTOMATON Hasbro 助力

米玩具メーカーのHasbroが、「トランスフォーマー（Transformers）」の過去のゲーム作品について、再リリースに興味を示している。背景には、ゲーム版の販売元を務めていたActivisionの、マイクロソフトによる買収が現実味を帯びてきたことがあるようだ。海外メディアTFW2005が報じている。 変形ロボット生命体が活躍す... 続きを読む

大規模言語モデルの出力スピードを最大24倍に高めるライブラリ「vLLM」が登場、メモリ効率を高める新たな仕組み「PagedAttention」とは？

2023/06/22 14 users スループット ライブラリ メモリ効率 言語モデル モデル

大規模言語モデルを利用する際には、モデルそのものだけでなく、モデルを扱うためのライブラリが必要になってきます。多くの場合Transformersというライブラリが使用されていますが、「PagedAttention」という仕組みを導入した新たなライブラリ「vLLM」を利用することでスループットを最大24倍に向上できることが大規模... 続きを読む

LoRA のもう一つの大きなメリット、GPUメモリ共有しつつ別のタスク処理モデルへ即時に切り替える方法 - A Day in the Life

2023/05/31 13 users CyberAgent LoRa HuggingFace 即時

低ランク行列を追加することで、大元のモデルを維持しつつ少ないコストで学習できる LoRA(Low-Rank Adaptation of Large Language Models)。先日、日本語でも大規模パラメータモデル cyberagent/open-calm-7b や rinna/japanese-gpt-neox-3.6b 等々がリリースされたり、HuggingFaceからはtransformersでLoRAを簡単に実現... 続きを読む

WebAssemblyを用いてBERTモデルをフロントエンドで動かす - OPTiM TECH BLOG

2021/08/13 28 users WebAssembly Bert フロントエンド 伊藤 普段

はじめまして。R&Dチーム所属、20.5卒の伊藤です。 普段の業務では自然言語処理と格闘していることが多いです。 今回は自然言語処理モデルとして有名なBERTをWebAssemblyを使用してフロントエンドで動かしてみた話になります。 最近、自然言語処理ライブラリとして普段お世話になっているHugging Face社のTransformersの... 続きを読む

Transformersを用いた固有表現抽出のtips - Techブログ - MNTSQ, Ltd.

2020/12/16 16 users MNTSQ Tips 固有表現抽出 Techブログ

TL;DR TransformersのNERではFast Tokenizerを使うことで、サブトークン ↔ ラベルのアラインメントが実装できる。 長いテキスト入力については、無駄なpaddingを最小限にとどめて高速処理するために、入力を固定長分割するのが良い。 検出漏れが問題になるようであれば、ストライド付きのwindow処理を追加するのが良い。... 続きを読む

悪役ヅラのオプティマス・プライムが大暴れする「トランスフォーマー：最後の騎士王」予告編 - GIGAZINE

2017/04/13 14 users GIGAZINE Trailer トランスフォーマー 騎士王

2017年8月4日(金)に公開される映画「トランスフォーマー」シリーズの最新作「 トランスフォーマー／最後の騎士王 」の新たな予告編が公開されました。 『トランスフォーマー』公式(@tf_autobot)さん | Twitter https://twitter.com/tf_autobot Transformers: The Last Knight – Trailer (2017) Officia... 続きを読む

「ビーストウォーズ」がYouTubeで配信開始！　アドリブが乱れ飛ぶ“声優無法地帯”アニメの復活にTLが歓喜の渦 - ねとらぼ

2016/02/03 193 users ビーストウォーズ YouTube トランスフォーマー 歓喜

タカラトミーのYouTube公式チャンネルで、なんと“声優無法地帯”として名高い（？）アニメ「ビーストウォーズ 超生命体トランスフォーマー」の配信がスタートしました。 「ビーストウォーズ」は、「トランスフォーマー」の1シリーズとして、日本では1997年～1998年にかけて放送された世界初のフル3DCGアニメ。カナダ・メインフレーム社で制作された「BEAST WARS: TRANSFORMERS」を... 続きを読む

トランスフォーマーのオプティマス・プライム、AsusのTransformer Primeに名前返還を求める -- Engadget Japanese

2011/12/23 27 users Hasbro オプティマス Asus トランスフォーマー 商標

玩具メーカーの Hasbro が、商標を巡って Asusを米国で訴えました。 問題の製品は、AsusのAndroidタブレット Eee Pad Transformer Prime。このタブレットの「トランスフォーマー・プライム」が、日本でもおもちゃやアニメで長く親しまれ、最近はハリウッド製の実写映画でもヒットを飛ばしたあの変形ロボ「トランスフォーマー / Transformers」の商標権を侵害し... 続きを読む