日本語のAIで使う大規模言語モデル性能を評価する「オープン日本語LLMリーダーボード」公開

2024/11/26 15 users 日本語 公開 LLM LLM-jp タスク

16種類以上のNLP(自然言語処理)タスクを用いて日本語の大規模言語モデル(LLM)の性能評価と分析を行う「オープン日本語LLMリーダーボード」が公開されました。構築には国立情報学研究所をはじめとする日本語LLMの研究開発を行う組織横断プロジェクト「LLM-jp」が携わっています。 Open Japanese LLM Leaderboard - a Hugg... 続きを読む

ACL2024 参加報告　前半（~3日目） - Taste of Tech Topics

2024/08/14 10 users 前半 Taste of Tech Topics 参加報告

こんにちは。タイの気温がほぼ日本と同じでちょっとげんなりしている@Ssk1029Takashiです。 私は自然言語処理の国際学会であるACL2024に参加するため、タイのバンコクに来ています。 2024.aclweb.org 今アクロクエストではRAGを用いたプロダクトを開発しており、LLMを含むNLPの最新の動向を追うためにACLに参加すること... 続きを読む

時系列データのための大規模言語モデル

2024/07/10 69 users 時系列データ 言語モデル LLM chatgpt 出現

近年の大規模言語モデル（LLM）の出現は、自然言語処理（NLP）においてパラダイムシフトをもたらし、ChatGPTをはじめとする様々な革新的サービスを生み出している。LLMの急速な進化は、NLPの領域を超えて、より広範なデータモダリティへのLLMの適用可能性を探る研究への発展を促している。その中で今回注目したのが、時... 続きを読む

ChatGPTでデータベースに侵入　機密情報を漏えいさせるコードを生成　英国と中国の研究者らが実証

2023/11/05 17 users chatgpt セキュリティリスク アルゴリズム 実証 侵入

自然言語処理（NLP）アルゴリズムが意図的な攻撃に対して脆弱であることはすでに実証されている。しかし、これらの脆弱性がソフトウェアのセキュリティリスクとしてどのように影響するかについては、十分に調査されていない。 この問題を解決するために、データベースと自然言語インタフェースを結び付けるためのText-to... 続きを読む

SQUARE ENIX AI Tech Preview: THE PORTOPIA SERIAL MURDER CASE

2023/04/21 10 users SERIAL MURDER CASE 堀井雄二 キーボード

SQUARE ENIX AI Tech Preview: 『THE PORTOPIA SERIAL MURDER CASE』とは 1983年に日本でリリースされたPC版「ポートピア連続殺人事件」（作：堀井雄二）を通して、 AI技術のひとつである「自然言語処理(NLP)」を学習・体験するソフトウェアです。 1980年頃のPCアドベンチャーゲームは主にキーボードのみで操作する時代... 続きを読む

『ポートピア連続殺人事件』にAIを搭載した技術デモが4月24日にPC（Steam）で無料配信決定。現在のNLP（自然言語処理）とはどのようなものかを体験できる内容に

2023/04/21 165 users Steam アドベンチャー SQUARE ENIX 言語処理

『ポートピア連続殺人事件』にAIを搭載した技術デモが4月24日にPC（Steam）で無料配信決定。現在のNLP（自然言語処理）とはどのようなものかを体験できる内容に スクウェア・エニックスは4月24日（月）にNLP（自然言語処理）アドベンチャー『SQUARE ENIX AI Tech Preview: THE PORTOPIA SERIAL MURDER CASE』を公開する... 続きを読む

NLPとVision-and-Languageの基礎・最新動向 (1) / DEIM Tutorial Part 1: NLP

2023/03/08 13 users Vision-and-Language 基礎 最新動向

NLPとVision-and-Languageの基礎・最新動向 (1) / DEIM Tutorial Part 1: NLP 続きを読む

NLPとVision-and-Languageの基礎・最新動向 (2) / DEIM Tutorial Part 2 Vision-and-Language

2023/03/08 16 users Vision-and-Language 基礎 最新動向

NLPとVision-and-Languageの基礎・最新動向 (2) / DEIM Tutorial Part 2 Vision-and-Language 続きを読む

日本語に特化した13億パラメータのGPT言語モデルを公開｜rinna株式会社

2023/03/06 154 users rinna株式会社 GPT グリフ 日本語 チェン

～商用利用可能なライセンスで日本語のNLPコミュニティに貢献～ rinna株式会社（本社：東京都渋谷区/代表取締役：ジャン"クリフ"チェン、以下rinna社）は、日本語に特化した13億パラメータのGPT言語モデルを開発し、公開しました。 ■背景 rinna社はこれまでに、日本語の自然言語処理 (NLP) に特化したGPT (3.3億パラメー... 続きを読む

文章のなかの地理空間 － 地理空間情報科学(GIS)と自然言語処理(NLP)の融合へ向けて －

2022/09/12 113 users GIS 融合 地理空間 なか 言語処理

PLDI '21論文読み会: AKG: Automatic Kernel Generation for Neural Processing Units using Polyhedral Transformations 続きを読む

海外の技術者が日本語の「文字化け」を本気で解説、日本人顔負けの日本通っぷりが披露される

2021/11/02 297 users 文字化け 解説 海外 日本語 技術者

by Whooym 文字が適切に表示されずに読めなくなってしまう「文字化け」は、海外の技術者の間でも「Mojibake」で通用するとのこと。そんな文字化けの種類について、東京で神経言語プログラミング(NLP)の開発をしているポール・オリーリ・マッキャン氏が解説しました。 A Field Guide to Japanese Mojibake https://www.da... 続きを読む

rinnaが日本語に特化したGPT-2とBERTの事前学習モデルを開発しオープンソース化 | TechCrunch Japan

2021/08/30 16 users Bert GitHub rinna MIT OSS

rinnaは8月25日、日本語に特化したGPT-2とBERTの事前学習モデルとその学習を再現するためのソースコードを、GitHubおよびNLPモデルライブラリーHuggingFaceにオープンソースソフトウェア（OSS）として公開したと発表した。ライセンスはMIT。製品開発のための実験過程で開発したもので、日本語の自然言語処理（NLP）の研... 続きを読む

rinna、日本語に特化した「GPT-2」「BERT」事前学習モデルを無償公開 75ギガバイトのデータを最大45日間で学習 | Ledge.ai

2021/08/25 28 users Bert GitHub rinna GPT-2 実験過程

元女子高生AI「りんな」などで知られるrinna株式会社は8月25日、製品開発のための実験過程で、日本語に特化した「GPT-2」と「BERT」の事前学習モデルを開発したと発表。 日本語の自然言語処理（NLP）の研究・開発コミュニティに貢献するために、開発した事前学習モデルとその学習を再現するためのソースコードを、GitHub... 続きを読む

自然言語処理ライブラリをオープンソースで提供するHugging Faceが43.6億円調達 | TechCrunch Japan

2021/03/14 13 users Hugging Face 言語処理ライブラリ ソース スター

Hugging FaceがシリーズBで4000万ドル（約43億6000万円）を調達した。Additionがラウンドをリードしている。同社は、オープンソースの自然言語処理（NLP）ライブラリを開発してきた。GitHubにそのTransformersライブラリはあり、4万2000のスターと1万のフォークがある。 米国時間3月11日に行われた投資にはLux Capitalや... 続きを読む

MeCabへWikipediaの辞書を追加する方法 | GMOアドパートナーズグループ TECH BLOG byGMO

2020/11/10 20 users Mecab byGMO Wikipedia 辞書 形態素解析

こんにちは、GMOアドマーケティングのS.Rです。 日本語のNLP（自然言語処理）で形態素解析は大切な処理の１つとなります。 今回は、形態素解析ツール「MeCab」へWikipediaの辞書を追加する方法を紹介します。 1. 日本語の形態素解析ツールMeCabMeCabは日本語の形態素解析ツールです。詳細はWikipediaの説明をご覧くださ... 続きを読む

flairを使って最速でNLPのベースラインモデルを作る - moriyamaのエンジニアリング備忘録

2020/07/10 18 users コーディング タスク 深層学習 moriyama 単語分割

自然言語処理に限らず、機械学習関連のプロジェクトではスタート時は、なるべく複雑なコーディングをせずにシンプルなベースラインモデルを低コストで作成し、そこからデータの傾向やタスクの複雑さを把握することが重要です。 ところが自然言語処理では前処理のコストが高く、最低限でも単語分割、ベクトル化、深層学習... 続きを読む

大人気『NLP体験講座』開催中！心理学NLPを学ぶにはまずはここから！NLPを学んで仕事や人生をアップデートしよう

2019/11/28 19 users 心理学NLP 人生 アップ 仕事 大人気

続きを読む

【開催報告&資料公開】ML@Loft #6 × MLPP #4 – 自然言語・レコメンド・時系列解析 | AWS Startup ブログ

2019/10/27 19 users Twitter MLPP ML@Loft レコメンド AWS

AWS Startup ブログ 【開催報告&資料公開】ML@Loft #6 × MLPP #4 – 自然言語・レコメンド・時系列解析 ML@Loft #6 × MLPP #4 「自然言語・レコメンド・時系列解析 」 AWS 機械学習ソリューションアーキテクトの宇都宮 ( Twitter: @shokout ) です。本ブログでは ML@Loft 第6回 x MLPP 第４回「NLP/レコメンド/時系列解析... 続きを読む

JUMAN++/KNPへユーザー辞書を追加する方法 | GMOアドパートナーズグループ TECH BLOG byGMO

2019/09/30 14 users byGMO Mecab 構文解析 GMOアドマーケティング

こんにちは。GMOアドマーケティングのS.Rです。 前回は形態素解析のツール「MeCab」へユーザー辞書を追加する方法を紹介しました。 MeCabを使うことで日本語の形態素解析を簡単に行うことができます。 ただ、NLPの開発には形態素解析だけではなく、構文解析も非常に重要です。 MeCabには形態素解析の機能はありますが、... 続きを読む

MeCabへユーザー辞書を追加する方法 | GMOアドパートナーズグループ TECH BLOG byGMO

2019/09/18 42 users Mecab byGMO GMOアドマーケティング 形態素解析

こんにちは、GMOアドマーケティングのS.Rです。 NLP（自然言語処理）は機械学習の中でも人気な分野の一つです。 今回は日本語のNLPで重要な処理である形態素解析のツール「Mecab」へユーザー辞書を追加する方法を紹介します。 1. NLPの基本処理プロセス日本語を英語へ機械翻訳する例で説明します。 基本処理プロセスは図... 続きを読む

機械学習による自動応答の今　外部知識に基づく応答生成に関するサーベイ結果 Part1 - ログミーTech

2019/09/06 11 users ログミーTech 自動応答 機械学習 Embedding 知見

機械学習による自動応答の今 外部知識に基づく応答生成に関するサーベイ結果 Part1 外部知識に基づく応答生成に関するサーベイ発表 #1/2 2019年7月3日、nlpaper.challengeが主催するイベント「第1回 NLP/CV最先端勉強会」が開催されました。NLP/CVの知見をもとにEmbedding やグラフ、対話応答、text2image などの様々な... 続きを読む

[O] 言語処理エンジニアのお仕事情報と関連イベントの参加者を募集します

2019/06/13 11 users 言語処理エンジニア Tweet 一環 エンジニア 関連イベント

言語処理エンジニアのお仕事情報と関連イベントの参加者を募集します Tweet [日記] このブログ、リニューアルしたいけどできてなくて放置してたのですが、活用するときが来ました。 この記事のまとめ 自然言語処理(NLP)系のエンジニア・研究者のキャリアを考えるイベントを開催します。 その一環で、自然言語処理エンジ... 続きを読む

最近の深層学習におけるAttention機構 　- CVとNLPを中心に - - Speaker Deck

2019/04/14 46 users Attention機構 Speaker Deck 深層学習

2019.4.14 関東CV勉強会で発表した資料です． Attention機構について発表しています． 続きを読む

フェイクニュース見破れる？ アリババがAIデマ判別器開発「正確率81%」　写真1枚　国際ニュース：AFPBB News

2019/03/05 108 users アリババ Alibaba DAMO キーパーソン 阿里巴巴

【3月5日 東方新報】阿里巴巴（アリババ、Alibaba）の研究開発機関「達摩院（DAMO）」が「デマ判別器」を開発したとして、ネット上で話題になっている。記者は先ごろ、太平洋の反対側にいる開発者の李泉志（Li Quanzhi）氏に取材した。 李氏は達摩院のNLP（自然言語プログラミング）チームのキーパーソン。中国の清華大... 続きを読む

フェイクニュース見破れる？ アリババがAIデマ判別器開発「正確率81%」　写真1枚　国際ニュース：AFPBB News

2019/03/05 108 users アリババ Alibaba DAMO キーパーソン 阿里巴巴

【3月5日 東方新報】阿里巴巴（アリババ、Alibaba）の研究開発機関「達摩院（DAMO）」が「デマ判別器」を開発したとして、ネット上で話題になっている。記者は先ごろ、太平洋の反対側にいる開発者の李泉志（Li Quanzhi）氏に取材した。 李氏は達摩院のNLP（自然言語プログラミング）チームのキーパーソン。中国の清華大... 続きを読む