否定文を理解できないAIたち - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ

2024/12/18 430 users 否定文 AIたち GPT 本稿 目次

BERT や GPT の登場により、テキストを扱うモデルは大きく発展しましたが、否定というごくありふれた操作を扱うのが依然難しいです。 本稿では、その理由と、部分的な解決策を紹介します。 目次 目次 否定文を理解できないAIたち 否定文を理解できずに困ること なぜ否定文をうまく扱えないのか なぜたまに成功するのか ... 続きを読む

ブッダで悩みを解決、仏教対話AI「ブッダボット」の開発 －伝統知と人工知能の融合－ | 京都大学

2021/03/26 148 users ブッダ ブッダボット 仏教対話AI 人工知能 融合

熊谷誠慈 こころの未来研究センター准教授、古屋俊和 Quantum Analytics Inc. CEOらの研究グループは、現代人の悩みや社会課題に対して仏教的観点から回答する仏教対話AI「ブッダボット」を開発しました。 Googleの提供する「BERT」というアルゴリズムを応用し、最古の仏教経典『スッタニパータ』から抽出したQ＆Aリスト... 続きを読む

BERTのAttentionは何を見ているのか？

2020/09/24 89 users SEP attention CLS 前書き 動詞

3つの要点 ✔️BERTのAttention機構の分析手法の提案 ✔️Attentin機構は全体的には区切り文字や[CLS]、[SEP]を見ている ✔️特定のAttention機構では「動詞とその目的語」、「名詞と修飾語」、「前置詞とその目的語」などの簡単な文法関係から、照応関係などの複雑な文法関係も獲得している 前書き 現在の自然言語処理ではTransf... 続きを読む

Googleの検索エンジンに「過去5年で最大の飛躍」。新たな言語処理モデル「BERT」の秘密｜WIRED.jp

2019/11/14 225 users セサミストリート Getty Images 飛躍 グーグル

LYU LIANG/VCG/GETTY IMAGES) 「Google 検索」が大きな進化を遂げようとしている。このほどグーグルが「BERT（Bidirectional Encoder Representations from Transformers）」と呼ばれる機械学習の手法によって、Google 検索におけるランキングシステムの性能を強化したことを明らかにしたのだ。 「セサミストリート」の... 続きを読む

Googleが検索エンジンを刷新へ「過去5年間で最大の飛躍」 - Engadget 日本版

2019/10/28 329 users 刷新 飛躍 Google Engadget 日本版 最大

Googleはその祖業の検索エンジンにおいて、新しい言語処理技術「BERT」を導入し検索結果を改善します。BERT導入は同社いわく「過去5年間で最大の飛躍を実現し、検索の歴史で最大の飛躍を遂げる」改良となるもので、まずは英語版のGoogle検索から導入し、他言語へも展開していく計画です。 「BERT（Bidirectional Encoder... 続きを読む

高精度でテキスト分類を行えるAIの環境を用意しました【BERT】 - ニートの言葉

2019/09/22 254 users PDF アンドゥ t_andou ニート arXiv.org

こんにちは、あんどう（@t_andou）です。 最近、自然言語処理のAIの一種であるBERTをよく触っています。 今回はBERTのソースを読まなくてもサクッと試せる環境を用意しましたので、メモとして残しておきます。 BERTとはどういうものか 画像引用：https://arxiv.org/pdf/1810.04805.pdf 凄くざっくりと説明すると、BERTと... 続きを読む

Google最新技術「BERT」と「東ロボ」との比較から見えてくるAIの課題 | ハーバービジネスオンライン

2018/11/23 64 users 東ロボ ハーバービジネスオンライン 課題 比較

ここ数年のコンピューターを使った自然言語処理の進歩には目を見張るものがあります。 その原動力となっているのが、今のAIブームを支えているディープラーニングという機械学習の手法です。この手法を取り入れたGoogle翻訳が作る翻訳文は、正確かつとても自然で「そのまま使える」レベルに到達しています。ほんの数年前... 続きを読む

汎用言語表現モデルBERTを日本語で動かす(PyTorch) - Qiita

2018/11/05 295 users Qiita PyTorch リポジトリ 実装 執筆

今DL for NLP界で、BERTというモデルが話題です。PyTorchによる実装が公開されていたので、日本語Wikipediaコーパスに適用してみました。 コードはこちらに公開しております。 この記事ではBERTのポイントの解説と、ポイントごとの実装を紹介します。 尚、記事の執筆にあたってこちらのリポジトリを参考にさせていただき... 続きを読む

東ロボくんの生みの親《新井紀子》教授の間違いが明らかになった日。人間は人工知能に読解力でも負けつつある - Togetter

2018/11/05 500 users Togetter 生みの親 新井紀子 Stanford 教授

アリババの人工知能チームが @Stanford 大学の読解力テストで人間に始めて勝ったのが、今年の1月。スコアは、 ・人：82.304 ・AI：82.44 グーグルの《BERT》でトレーニングさせた人工知能のスコアは何と、87.433！10カ月で5ポイントも上げている。人間とマシン、読解力の差は今後更に広がる 続きを読む