グラフってこんなにすごい！深層学習との融合をレビュー | AI-SCHOLAR | AI：(人工知能)論文・技術情報メディア

2021/07/26 11 users GNN 論文 グラフ 人工知能 融合

3つの要点 ✔️ GNNの表現力の強さから、急速にアプリケーションが進んでいる。 ✔️ GNNの柔軟かつ複雑な構造への、従来深層学習手法の展開についてのレビュー ✔️ 一方で、深層学習に共通、グラフに固有の課題も継続中 Graph Neural Networks: A Review of Methods and Applications written by Jie Zhou, Ganqu Cui, Shengdin... 続きを読む

GPU1枚、1日未満で学習！超高速学習GAN、「Lightweight GAN」 | AI-SCHOLAR | AI：(人工知能)論文・技術情報メディア

2020/12/04 11 users 要点 パラメータ 大幅削減 論文 人工知能

3つの要点 ✔️ Skip-Layer Excitationとself-supervised Discriminatorを提案し、パラメータの大幅削減に成功 ✔️ 少量データでも学習可能 ✔️ 1024×1024の画像もGPU1枚、数時間で学習可能 Towards Faster and Stabilized GAN Training for High-fidelity Few-shot Image Synthesis written by Anonymous (Submitted on 29 Sep... 続きを読む

捨ててしまうのはもったいない！BERTの出力を組み合わせて文ベクトルを作るSBERT-WK | AI-SCHOLAR | AI：(人工知能)論文・技術情報メディア

2020/11/20 6 users Bert 各層 要点 タスク 実証

3つの要点 ✔️ BERT の埋め込み表現が各層で異なる情報を捉えていることを実証 ✔️ 各層の情報を統合して文ベクトルを構成する手法を提案 ✔️ 提案手法で主要なタスクでの精度向上を達成 SBERT-WK: A Sentence Embedding Method by Dissecting BERT-based Word Models written by Bin Wang, C.-C. Jay Kuo (Submitted on 16 Fe... 続きを読む

教師あり学習の精度を超えた！？相互情報量の最大化による教師なし学習手法IICの登場！ | AI-SCHOLAR

2020/02/01 68 users ニューラルネット クラスタリング 精度 クラスタ 要点

3つの要点 相互情報量を最大化する枠組みでニューラルネットを学習する教師なし学習手法IICの提案 予測値をそのまま出力するニューラルネットを学習可能であるため、クラスタリングが不要 従来の教師なし学習手法の「クラスタが一つにまとまってしまう問題」および「ノイズに弱いという問題」を解決 Invariant Informati... 続きを読む

「なぜここまで賢くなるのか説明不可能」 ―画像生成系AI、GANを例にして | AI-SCHOLAR

2020/01/28 28 users GaN 生成ネットワーク 画像生成AI 本物 中身

今回紹介するのは、画像生成AI、GAN（敵対的生成ネットワーク）の中身を詳しく調査したという研究です。最近のGANは人でも本物の写真かどうか見間違うほどの性能を発揮しますが、GANがどのように『描いている』かを可視化した結果、簡単には説明できないような描画スキルを獲得していることがわかってきました。(※1) 論... 続きを読む

Transformer大規模化へのブレークスルーとなるか!? 高効率化したReformer登場 | AI-SCHOLAR

2020/01/24 6 users ブレークスルー 高効率化

3つの要点 Attentionの計算量をO(n^2)からO(n log n)へと劇的に削減 アクティベーションなどのメモリ使用量を大幅に削減 速度・メモリ共に実装効率を大きく改善しながらも、Transformerの性能を維持 Reformer: The Efficient Transformer written by Nikita Kitaev, Łukasz Kaiser, Anselm Levskaya (Submitted on 13 Ja... 続きを読む

カメラにシールを貼るだけでディープラーニングを誤認識させる攻撃方法が登場 | AI-SCHOLAR

2019/10/18 49 users 要点 角度 他人 検証 距離

3つの要点 カメラにシールを貼るだけでディープラーニングを誤認識させることが可能になった 対象物を異なる角度や距離で撮影しても誤認識させられることを動画データで検証 顔認証用のカメラにシールを貼っておくことでシステムに気づかれずに他人になりすましたりできてしまうかもしれない ディープラーニングによる画... 続きを読む

Fairness入門 ~AIに倫理観を教える~ | AI-SCHOLAR

2019/10/10 24 users 倫理観 サーベイ論文 近年 分野 皆さん

AIを勉強している皆さんこんにちは。 皆さんはFairnessを知っていますか？ FairnessはAIの分野の一つで、近年とても注目されています。そこで、A Survey on Bias and Fairness in Machine LearningというFairnessのサーベイ論文を軸にしてFairnessの入門記事を書くことにしました。 2011年から2017年までのFairnessの論... 続きを読む

BERTはまだまだ進化する！軽くて強いALBERTが登場！ | AI-SCHOLAR

2019/10/08 37 users Bert elmo 要点 文法 機構

3つの要点 BERTの構造に2つの改善を施し、大幅なパラメーター削減を実現 BERTで効果がないとされていた学習タスクを改善し、より文法を捉えた学習を実現 パラメーター削減による速度の向上だけでなく、性能の向上をも実現 現在の自然言語処理のトレンドの一つとして、ELMoやBERT、XLNetのような言語モデルベースの機構を... 続きを読む

AIにとって難しいクイズ問題を集めた新しい質問応答データセット | AI-SCHOLAR

2019/08/30 11 users 要点 タスク ディープラーニング 執筆 クイズ形式

３つの要点 新しい早押しクイズ形式の質問応答データセットが登場 人間がAIを「騙そう」と試行錯誤しながら、クイズ問題を執筆 「人間には簡単だが、AIには難しい」新しい質問応答データセットが作成された ディープラーニングを用いた自然言語処理の手法によって、文書読解や自然言語理解などの様々なタスクで、AIのモ... 続きを読む