一言でいうと

returnベースの方策オフ強化学習における安全で効率的なアルゴリズムの提案。安全とは、方策の"オフ具合"に対して性能がロバストであること。効率的とは、学習効率が良いこと。収束性の保証と実験を与えた。NIPS 2016に通っていて、真面目に解析を読むのはつらそう。

論文リンク

https://arxiv.org/abs/1606.02647

著者/所属機関

Rémi Munos (1), Tom Stepleton (1), Anna Harutyunyan (2), Marc G. Bellemare (1)
(1) Google DeepMind
(2) Vrije Universiteit Brussel

概要

新規性・差分

手法

結果

コメント

一言でいうと

文中で同一のエンティティを言及している言葉(鈴木さん=彼など)を探索するタスク(Coreference Resolution)についての論文。手法としてAはBのことを指している(mention)、とするのを「行動」とみなし、強化学習の手法を用いて最適化している。GitHub実装有

論文リンク

http://nlp.stanford.edu/pubs/clark2016deep.pdf

著者/所属機関

Kevin Clark, Christopher D. Manning
Science Department Stanford University

概要

新規性・差分

手法

結果

コメント

一言でいうと

ベイズ最適化などでは事前分布として正規分布が仮定されており、KLダイバージェンスが収束判定に使用されているが、実データが仮定と異なる場合は推定に悪影響を及ぼす。
それを解決するためにoperater（メタ関数っぽいもの？）を導入したopvⅠという手法を提案。

論文リンク

https://arxiv.org/abs/1610.09033

著者/所属機関

Rajesh Ranganath, Jaan Altosaar/ Princeton University
Dustin Tran, David M. Blei/Columbia University

概要

新規性・差分

手法

結果

コメント

一言でいうと

DLを使って医療データの匿名化すべき箇所を特定するDernoncourtet al., 2016の手法の特徴量作成部分を改良。SoTA。
BoW->DNN, token embedding, bidirectional-LSTM(character embedding)の3つのネットワークにtext(BoW, token, char)を食わせ 、出力を結合し特徴量とする。

論文リンク

https://arxiv.org/pdf/1610.09704v1.pdf

著者/所属機関

Ji Young Lee, Franck Dernoncourt/MIT
Ozlem Uzuner, Peter Szolovits/SUNY Albany

概要

新規性・差分

手法

結果

コメント

一言でいうと

医療情報などの（個人情報が含まれるなどの理由で）扱いに制約があるデータで、他のデータと結合することが出来ない時に効果的にモデルの精度を上げる手法の研究。半教師あり学習を活用。
それぞれのデータの塊毎にモデル（teacher）を作成しアンサンブル。studentへの教師として使用。queryにstudentが回答するモデル。teacherやstudentに使用するモデル、アンサンブルの方法などに制限はない。

論文リンク

https://arxiv.org/abs/1610.05755

著者/所属機関

Nicolas Papernot/Pennsylvania State University
Martín Abadi, Úlfar Erlingsson, Kunal Talwar/Google Brain
Ian Goodfellow/OpenAI

概要

新規性・差分

手法

結果

コメント

一言でいうと

強化学習は、精度は高いが大量のデータを必要とする。人間ならもうちょい効率よくやるのに・・・ということで、様々なタスクのモデル(RNN)の学習を強化学習でやることで、各タスク間の共通構造などを習得させられないか(習得できれば、他の新しいタスクの時に上手くやれる)という試み。

論文リンク

https://arxiv.org/abs/1611.05763

著者/所属機関

Jane X Wang, Zeb Kurth-Nelson, Dhruva Tirumala, Hubert Soyer, Joel Z Leibo, Remi Munos, Charles Blundell, Dharshan Kumaran, Matt Botvinick/DeepMind

概要

新規性・差分

手法

結果

コメント

一言でいうと

画像の特徴と、モダリティ(男性・女性など)の画像的特徴をそれぞれ学習させ、その結果を結合させる=元の画像に近く、かつ指定したモダリティの画像的特徴にも近い画像を生成する、という研究。画像のVAEにモダリティのVAEをJointさせると言うことで、JMVAEと命名。

論文リンク

http://www.creativeai.net/posts/qD952SHHHAzCDeNGE/joint-multimodal-learning-with-deep-generative-models

著者/所属機関

Masahiro Suzuki, Kotaro Nakayama, Yutaka Matsuo
The University of Tokyo

概要

新規性・差分

手法

結果

コメント

一言でいうと

信号処理で使われているcompressed sensing手法を機械学習に転用したCompressed LearningをDLに適用。1層目でsensing matrixを学習（入力と同じunit数）。2層目のFC層で入力の1%までunit数を落とした場合（sensing rate=1%）でもerror rateは6.46%。実験データはMNIST。SoTA。

論文リンク

https://arxiv.org/abs/1610.09615

著者/所属機関

Amir Adler, Michael Elad and Michael Zibulevsky

概要

新規性・差分

手法

結果

コメント

一言でいうと

与えられたグラフの埋め込み表現を抽出する手法を提案。生成したグラフ上のランダムウォークのシーケンスに対しseq2vecと同様にベクタ表現を得る。分子構造データベースを使い識別タスクで他のグラフ埋め込み手法と比較。SoTa

論文リンク

http://openreview.net/forum?id=BkSqjHqxg

著者/所属機関

John Boaz Lee & Xiangnan Kong
Department of Computer Science
Worcester Polytechnic Institute

概要

新規性・差分

手法

結果

コメント

一言でいうと

離散値の予測(=クラス分類など)を行う際の出力について。クラスの特定に使うargmaxなどは微分可能でないためうまく誤差伝搬できない。なので、連続/離散分布の特性を調整する変数を導入した方法を提案。その名はガンベル・ソフトMAX

論文リンク

http://blog.evjang.com/2016/11/tutorial-categorical-variational.html

著者/所属機関

Eric Jang, Shixiang Gu, Ben Poole
Google Brain
University of Cambridge
Stanford University

概要

新規性・差分

手法

結果

コメント

一言でいうと

DeepLearningを行う上でボトルネックとなる学習時間を短縮するために、分散処理アルゴリズムとしてgossiping SGDという手法を提案。従来の同期アプローチでは障害（1ノードの計算失敗など）に弱く、非同期アプローチではparameterサーバを使用しているためパラメタが競合状態となり、学習が遅くなる。
提案手法では、同期アプローチのall-reduce collective operationをgossip aggregationアルゴリズムに置き換える事により、従来の同期/非同期アプローチの良いところを継承した非同期アプローチを構築。
直感に反するが、非同期アプローチでは32ノード, 同期アプローチでは100ノードまでスケール可能。

論文リンク

https://arxiv.org/abs/1611.04581

著者/所属機関

Peter H. Jin, Qiaochu Yuan, Forrest Iandola, Kurt Keutzer/University of California, Berkeley

概要

新規性・差分

手法

結果

コメント

一言でいうと

イメージキャプション生成におけるEncoder-Decoder+attentionモデルにreview steps(thought vectors)を加えて既存アルゴリズムの欠点を緩和した。

論文リンク

https://arxiv.org/pdf/1605.07912v4.pdf

著者/所属機関

Zhilin Yang, Ye Yuan, Yuexin Wu, Ruslan Salakhutdinov, William W. Cohen/Carnegie Mellon University

概要

新規性・差分

手法

結果

コメント

コード

https://github.com/kimiyoung/review_net

一言でいうと

ラベル付が間違っているもの、ラベルが付けられていないもの含むデータに対しての学習を頑健にするための能動学習アルゴリズムを提案。（下限）性能保証付き。

論文リンク

https://arxiv.org/abs/1610.09730

著者/所属機関

Songbai Yan, Kamalika Chaudhuri, Tara Javidi/ University of California, San Diego

概要

新規性・差分

手法

結果

コメント

一言でいうと

与えられたグラフのノードを半教師ありクラスタリングする。既存の研究では隣接ノードは同じクラスであるという前提を正則化項として加えていたためモデルのキャパシティが制限されていたが（エッジのもつ情報はsimilarityとは限らない）、グラフ構造をニューラルネットとして表現することでその制約を取り払った。各Layerにおいて隣接行列が登場するので例えば3層ネットワークの場合は3段飛びの関係が考慮されることになり、それが正則化項の代わりをする(と思われる)。

論文リンク

https://arxiv.org/abs/1609.02907

著者/所属機関

Thomas N. Kipf, Max Welling

概要

https://tkipf.github.io/graph-convolutional-networks/

新規性・差分

手法

結果

コメント

一言でいうと

情報を守るための鍵の使い方を3つのDNN（3つのエージェント）を使って学習させた研究。

論文リンク

https://arxiv.org/abs/1610.06918

著者/所属機関

Mart´ın Abadi, David G. Andersen/Google Brain

概要

新規性・差分

手法

結果

コメント

一言でいうと

LSTMの出側にGaussian processを加え、データにおいて量的にも質的にもrobustにした研究。カーネル自体を学習する。推定値の信頼性も出力されるのもありがたみの一つ。計算量削減の工夫もされている。

論文リンク

https://arxiv.org/abs/1610.08936

著者/所属機関

Maruan Al-Shedivat, Andrew Gordon Wilson, Yunus Saatchi, Zhiting Hu, Eric P. Xing/Carnegie Mellon University

概要

新規性・差分

手法

結果

コメント

一言でいうと

i) training dataを自動的にクリーニング、ii)ネットワークを最適化、iii)訓練を最適化して画像検索精度をSoTaまで上げたという話。

論文リンク

https://arxiv.org/abs/1610.07940

著者/所属機関

Albert Gordo, Jon Almazan, Jerome Revaud, Diane Larlus

概要

新規性・差分

手法

結果

コメント

いま検索をやっている人がmAPが高いと驚いてました。

一言でいうと

RNNでは通常前回の隠れ層しか考慮されないが、「前回」しか考慮しないのに意味はないので、前回、前々回・・・(S回)の隠れ層を再帰的に適用しようという話。もちろん、直近の隠れ層の方を重く見る(decay rateで調整)。これで既存のLSTMより優秀な性能を記録できたとのこと

論文リンク

https://arxiv.org/abs/1610.06258v2

著者/所属機関

Jimmy Ba, Geoffrey Hinton, Volodymyr Mnih, Joel Z. Leibo, Catalin Ionescu

概要

新規性・差分

手法

結果

コメント

一言でいうと

RNNによる楽譜生成をよりよくするため、学習済のRNNから与えられる音符の生成確率と音楽理論により要請されるよい音符の条件を組合せたものを報酬とし、音符の生成をactionとする強化学習の問題を設定した。単にRNNより与えられる音符の連鎖を保持しつつ音楽理論によって与えられる条件をみたすよりよい楽譜を生成することができた

論文リンク

https://arxiv.org/pdf/1611.02796.pdf

著者/所属機関

Natasha Jaques^{1,2}, Shixiang Gu^{1,3,4}, Richard E. Turner^{3}
, Douglas Eck^{1}
^{1}Google Brain, USA
^{2}Massachusetts Institute of Technology, USA
^{3}University of Cambridge, UK
^{4}Max Planck Institute for Intelligent Systems, Germany

概要

新規性・差分

手法

結果

コメント

一言でいうと

強化学習(DQN)の転移学習についての論文。読む限りは、アンサンブル学習のように(シミュレーター等で)学習させたモデル(これがColumnになる)を並列に統合している感じ(これをProgressive Networksと呼んでいる)。

論文リンク

https://arxiv.org/abs/1610.04286

著者/所属機関

Andrei A. Rusu, Matej Vecerik, Thomas Rothörl, Nicolas Heess,Razvan Pascanu, Raia Hadsell
Google DeepMind
London, UK

概要

新規性・差分

手法

結果

コメント

一言でいうと

ネガティブサンプリングの式の導出を詳しく解説している論文

論文リンク

https://arxiv.org/abs/1402.3722

著者/所属機関

Yoav Goldberg

概要

新規性・差分

手法

結果

コメント

一言でいうと

イメージ的には、Encoder/DecoderをCNNで行うといった形。RNNはシーケンスを順に入れていかないので並列計算が難しく、前後の単語の関係を記憶するための機構を入れるとさらに計算が重たくなる。そこで、計算を並列でできるようにしつつ、単語間の関係も考慮できるようにということで考案。これをBytenetと名付けている。
Encoder側は常に固定長を送るためdilation、Decoder側はEOSが前後に出たら停止するdynamic unfoldという処理を行っている。これでstate-of-the-artの性能を出せたほか、文字ベースのモデルでは他を圧倒した。

論文リンク

https://arxiv.org/abs/1610.10099

著者/所属機関

Nal Kalchbrenner, Lasse Espeholt, Karen Simonyan, Aaron van den Oord, Alex Graves, Koray Kavukcuoglu

概要

新規性・差分

手法

結果

コメント

一言でいうと

ポーズ推定（関節のポジション推定）にCNNで構築したCRFアルゴリズムを付加し、関節間の関係性を考慮した推定を行えるようにした。近似にはmessage passingを使用。それぞれの関節を独立に扱う事によって効率的に近似が行える。

論文リンク

https://arxiv.org/abs/1611.00468

著者/所属機関

Xiao Chu, Wanli Ouyang, Hongsheng Li, Xiaogang Wang/The Chinese University of Hong Kong

概要

新規性・差分

手法

結果

コメント

一言でいうと

ラプラス変換やフーリエ変換を応用した計算量削減手法を、さらに効率的に改良した手法を提案。
従来はF->C->F^{-1}->A->F->C->F^{-1}->A、というように活性化関数の前に逆変換が必要であったが、提案手法ではF->C->A->F->C->A->F^{-1}という操作が可能となり、空間/時間計算量ともに削減。
従来はスペクトル表現では有限空間がサポートされていなかったために起きていたが、spectral activation functionによって有限空間でのactivationが可能となった。

論文リンク

https://arxiv.org/abs/1611.05378

著者/所属機関

Maria Francesca, Arthur Hughes, David Gregg/Trinity College, Dublin

概要

新規性・差分

手法

結果

コメント

一言でいうと

言語を扱う複数のタスクは、相互に有用な知識を持つはずだから、組み合わせたほうがいい精度が出るのでは、という話。品詞づけ・文節判定・係り受け・文意関係(補強・反対・普通)・文関係の度合い、といった複数のタスクをこなす一つのネットワークを構築し、最高精度を達成。

論文リンク

https://arxiv.org/abs/1611.01587

著者/所属機関

Kazuma Hashimoto, Caiming Xiong, Yoshimasa Tsuruoka, Richard Socher
The University of Tokyo
Salesforce Research

概要

新規性・差分

手法

結果

コメント

一言でいうと

Experience replayにおいて効率的にサンプルを学習するため優先度によってサンプリングすることを提案。優先度としてTD-errorを使用、importace samplingになるので重みを調節し、学習終了付近でのバイアスの影響をなくすため一様サンンプリング近づくようなannealingをしている。DQN,Double-DQNで評価しともにbaselineより良好。人工的なimbalanced dataを使い通常の識別学習への適用も評価している。

論文リンク

https://arxiv.org/abs/1511.05952

著者/所属機関

Tom Schaul, John Quan, Ioannis Antonoglou and David Silver
Google DeepMind

概要

新規性・差分

手法

結果

コメント

一言でいうと

"椅子が51mphで28度の角度で打ち上げられた。惑星ワトソンでは重力加速度を98m^2/sとせよ。最大の高さに達するにはかかる時間を求めよ。"のような力学の問題が与えられたとき回答を返すシステムを構築。具体的には2次元空間中で重力しか力のかからない自由粒子に関する自然言語で与えられる問題を想定。入力文にラベル付与するLSTMとラベル付与済の文からタスク抽出するLSTMとODEソルバーからなるシステム。テストケースで99.8%の正解率。

論文リンク

https://openreview.net/forum?id=HyFkG45gl

著者/所属機関

Megan Leszczynski & Jose Moreira
IBM T.J. Watson Research Center

概要

新規性・差分

手法

結果

コメント

一言でいうと

一度だけ文書を読んで質問に答えるより、質問がわかってから見返せたほうがいいよね？ということで文書のencodeだけでなく、質問も掛け合わせたものを利用する(Coattention)、また一度で回答するのでなく何回か見直すことで局所最適を避けるという手法の提案。これでSOTAを更新

論文リンク

https://arxiv.org/abs/1611.01604

ブログ

http://metamind.io/research/state-of-the-art-deep-learning-model-for-question-answering/#

著者/所属機関

Caiming Xiong, Victor Zhong, Richard Socher
Salesforce Research

概要

新規性・差分

手法

結果

コメント

一言でいうと

CNNで、人の顔から第一印象(賢そうだなとか、年いってるなとか)を予測した研究。データセットはクラウドソーシングで作成。TestMyBrain.orgという心理テスト？のサイトを使って作成したらしい。

論文リンク

https://arxiv.org/abs/1610.08119

著者/所属機関

Mel McCurrie, Fernando Beletti, Lucas Parzianello, Allen Westendorp, Samuel Anthony, Walter Scheirer

概要

新規性・差分

手法

結果

コメント

一言でいうと

word2vecのパラメータ更新式の詳細な導出と説明を行っている論文。対象のモデルはCBOWとSkip-Gram。パラメータ学習の過程を詳細に解説した資料がなかったから書いたそうだ。

論文リンク

https://arxiv.org/abs/1411.2738

著者/所属機関

Xin Rong

概要

新規性・差分

手法

結果

コメント

一言でいうと

NNで物理法則を表現しようという話。物理法則による変化を状態遷移モデルとして捉えて、状態を「着目物体」と「その周辺の物体(=コンテキスト)」で表現し、それらの状態を入力にしたLSTMで遷移を表現している。Matter.jsを使用した実験結果があり予測結果をgifで確認できる。

論文リンク

http://openreview.net/pdf?id=Bkab5dqxe

著者/所属機関

Michael Chang, Tomer Ullman, Antonio Torralba, Joshua B. Tenenbaum
Department of Electrical Engineering and Computer Science, MIT
Department of Brain and Cognitive Sciences, MIT

概要

新規性・差分

手法

結果

コメント

一言でいうと

ポップ・ミュージックを生成する研究。音楽理論に基づいた設計を行っていて、音符(キー)、その長さ(キー＋長さでメロディー)、さらに和音、ドラムを重ねている。これで、GoogleのMagentaより圧倒的に評価の良い音楽を生成。また、曲に合わせたダンスと歌詞の生成も行っている。

作成された音楽はこちらから聴いてみることができる。
http://www.cs.toronto.edu/songfrompi/

論文リンク

http://openreview.net/forum?id=ByBwSPcex

著者/所属機関

Hang Chu, Raquel Urtasun, Sanja Fidler
Department of Computer Science
University of Toronto

概要

新規性・差分

手法

結果

コメント

一言でいうと

テキスト以外にオブジェクトの範囲やキーポイントなどを渡して画像を生成する研究。よくあるGANではなくPixcelCNNを拡張した自己回帰モデルを利用しており(周辺ピクセルから妥当なピクセルを予測する)、より高速に学習できる利点がある。

論文リンク

http://openreview.net/pdf?id=Hyvw0L9el

著者/所属機関

S. Reed, A. van den Oord, N. Kalchbrenner, V. Bapst, M. Botvinick, N. de Freitas
Google DeepMind

概要

新規性・差分

手法

結果

コメント

モデルがだいぶ複雑で、理解するのはかなり難しい・・・
生成モデルでもCNNが有力になってきていて、(画像分野における)RNNやGANは今後廃れていくかもしれないと感じた。

一言でいうと

リンゴの果樹園で、CNNつかってリンゴ数えまくった話

論文リンク

https://arxiv.org/abs/1610.08120

著者/所属機関

Suchet Bargoti, James Underwood

概要

新規性・差分

手法

結果

コメント

一言でいうと

診断記録のsequenceから病気をあてるタスク。各診断記録にのっている専門用語の集合を1つの入力とするRNNを構築する。各専門用語のベクタをそのまま入力に使わず、オントロジーを使い上位概念のベクタも考慮しattentionで上位概念を考慮した専門用語のベクタ作り入力とする手法GRAMを提案。単純にRNNを使った場合と比較しaccuracyで10%,AUCで3%の性能向上。

論文リンク

http://openreview.net/forum?id=SkgewU5ll

著者/所属機関

Edward Choi^1, Mohammad Taha Bahadori^1, Le Song^1, Walter F. Stewart2 & Jimeng Sun^1
{}^1Georgia Institute of Technology, {}^2Sutter Health

概要

新規性・差分

手法

結果

コメント

一言でいうと

DeepMindの教師なしによるQA回答(下)の追試。これは、文章中の固有表現をentityタグに置換して学習し、QAをentityの穴埋め問題として解くという手法。

http://arxiv.org/abs/1506.03340

このタスクにおいて、必要な言語理解の程度、また精度上の上限を明らかにするのが本追試の目的。

論文リンク

http://nlp.stanford.edu/pubs/chen2016thorough.pdf

著者/所属機関

Danqi Chen and Jason Bolton and Christopher D. Manning
Computer Science Stanford University

概要

QA回答を行うにはどれぐらいの言語理解が必要なのかを明らかにするためシンプルなモデルで下限・効く特徴量を検証してみたり(結果としてはこれですでに既存のモデルの精度を圧倒したのだが)、データセットの性質を明らかにするためその分類などを行っている。
最終的には、シンプルなNNモデルで既存最高精度よりも5%精度を向上させることができた・・・が、この精度はデータセット自体の誤りや人間でも不可能な質問の割合(25%)を考えるとほぼ限界の精度であり、これ以上精度を上げるならデータの質を向上させる必要があるとの結び。

新規性・差分

DeepMindの作成したデータがどのようなものかを検証し、そのデータから行うタスクがどの程度の難易度なのかを明らかにした。

手法

• LambdaMART
  • ベースラインとして使用したモデルで、ランキングアルゴリズムの一種。解答候補となるエンティティのうち、どれが一番「それらしいか」をランキング付けする
• End-to-end Neural Network
  • 文章とそれに関する質問文から、各解答候補について回答として適切かどうかの値を出力する
  • 質問文、本文それぞれを単語分割してベクトルに変換した後(GloVeで初期値を作成)、bi-directional LSTMでencode
  • encodeされた本文中のベクトルとencodeされた質問文単語から、関連度についてのweightを計算
  • この関連度と質問文単語を掛け合わせた重み付き和を出力とし、これを基にargmaxをとって解答とする

※解答候補となるエンティティとは、本文中に出現するエンティティのこと。質問は本文中のエンティティに関することを聞いているので、答えは本文中のエンティティの何れかになる

結果

ベースラインモデルで、選考のあらゆるNNモデルを圧倒。手法その2のNNモデルはこれをしのぐが、俺が出るまでもなかった感はある。

そもそも、データセットの性質として自明な回答(質問文とほぼ一致、あるいは言い換えただけで解答可能な質問)が50%超あり、文マッチのような単純な特徴で回答できるものが多かった(部分的な手掛かりを解釈する、複数文にまたがって理解しなければならないものは20%程度)。
逆に25%程度は、データセット上のミス(本文と質問文でentityの対応が取れていない、人間でも解答不能な質問など)が含まれ、これを考慮すると今回出した70%超の精度は、データセットからしてほぼ限界の精度ともいえる値になっている。

よって、このデータセットは統計的な学習には適しているが単純に解答できるものが多く、またその精度もそれほどいいものではない、といえる。より高度な理解を要求するデータセットはいくつかあるが、いずれもデータサイズが大きくないためこうしたデータについて今後どうデータを拡充していくかが問題となる。

コメント

一言でいうと

NNモデル（の重み）の不確実性を、重み上の確率分布を用いて扱う。確率分布の学習方法として、誤差逆伝搬法を模したBayes by backpropを提案。分類や回帰、バンディットなど色々なタスクで成功。特に、Thompson Samplingなどと組み合わせて探索ができるところが良さそう。

解説スライド: http://www.slideshare.net/masa_s/weight-uncertainty-in-neural-networks
theano実装の参考: https://gist.github.com/rocknrollnerd/c5af642cf217971d93f499e8f70fcb72
（実装は27行目の尤度計算が間違っている気がする・・・）

論文リンク

https://arxiv.org/abs/1505.05424
ICML 2015

著者/所属機関

Charles Blundell, Julien Cornebise, Koray Kavukcuoglu, Daan Wierstra
全員 Google DeepMind

概要

新規性・差分

手法

結果

コメント

一言でいうと

Progressive netというfine tuningのためのネットワークの提案，pre trained networkの各層の出力をfine tuneしたいnetworkの各層に重みづけして足し合わせる．fine tuneの際pre trained networkの重みについては変更せずfine tuneに入力するときの重みを学習することで，pre trainした結果を忘れることもなく、また複数のpre trained networkを重ねあわせることもできる。この手法自体の適用先は強化学習に限らないが強化学習タスクで評価。Fisher情報行列を評価してpre trainded networkのどの素性が寄与しているかを解析もしている。#1 はこの結果のロボティクスへの応用.

論文リンク

https://arxiv.org/abs/1606.04671

著者/所属機関

Andrei A. Rusu, Neil C. Rabinowitz, Guillaume Desjardins, Hubert Soyer, James Kirkpatrick, Koray Kavukcuoglu, Razvan Pascanu, Raia Hadsell

Google DeepMind London, UK

概要

新規性・差分

手法

結果

コメント

一言でいうと

CNNの各レイヤのパラメーター(幅や高さ)をRNNで決め、そのRNNがCNNの精度が最大になるパラメーターを出力するように、強化学習するという手法。なお普通にやっていると日が暮れるので、並列で実行する工夫も行われている。結果として、最高精度同等、またRNNではより良い結果が出た

論文リンク

http://openreview.net/forum?id=r1Ue8Hcxg

著者/所属機関

Barret Zoph, Quoc Le
Google Brain

概要

新規性・差分

手法

結果

コメント

一言でいうと

音楽を生成するRNNを、強化学習で学習させるという方法。actionは音符を選ぶことで、Rewardは実際の曲的に出現しうるか＋音楽理論に沿っているか(いくつかの特徴量で設定)で与える。これにより、これまでより格段に音楽的に好ましくない性質は低減し、好ましい性質は高くすることができた。

論文リンク

https://arxiv.org/pdf/1611.02796v2.pdf

ブログ

https://magenta.tensorflow.org/blog/2016/11/09/tuning-recurrent-networks-with-reinforcement-learning/

著者/所属機関

Natasha Jaques, Shixiang Gu, Richard E. Turner, Douglas Eck

• Google Brain, USA
• Massachusetts Institute of Technology, USA
• University of Cambridge, UK
• Max Planck Institute for Intelligent Systems, Germany

概要

新規性・差分

手法

結果

コメント

一言でいうと

唇の動きを読んでテキストにするという、DNNによる読唇術ともいえるもの。既存の語ベースではなく、文単位での認識を可能にした。時空間の畳み込み(STCNN)から、最終的には特徴ベクトルから直接テキストを生成するCTCを用いて文を生成。既存79.6%の精度を93.4と圧倒。

論文リンク

https://arxiv.org/abs/1611.01599

著者/所属機関

Yannis M. Assael, Brendan Shillingford, Shimon Whiteson, Nando de Freitas

Department of Computer Science, University of Oxford
Google DeepMind
CIFAR

概要

新規性・差分

手法

結果

コメント

一言でいうと

物体認識を行う際、写真のどこに注目するかを決めて(右上・左上、など)切り取り、拡大する。そこからさらにどこに注目するか決め・・・と再帰的に繰り返すことで認識精度を上げるという研究。この挙動を強化学習で学習させる。重複には強くなったが、切り取りによる領域縮小で精度が下がったとのこと

論文リンク

https://imatge-upc.github.io/detection-2016-nipsws/

著者/所属機関

Miriam Bellver, Xavier Giro-i-Nieto, Ferran Marques, Jordi Torres

Barcelona Supercomputing Center
Image Processing Group

概要

新規性・差分

手法

結果

コメント

一言でいうと

人が物体を目の前にしたときに、触ったり持ち上げたりすることで物体の特性を知るように、強化学習でその過程を再現しようという試み。具体的には、ものの重さを当てるタスク、ブロックが積まれている中で何個あるか当てるというタスクにチャレンジしている。

こちらの記事も参考。

論文リンク

https://arxiv.org/pdf/1611.01843v1.pdf

著者/所属機関

Misha Denil, Pulkit Agrawal, Tejas D Kulkarni, Tom Erez, Peter Battaglia, Nando de Freitas
DeepMind
University of California Berkeley
University of Oxford
Canadian Institute for Advanced Research

概要

新規性・差分

手法

結果

コメント

一言でいうと

自然音のデータを利用して特徴認識(クラス分類)を行おうという話。学習に際しては、ラベルを学習済みの物体/シーン認識のモデルから取得し、それを音声の教師ラベルにするという手法。これで教師有りより高い性能を出せた。

論文リンク

https://arxiv.org/pdf/1610.09001.pdf

著者/所属機関

Yusuf Aytar, Carl Vondrick, Antonio Torralba
MIT

概要

新規性・差分

手法

結果

コメント

一言でいうと

画像の分類機を「だます」ことについての研究で、異なる種類の分類機でも同様の手法で「間違わせる」ことが可能という結果。だます側には正常な分類結果から「押し出す」最小の変更量を学習させる。しかも変更を加えた画像は元のものとほとんど見分けがつかない(Figure3と11参照)。

論文リンク

https://arxiv.org/abs/1610.08401

著者/所属機関

Seyed-Mohsen Moosavi-Dezfooli, Alhussein Fawzi, Omar Fawzi, Pascal Frossard

概要

新規性・差分

手法

結果

コメント

一言でいうと

エンティティ間の関係性(猫/持つ/しっぽ、などといったトリプル)を表現するモデル(Neural Tensor Network)の提案と、エンティティの表現に単一の分散表現でなく所属する分散表現の平均を用いると良かったという話(学習済みならなお良し)。かなりの高精度。

論文リンク

http://nlp.stanford.edu/pubs/SocherChenManningNg_NIPS2013.pdf

著者/所属機関

Richard Socher, Danqi Chen, Christopher D. Manning, Andrew Y. Ng
Computer Science Department, Stanford University, Stanford, CA 94305, USA

概要

新規性・差分

手法

結果

コメント

一言でいうと

Adamの変形で、目的関数からのフィードバック、具体的には目的関数の出力増減率の移動平均を加味してやることで性能が向上したというもの。論理コードがあるため、簡単に実装できそう。

論文リンク

https://arxiv.org/abs/1611.01505

著者/所属機関

Jayanth Koushik & Hiroaki Hayashi
Language Technologies Institute Carnegie Mellon University

概要

新規性・差分

手法

結果

コメント

一言でいうと

いわゆる画風変換についての論文。色々な変換ができるけど遅いvs速く変換できるけどスタイルごとに学習させる必要があるというトレードオフを解決。色々なスタイルとはいえ共通するところはあるはず、という仮定の下試してみたら正規化とパラメーター調整だけで複数スタイルが表現できたという話。

論文リンク

https://arxiv.org/pdf/1610.07629v1.pdf

著者/所属機関

Vincent Dumoulin, Jonathon Shlens, Manjunath Kudlur

概要

新規性・差分

手法

結果

コメント

一言でいうと

3DのGANだけでなく、GANで使ったdiscriminator(真偽判定を行うネットワーク)の隠れ層使ってSVMしたら分類性能がすごかったり、写真から3Dモデルを構築したり、3Dモデルの足し算引き算をやったりとやりたい放題である。

論文リンク

https://arxiv.org/abs/1610.07584

著者/所属機関

Jiajun Wu, Chengkai Zhang, Tianfan Xue, William T. Freeman, Joshua B. Tenenbaum

概要

新規性・差分

手法

結果

コメント

2016年の段階における、3Dオブジェクトに対するNNの適用の決定版ともいえる内容と思う。

一言でいうと

論文リンク

https://arxiv.org/pdf/1605.07736v1.pdf

著者/所属機関

Sainbayar Sukhbaatar
Dept. of Computer Science
Courant Institute, New York University

Arthur Szlam
Facebook AI Research
New York

Rob Fergus
Facebook AI Research
New York

概要

新規性・差分

手法

結果

コメント