いつもお世話になっております。この本で勉強させてもらっています。

まず(4.20)ですが、ここではEは単語の埋め込み行列で, xは単語列中の単語(に対応するone-hotベクトル)であると思われますが、関数Iのdomainは文では無いでしょうか？関数Iの型がI :: [Char] -> R^Dという風に記述から読み取れますが、これではI :: Char -> R^Dのように見えます。
以下のような表記になるのでは無いかと思うのですが、どうでしょうか(N_sはs番目の文の長さです)。

次にp102の上から3行目から、m_iはR^Dの元のはずですが(4.20)の下の、m_N <- xとあります。
ここで混乱しているのですが、xは何を指しているのでしょうか？
上で議論していた単語列中の単語(に対応するone-hotベクトル)であるならば、xがR^Dであることに関して言及されておらず、単語列そのものを指している(xではなくX)ならm_NにR^Dの元以外を代入しているため矛盾します。
I(X)であるならば、ここまでの議論では納得できますが、今度は(4.24)の関数sの定義で混乱が生じます。
というのも、関数\Phiは入力情報をD次元の特徴ベクトルに変換する関数とありますが、(4.21)や(4.22)では関数sの第二引数はm_iとなっているためすでにR^Dの元なので関数\Phiは恒等関数以外の解釈ができません。

また、(4.21)や(4.22)のも同じくxの代わりにXを使用するべきでは無いかと思います。

全体的にp102の上から3行目、m_iはR^Dの元という記述から混乱が生じているように思います。

11行目「狭まく」→「狭く」

p14の参考2.2内の最下段

誤：期待があるのだと思いますの
正：期待があるのだと思います

「の」が不要

式(3.14) が同時確率っぽい P_{model}(y_t^{(n)}, Y_{[a,t-1]}^{(n)} となっていて、
条件確率 P_{model}(y_t^{(n)} \mid Y_{[a,t-1]}^{(n)} となっていないことに理由はあるのでしょうか?

同時確率っぽい式は p.54, p.55 (式(3.15)) にも出てきます。

上から２行目
語）内部情報とし扱います.
正）内部情報として扱います.

４刷です。

8行目「精度の少ない」→「精度の低い」

P10の式(2.4)の２行下に交差エントロピーの式があります。これは、以下の通りではないでしょうか？
教科書：

正解と思われる式

このようにすると、式(2.6)とも整合的です。
（私の誤りでしたら、すみません。）

P105 4.2.4項におきまして

意味記憶(sementic memory module) となっておりますが
意味記憶(semantic memory module) のtypoかと思われます。

細かいところ申し訳ありませんが、ご確認よろしくお願いいたします。

p.137 下から10行目
誤: 連結します関数concat
正: 連結します．関数concat

p.102 下から4行目: m_1, m_2 は m_{o_1}, m_{o_2} でしょう。

式(2.56)のg_jは、j=iからではなく、j=i+1からではないでしょうか?

15〜16行目「最大文長よりも大きい」→「最大文長以上の」

(4) 復号化器再帰層 に続く「..復号化器埋め込み層の処理に対する入出力は以下のよう..」が、「..復号化器再帰層の処理に対する..」の誤植かと感じたのですが、どうでしょうか。

Eq(3.22)の第二項 \log( \sum \phi ) → \log( \sum \exp( \phi ) ) に修正

10行目「連鎖率」→「連鎖律」

5.2.1 歴史的背景
誤）test summarization challenge
正）text summarization challenge

第2刷です。

p.100 4.2.1 2行目:「モデル考えます」→「モデルを考えます」

真ん中の２つの矢印が間違っていると思います。

１刷ではブラックアウトの項目(P.117)の中の式(4.61)は以下のようになっています。

これは式(4.60)で示された対数尤度をパラメータθで微分して導かれているものですが、この微分の計算が間違っているため、式(4.61)も間違った式になってしまっていると思います。具体的に修正すると以下のような感じになると思います。

p.154最下行において「文のベクトルを単一のベクトルに符号化します」とありますが、「文を単一のベクトルに符号化します」の方がよいでしょうか?

例題は、reluなので、不連続ではありません。
reluは、連続関数ですが、0で微分可能ではないです。

読む人は、困らない、細かい点ですが
「不連続な点をまたが無いようにテスト対象のデータを設計する必要があります。」とある部分の
不連続は、数学的に正確な表現ではないと思われます。

なので、不連続でも注意しなければならないですが
微分可能でないことも、注意する必要があります。

p.104 下から2行目:「質問文q」のqをboldに

x⁽ⁿ⁾→x⁽ⁱ⁾
y⁽ⁿ⁾→y⁽ⁱ⁾
こちらの理解が間違っていたら申し訳ありません……。

2.6.2 では bi-RNN の前向き隠れ状態と後向き隠れ状態を concat して使っています。
一方 5.1.2 の機械翻訳の実装例では element-wise addition を行っています。
いま OpenNMT のソースを見ると、オプションで concat と sum (element-wise addition) を切り替えられるようになっていました。
https://github.com/OpenNMT/OpenNMT/blob/master/onmt/modules/BiEncoder.lua
昨今は concat の方が一般的ではないかと思います。
読んでいてちょっと引っかかるので、補足があると良さそうです。

p29の下の方にある
入力列全体(x₁,x₂・・・,T_x)は
入力列全体(x₁,x₂・・・,x_Tx)の誤りではないでしょうか？
（下付き文字はおそらく時刻なので）

式(4.4)と式(4.7)の一番下ですが、最初の「本書で用いる記号」によれば、列方向の連結は「,」ではなく「;」ではないでしょうか。
(ざっと見た限り、列方向の連結はこの2ヵ所しかなさそうです。)

式2.29の右辺第二項

誤：
正：

1行目
P(H,y_{j}) ~ P^{D} → P((H,y_{j}) ~ P^{D})

こちらの理解が間違っていたら申し訳ありません…

本書で勉強させていただいております。素晴らしい本を出版していただいたこと、お礼申し上げます。

表題の内容を第一刷で確認しました。
おそらくタイポではないかと思われます。ご報告させていただきます。

p.103 式(4.25)の真ん中の項において、boldになっていないxをboldに

「ほとんど最初の3単語のみの情報」とありますが、「ほとんど3番目の入力単語のみの情報」でしょうか。
より正確には「ほとんど3番目の入力単語の情報とh_j^{(t)}(で出力を決める...)」だと思いますが、それは明らかかもしれません。

{f_1, ... , f_N} {a_1, ..., a_N}が与えられる
r ~ U(0,1)
k = rN
p = rN - k

とありますが、kは整数とされており、かつP.201の

この棒グラフ全体から等確率で1つを選択するということを行っています.

という点から、

k = ceil(rN)
p = rN - (k - 1)

ではないでしょうか。

p.107 下から2行目:「ベクトル使って」→「ベクトルを使って」

第1刷のsoftmax関数の分母に

\exp(o_y)

とありますが，これは

\exp(o_{\tilde{y}})

ではないでしょうか？

NCEの正式名がnoise contrasive estimationとなっているが，
正しくはnoise contras*t*ive estimation

本書で勉強させていただいております。素晴らしい本を出版していただいたこと、お礼申し上げます。

式4.3から一連の\bar{h}について，各単語ごとに違う重み付き平均ベクトルが用いられることを明確にするために\bar{h_j}と記載するほうが良いのではないかと思いました。

現状の表記では，すべてのjにたいして共通の\bar{h}が適用されるように解釈できてしまうと考えます。
それに関連して a_iもa_{i, j}、e_iもe_{i, j}として表記するほうが良いのではと思います。

このように変更した場合、以降も変更する必要がある点が多く、難しいかとは思いますが、ご検討いただければ幸いです。
以上よろしくお願いいたします。

「... この仮定を時間ごとに異なるパラメータを使うモデルに比べてパラメータ数が減り、...」とありますが、「この仮定を」よりも、「この仮定により」ぐらいが適当ではないでしょうか。ちょっと自信がありませんが。

P102の真ん中あたりの表記で
一般化での記憶情報の追加が

と表記されていますが
追加されるのは入力文xではなくて入力情報変換されたI(x)なので、

という表記が正しいのではないでしょうか？

「また，確率モデルの形式は，式(3.23)とまったく同じ形です」→　まったく同じ形ではないのでは？
P^D' =1 - P^D
なので、似た形式で書いたとしても

で\phiの前の符号が異なる。
これに伴い
(3.25)式第二項の指数の中の符号も変更する必要がある.

また(3.24)の式の第1項と第２項の符号は同一ではないか?
以下の式を- log取るだけに思える。

もし上記の指摘が正しければ、
式(3.25)も同様に第1項と第２項の符号は同一になる。

冒頭で触れた箇所と合わせると式(3.25)第二項は以下のようになる

(訂正箇所強調)

@stomohideさんのご指摘より引用
https://twitter.com/stomohide/status/871979229310615552

2.7.3のGRUの説明(P.36)の式(2.62)って行列をかけるのがぬけてないでしょうか。

8行目「考てみます」→「考えてみます」

応答復号化器の入力は最初の時刻(BOS)以外点線、出力は全て点線の箱で予測結果を入出力にしていることを示しているはずでしたが、全て実線となっていました。

を

のように修正いたします。

図中\tilde{y}_jは\tilde{y}'_j。

(パラメータ行列がEからE'に変わっていることに気づかず、nnlmの計算途中の\tilde{y}_jを持ってくるものだと誤解してしまった。)

P_jはp_j。

図中Y_{C,j}の意味は本文中などで特に説明されていない(読者が察することはできると思う)

「訓練データでの誤差」と「訓練データ以外での誤差」が逆でした。
一般にパラメータ更新回数が増えるにしたがって「訓練データでの誤差」は下がり続けますが、「訓練データ以外での誤差」はどこかで増え始めます。

「訓練データでの誤差」（青線）「訓練データ以外での誤差」（黒線）
を
「開発データでの誤差」（青線）「訓練データでの誤差」（黒線）
に修正します。

p24末尾に，
「新しい関数の微分は以下のようにの微分に1を足したものになり必ず微分係数が1以上になります」
とありますが，
「の微分」
が0以上になることは保証されているのでしょうか?

次のページで「は1に近い値になります」との記述との整合性が気になります．

7.5.1 2行目「後ろ処理」→「後ろ向き処理」

p.32 4行目:「対処できるます」→「対処できます」

式(4.35)が、

となっていますが、式(4.33)〜式(4.39)の一連の流れを見ると、

が正しそうです。