wangshusen / deeplearning Goto Github PK
View Code? Open in Web Editor NEWLicense: Other
License: Other
感谢王老师的视频讲解与PPT分享,最近在学习VAE的内容,有些疑惑,希望老师能出一期视频讲解一下VAE的内容。谢谢王老师!
您的视频中,四个节点,六轮(每轮通讯四条链路同时利用)通讯,共24次通讯,复杂度是(number_of_parameter / wide——bandwidth)
有A B C D四台机器,分别在本地维护维护一个 w 矩阵,和一个同纬度的sum_local 矩阵,一个计数器 i 初始化为1。
sum_local = w // 根据本地 w 的拷贝初始化 sum_local
i = 1 // sum_local 已收集了一个矩阵
while( i != number_of_Node_in_ring )
{
throw w to next node
get new w from previous node // 每次接到上个节点传来的 w,下次循环时只将接收到的w再传递出去
++i
sum_local += w
}
这个方法可行么,共计四轮(每轮,四条链路同时利用)通讯,共16 次通讯(复杂度是 number_of_node / bandwidth)
Optimal state-value function 公式中少了个*
内容与标题不匹配,可能是老师处理的课件太多了,失手了,希望可以更新。
想听听言简意赅的Recommender System协同过滤内容~
机器学习是希望使用一个矩阵,高维空间,对数据特征特征进行模拟。
server如 google 维护一个全局的矩阵w_global。客户端的数据不满足独立同分布,其中本地数据记为 w_local_i, 其中i 为用户名。
给定一个标量 trust_Max 超参数,定义最大偏离的距离,定义某个客户 与 w 的”距离“的矩阵 distance_to_global_i = w - w_local_i (对应元素相减),检验一下distance_to_global_i 矩阵 L2 范数与 trust_Max 的关系。
大于阈值,代表该用户和大多数用户的使用习惯偏差过大,有蓄意攻击的可能。
但世界上还会存在少量其他用户 w_local_k 和他的 w_local_i 的分布近似,体现在两个“距离矩阵”的差 distance_to_global_i - distance_to_global_k 的新矩阵的L2 很小。意味着利用 google 提供的高维空间 w 拟合两个用户的习惯类似。
---以下,猜测的部分----
在i k中分别训练另一个网络 m_i 和 m_k,m 使用不同于 w 的网络结构、参数,但 m_i 和 m_k参数相同。训练相同epoch。
方法一:得到本地的训练评价acc_i 和 acc_k,交换 m,分别在异地验证m,得到对方m 在本地的评价。与先前的评价进行比较。
方法二:直接对 m_i 和 m_k 差的 L2进行度量,判断 m_1 和 m_k 是否相近。
// 猜测基于假设:
// 如果两个客户的本地 w_local_ 和 w_global 的 对应元素差相近,它们的数据更接近。
// 蓄意攻击者通过加噪声等方式修改本地数据,意图污染 w_global,会让本地数据变得很奇怪,和其他的善良的偏离者在 w 网络下表现类似,却在另一个高纬空间的投影,新的网络 m 中表现不同。(我的猜测,不知道有没有可能。恶意用户 i 修改数据会让数据变得和谁都不像,在 w 中呈现和善良的用户 k 相近的表现,只是偶然。并不会在 m 中 依然接近 k)
还有一种通用方式(应对某些恶意用户 i 他的 w_local_i 并不过分偏离 w_global):
找一个用户k,他的 w_local_k 和 w_local_i 距离很近。server命令他们根据参数列表 temporary_table(临时生成的一组网络参数,包括层数、行列数量)。i 和 k 依据 table 训练网络 m, 交叉验证异地表现。
王老师,方便参考一下您的PPT吗?,感觉做的太好了,想着是否可以下载了学习下
感谢王老师,王老师的视频是全网最全面和简明的。期待王老师持续更新。辛苦了!
您好,您在这里提供的相关课件不能正常下载,不知道是什么原因,如果可以的话,您抽空检查一下。
下载时提示 ‘Sorry, this file is invalid so it cannot be displayed.’
@wangshusen 老师,您好,我实验了一下, pdf(9_RNN_3)中embedding的参数量应该是output shape[1] * shape[2], 因此应该是16000,您的ppt上写的是320000,请问是否是误写呢?
问题 1:
https://www.bilibili.com/video/BV1C64y127Fv 时间: 10:26
θ 不是张量 (看时间:7:00),所以卷积层block 的输出 不等于 θ
那么 卷积层block 的输出 怎么生成 θ 呢 ?
Question 1:
https://youtu.be/D9m9-CXw_HY?t=626
θ is not a tensor (check video at t=7:00), so the convolutional block output is not equal to θ
So, how does the convolutional block generate θ ?
问题 2:
在 D-X-Y/AutoDL-Projects#99 (comment) 和 GDAS 文献 的式子 (7) 里,如何在两个节点之间的多个平行 的连接线 进行反向传播的运作 ?
Question 2:
For D-X-Y/AutoDL-Projects#99 (comment) and equation (7) of GDAS paper , how to do backpropagation across multiple parallel edges between two nodes ?
A declarative, efficient, and flexible JavaScript library for building user interfaces.
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
An Open Source Machine Learning Framework for Everyone
The Web framework for perfectionists with deadlines.
A PHP framework for web artisans
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
Some thing interesting about web. New door for the world.
A server is a program made to process requests and deliver data to clients.
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
Some thing interesting about visualization, use data art
Some thing interesting about game, make everyone happy.
We are working to build community through open source technology. NB: members must have two-factor auth.
Open source projects and samples from Microsoft.
Google ❤️ Open Source for everyone.
Alibaba Open Source for everyone
Data-Driven Documents codes.
China tencent open source team.