Giter VIP home page Giter VIP logo

ml-dl-tutorial's Introduction

机器学习教程

文章中列举的内容仅是我们的一些建议,肯定有不全面或者不足的地方,自己结合自己的实际情况学习即可

目录:

基础概念和认知:

机器学习 机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。下面是ML比较完备的知识技能图

ML知识技能图

书籍

数学

机器学习

  • 《机器学习》西瓜书 作者:周志华。 本人读过入门级拿西瓜做案例很清晰,没有数学基础还是不要看,特别是程序员,因为周老师层次太高偏学术。
  • 《DeepLearning》花书,最近中文版要出版了,称为圣书,这个可以慢慢啃,绝对要看的。
  • 《机器学习》作者Mitchell。Mitchell是机器学习的鼻祖,第一个提出机器学习概念的人。这本书很薄,很简单。内容很陈旧,但是都是机器学习的经典问题。而且,这本书概念清晰正确(很可贵啊,又简单又正确的书,说明作者功力很强)。
  • 《神经网络与机器学习》作者:Simon Haykin。 事实上,现在常见的很多机器学习算法都发端于神经网络,像SVM,深度学习,CNN等等。这本书详细的介绍了神经网络及其相关算法的所有细节。如果想深入了解的话,可以看一下。只想运用的话,也可以随便翻翻算法的介绍。
  • 《模式识别与机器学习》马春鹏 有数学基础再搞,不然很难受
  • 《集体编程智慧》代码丰富,结合理论搞
  • 《机器学习算法原理与编程实战》有理论有代码
  • 《机器学习实战》推荐
  • 《数据挖掘导论》我学习过程中必不可少
  • 自然语言处理怎么最快入门
  • 统计自然语言处理
  • 信息检索导论

视频教程

一、基本功

数学基础机器学习必要的数学基础主要包括:

二、修行(推荐李宏毅然后后吴恩达深度学习课程,然后决定走CV OR NLP 再看CS231N 或者 CS224N)

博客等

文章-论文

The Discipline of Machine LearningTom Mitchell 当年为在CMU建立机器学习系给校长写的东西。 A Few Useful Things to Know about Machine Learning Pedro Domingos教授的大道理,也许入门时很多概念还不明白,上完公开课后一定要再读一遍。

其它  

矩阵求导 知乎找答案


学习计划

by Tinglok

已经完成的都会带有我在学习过程中见到比较好的资料,或者我自己总的,这样减少大家在学习过程中找资料的成本

第一阶段:基本模型

辅助用视频Ng的courses《machine learning》,**国立大学林老师《机器学习基石》、《数据挖掘导论》第4、5章

第二阶段:最优化(主要是靠知乎和《统计学习方法》,还得继续深入理解)

复习《概率论与数理统计》、理解《Deep Learning》中的4.3节和4.4节,《Numerical Optimazation》、《最优化理论与方法》袁亚湘,孙文瑜、《统计学习方法》、《数据 挖掘导论》、《机器学习实战》、《智能优化方法》

  • 一阶无约束优化算法
    • 梯度下降法(步长的确定方法、线搜索法,信赖域法)
  • 二阶无约束优化算法
    • 牛顿法
    • 共轭梯度法
    • 拟牛顿法
  • 约束优化算法
    • 线性规划(概念与应用、单纯形法、内点法)
    • 二次规划(概念与应用、对偶法、积极集法)
    • 拉格朗日乘子法的简单认识
  • 感知机模型
  • K近邻模型
  • 朴素贝叶斯模型
  • 决策树模型
  • 支持向量机模型
  • 集成分类器
    • Bagging
    • Boosting
    • Random Forest
  • 遗传算法
  • 模拟退火
  • 禁忌搜索算法
  • 蚁群算法
  • 粒子群优化算法
  • LDA/PCA
  • SVD

第三阶段:模式识别与深度学习

  • 贝叶斯决策(《模式分类》)
  • 参数估计
  • 非参数方法
  • 线性判别函数
  • 浅层神经网络
    • delta方法
    • BP算法及其优化
    • RBF网络
  • 深度神经网络(DL中文版书籍)
    • Hopfield网络
    • 玻尔兹曼机
    • RBM
    • DBN
    • DBM
    • CNN
    • Autoencoder
    • RNN
    • LSTM   (CNN~LSTM)李宏毅教授的课不要太好了。一听就懂
  • 聚类
    • 高斯混合密度
    • K-means
    • 层次聚类
  • 决策树与随机森林
  • 特征提取与特征选择

第四阶段:

应该是各种框架和工程,比赛吧,哈哈,到这个阶段就有自己的方向,现在自己也不知道干啥,哈哈哈

贯穿始终:

编程是一定要的,推荐先用Python把常用算法实现一遍,然后把NG深度学习课程作业敲一遍,自己写神经网络,你就会明了,一定要code,code,code。后面用tf+keras等都可以。

知识点:(每一周深入学习一种网络) 《统计学习方法》、《Deep Learning》、《模式分类》

  • 前馈神经网络

  • 自编码器(Auto-Encoder)递归神经网络(Recursive NN) / 循环神经网络(RNN)/ 卷积神经网络(CNN) / 神经张量网络 (NTN)

  • 长短时记忆网络(LSTM) / 卷积长短时神经网络(convLSTM) / 张量递归神经网络(MV-RNN)/递归神经张量网络(RNTN)

  • 受限波尔兹曼机(RBM) / 玻尔兹曼机

  • 概率图模型

  • 有向图模型->贝叶斯网络

  • 无向图模型->马尔科夫随机场->条件随机场

ml-dl-tutorial's People

Contributors

emberathomas avatar mrjunjieli avatar tinglok avatar

Watchers

 avatar

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.