对目前主流的机器学习算法进行公式推导、问题分析以及代码实现(主要基于numpy),持续更新(下面链接如果加载不出来,对应内容可在notebooks文件夹下找到):
01_线性模型_线性回归
01_线性模型_线性回归_正则化(Lasso,Ridge,ElasticNet)
02_线性模型_逻辑回归
03_二分类转多分类的一般实现
04_线性模型_感知机
05_线性模型_最大熵模型
06_优化_拟牛顿法实现(DFP,BFGS)
07_01_svm_硬间隔支持向量机与SMO
07_02_svm_软间隔支持向量机
07_03_svm_核函数与非线性支持向量机
08_代价敏感学习_添加sample_weight支持
09_01_决策树_ID3与C4.5
09_02_决策树_CART
10_01_集成学习_简介
10_02_集成学习_boosting_adaboost_classifier
10_03_集成学习_boosting_adaboost_regressor
10_04_集成学习_boosting_提升树
10_05_集成学习_boosting_gbm_regressor
10_06_集成学习_boosting_gbm_classifier
10_07_集成学习_bagging
10_08_集成学习_bagging_randomforest
10_09_集成学习_bagging_高阶组合_stacking
10_10_集成学习_xgboost_原理介绍及回归树的简单实现
10_11_集成学习_xgboost_回归的简单实现
10_12_集成学习_xgboost_分类的简单实现
10_13_集成学习_xgboost_优化介绍
10_14_集成学习_lightgbm_进一步优化
10_15_集成学习_dart_提升树与dropout的碰撞
10_16_集成学习_树模型的可解释性_模型的特征重要性及样本的特征重要性(sabaas,shap)
11_01_EM_GMM引入问题
11_02_EM_算法框架
11_03_EM_GMM聚类实现
11_04_EM_GMM分类实现及其与LogisticRegression的关系
12_01_PGM_贝叶斯网(有向无环图)初探
12_02_PGM_朴素贝叶斯分类器实现
12_03_PGM_半朴素贝叶斯分类器实现
12_04_PGM_朴素贝叶斯的聚类实现
12_05_PGM_马尔科夫链_初探及代码实现
12_06_PGM_马尔科夫链_语言模型及文本生成
12_07_PGM_马尔科夫链_PageRank算法
12_08_PGM_HMM_隐马模型:介绍及概率计算(前向、后向算法)
12_09_PGM_HMM_隐马模型:参数学习(有监督、无监督)
12_10_PGM_HMM_隐马模型:隐状态预测
12_11_PGM_HMM_隐马模型实战:中文分词
12_12_PGM_马尔科夫随机场(无向图)介绍
12_13_PGM_CRF_条件随机场:定义及形式(简化、矩阵形式)
12_14_PGM_CRF_条件随机场:如何定义特征函数
12_15_PGM_CRF_条件随机场:概率及期望值计算(前向后向算法)
12_16_PGM_CRF_条件随机场:参数学习
12_17_PGM_CRF_条件随机场:标签预测
12_18_PGM_CRF_代码优化及中文分词实践
12_19_PGM_CRF与HMM之间的区别与联系
《统计学习方法》第二版 --李航
《机器学习》 --周志华
《深入理解XGBoost》 --何龙