1、Python的常用包有哪些，分别有什么作用？

Python常用包

1、Numpy（数值运算库）

2、Scipy（科学计算库）

3、Matplotlib（基础可视化库）

4、Pandas（数据处理库）

5、Seaborn（高级可视化库）

6、Scikit-learn（流行的机器学习库）

各自作用

1、Numpy是最为流行的机器学习和数据科学包，Numpy包支持在多维数据上的数学运算，提供数据结构以及相应高效的处理函数，很多更高级的扩展库(包括Scipy、Matplotlib、Pandas等库）都依赖于Numpy库；

2、Scipy包用于科学计算，提供矩阵支持，以及矩阵相关的数值计算模块，其功能包含有最优化、线性代数、积分、插值、拟合、信号处理和图像处理以及其他科学工程中常用的计算；

3、Pandas用于管理数据集，强大、灵活的数据分析和探索工具，其带有丰富的数据处理函数，支持序列分析功能，支持灵活处理缺失数据等；

● Pandas基本的数据结构是Series和DataFrame；

● Series就是序列，类似一维数组；

● DataFrame相当于一张二维的表格，类似二维数组，它的每一列都是一个Series；

● 为了定位Series中的元素，Pandas提供了Index对象，每个Series都会带有一个对应的Index，用来标记不用的元素；

● DataFrame相当于多个带有同样Index的Series的组合（本质是Series的容器）；

4、Matplotlib库用于数据可视化，强大的数据可视化工具以及作图库，其主要用于二维绘图，也可以进行简单的三维绘图；

5、Seaborn库是基于Matplotlib的高级可视化库；

6、Sklearn库包含大量机器学习算法的实现，其提供了完善的机器学习工具箱，支持预处理、回归、分类、聚类、降维、预测和模型分析等强大的机器学习库，近乎一半的机器学习和数据科学项目使用该包。

2、sklearn的常用包有哪些，分别有什么作用？

sklearn库的结构

sklearn主要是用于机器学习，所以sklearn的模块也都是围绕机器学习算法的。sklearn因此可以分为这几个部分：Classification（分类），Regression（回归），Clustering（聚类），Dimensionality reduction（降维），Model selection（模型选择），Preprocessing（预处理）。

1.分类算法包括SVM（sklearn.svm.SVC等）、近邻（sklearn.neighbors）、随机森林（sklearn.ensemble.RandomForestClassifier）等。

2.回归算法包括SVR（sklearn.svm.SVR）、岭回归（sklearn.linear_model.Ridge）、Lasso（sklearn.linear_model.Lasso）等。

3.聚类算法包括K均值（sklearn.cluster.KMeans）、谱聚类（sklearn.cluster.SpectralClustering）等。

4.降维算法包括PCA（如sklearn.decomposition.PCA）、特征选择（sklearn.feature_selection，包括单变量特征选择等）、非负矩阵分解（如sklearn.decomposition.NMF、LatentDirichletAllocation）。

5.模型选择方法包括网格搜索（sklearn.model_selection.GridSearchCV）、交叉验证（有很多，比如sklearn.model_selection.KFold、cross_val_score）、评估指标（sklearn.model_selection.metrics，包括precision、recall、accuracy等）。

6.预处理方法包括基本的预处理方法（sklearn.preprocessing，包括标准化、类别化、离散化等）、特征抽取（sklearn.feature_extraction，包括文本特征抽取方法bag of words、tf-idf等）。

机器学习主要步骤中sklearn应用

1.数据集：sklearn.datasets中提供了很多数据集，初学时可将其作为基础数据。

2.数据预处理：sklearn.preprocessing，包括：降维、数据归一化、特征提取和特征转换（one-hot）等

3.选择模型并训练：分类、回归、聚类、集成等算法，涉及的模型主要是sklearn.linear_model、sklearn.cluster、sklearn.ensemble。

4.模型评分：sklearn.metrics，包括准确率、召回率等，算法自身也带有评分方法score。

5.模型的保存与恢复：可以用python的pickle方法（pickle.dump、pickle.load），或者sklearn.externals.joblib（joblib.dump、joblib.load）。

学习建议

不必一次看完sklearn所有模块的使用方法，这样太累！成效也不大！最好的方式是一边学习机器学习算法理论，一边实践的过程中去了解相关模块的用途，记忆会更深刻。

深入探索：Hands-On Machine Learning with Scikit-Learn & TensorFlow

3、什么是正则化、如何理解正则化以及正则化的作用？

正则化-Regularization（也称为惩罚项或范数）就是通过对模型的参数在“数量”和“大小”方面做相应的调整，从而降低模型的复杂度，以达到避免过拟合的效果。

如何理解正则化

如果我们的目标仅仅是最小化损失函数（即经验风险最小化），那么模型的复杂度势必会影响到模型的整体性能；引入正则化（即结构风险最小化）可以理解为衡量模型的复杂度，同时结合经验风险最小化，进一步训练优化算法。

正则化的作用

正则化可以限制模型的复杂度，从而尽量避免过拟合的发生；模型之所以出现过拟合的主要原因是学习到了过多噪声，即模型过于复杂（也可以通过简化模型或增加数据集等方法尽量避免过拟合的发生）。

正则化的常见类型

（1）L1正则化

可以通过稀疏化（减少参数“数量”）来降低模型复杂度的，即可以将参数值减小到0。

（2）L2正则化

可以通过减少参数值“大小”来降低模型的复杂度，即只能将参数值不断减小，但永远不会减小为0，只能尽量接近于0。

关联概念

过拟合、正则化、经验风险最小化、结构风险最小化、损失函数、模型复杂度、范数

4、bias和variance是什么？

Datawhale优秀回答者：追风者

解释1

bias 偏差 ：模型的期望（或平均）预测和正确值之间的差别；

variance 方差 ：模型之间的多个拟合预测之间的偏离程度。

解释2

bias和variance分别从两个方面来描述了我们学习到的模型与真实模型之间的差距；

bias是 “用所有可能的训练数据集训练出的所有模型的输出的平均值” 与 “真实模型”的输出值之间的差异；

variance则是“不同的训练数据集训练出的模型”的输出值之间的差异。

解释3

首先 Error = bias + variance

Error反映的是整个模型的准确度，bias反映的是模型在样本上的输出与真实值之间的误差，即模型本身的精准度，variance反映的是模型每一次输出结果与模型输出期望之间的误差，即模型的稳定性；

更准确地讲Error分成3个部分：Error = bias + variance + noise;