提高Python数据分析速度的技巧有哪些-创新互联

这篇文章主要介绍“提高Python数据分析速度的技巧有哪些”，在日常操作中，相信很多人在提高Python数据分析速度的技巧有哪些问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”提高Python数据分析速度的技巧有哪些”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！

1.预览Pandas中的数据框数据（Dataframe）

分析预览（profiling）是一个帮助我们理解数据的过程，在Python中Pandas Profiling 是可以完成这个任务的一个工具包，它可以简单快速地对Pandas 数据框进行搜索性数据分析。Pandas中df.describe()和df.info()函数通常可以实现EDA过程的第一步，但如果只是给出非常基础的数据预览并不能对分析那些大型的数据集提供帮助。另一方面来看，Pandas Profiling函数能通过一行代码来展示出大量的信息，而在交互式HTML报告中也是这样。

对于一个给定的数据集，Pandas Profiling 工具包将会计算出下面的统计信息：

由pandas profiling包算出的统计信息

代码示例：

安装

Python2.x的版本中，运用pip或conda安装pandas-profiling资源包：

pip install pandas-profiling
or
conda install -c anaconda pandas-profiling

使用

现在用一个古老的泰坦尼克数据集来演示多功能python profiler的结果：

#importing the necessary packages
import pandas as pd ##使用pandas资源包
import pandas_profiling ##使用新安装的pandas profiling资源包
df = pd.read_csv('titanic/train.csv') ##读取数据形成数据框
pandas_profiling.ProfileReport(df) ##使用pandas profiling

分析数据

这一行就是你需要在jupyter notebook中形成数据分析报告所需的全部代码。这个数据报告十分详细，包括了所有必要的图表。

这个报告也可以用下面的代码形成交互HTML文件（interactive HTML file）导出：

profile = pandas_profiling.ProfileReport(df)
profile.to_file(outputfile="Titanic data profiling.html") ##形成Titanic data profiling.html网页

2.Pandas图表(Plot)的交互性

Pandas中有一个内置的.plot()函数作为数据框(Dataframe)的一部分，但因为这个函数呈现的可视化并不是交互的，这使它的功能没那么吸引人。而且，使用pandas.DataFrame.plot（）函数绘制图表也并不容易。如果我们想要在没有对代码进行重大修改的情况下用pandas绘制交互式图表要怎么办？嗯，可以通过Cufflinks资源包来帮助你完成这一目的。

Cufflinks资源包将功能强大的plotly和灵活易用的pandas结合，非常便于绘图。现在我们来看看怎么安装和在pandas中使用这个资源包。

代码示例：

安装

Python2.x的版本中，使用pip安装plotly和cufflink：

pip install plotly # Plotly is a pre-requisite before installing cufflinks(plotly先于cufflinks安装)
pip install cufflinks

使用

调用方法：

#importing Pandas 
import pandas as pd ##使用pandas资源包
#importing plotly and cufflinks in offline mode
import cufflinks as cf ##使用cufflinks 和plotly资源包
import plotly.offline
cf.go_offline() ##使用cufflink包中的函数
cf.set_config_file(offline=False, world_readable=True)

下面来看一下泰坦尼克数据集所展现的魔力：

df.iplot()

右边的可视化展示的是静态的线状图，而左边的图是交互式的，并且更加详细，两个图在代码上没有重大的变化。

3.一点点魔法

Magic命令是Jupyter Notebook中的一组便捷功能，它们旨在解决数据分析中一些常见的问题。你可以用%Ismagic来查阅所有的Magic 命令。

上图列举了所有可用的Magic 函数

Magic命令有两大类：行magic命令（line magics），以单个% 字符为前缀，单行输入操作；单元magics命令（cell magics），以双%% 字符作为前缀，可以在多行输入操作。如果设置为1，我们使用magic 函数时不需要键入%。

下面让我们来看一下，在常见的数据分析任务中一些可能会用到的命令。

% pastebin

% pastebin将代码上传到Pastebin并返回一个链接。Pastebin是一个线上内容托管服务，我们可以在上面存储纯文本，如源代码片段，所形成的链接也可以分享给他人。事实上，Github gist也类似于pastebin，只是它带有版本控制。

代码示例：

来看一下这个file.py的python代码文件中的内容：

#file.py
def foo(x):
 return x

在Jupyter Notebook中使用% pastebin形成一个pastebin的链接。

%matplotlib notebook

％matplotlib inline函数用于在Jupyter笔记本中呈现静态matplotlib图。我们可以尝试用notebook来代替inline得到可轻松地缩放和调整大小的绘图，但要确保在套用matplotlib资源包之前调用该函数。

%matplotlib inline vs %matplotlib notebook

%run

%run函数用于jupyter notebook中运行一个python脚本文件。

%%writefile

%% writefile将执行单元的内容写入文件。下面的这段代码将写入名为foo.py的文件并保存在当前目录中。

%%latex

%% latex函数将单元格内容以LaTeX的形式呈现。它对于在单元格中编写数学公式和方程很有用。

4.发现并减少错误

交互式调试器(interactive debugger)也是一个Magic函数，但我必须给它归个类。如果你在运行代码单元出现异常时，可以在新行中键入％debug运行。这将打开一个交互式调试环境，它将您告诉你代码发生异常的位置。你还可以检查程序中分配的变量值，并在此处执行操作。点击q可退出调试器。

5.输出也可如此美观

如果你想生成美观的数据结构，pprint是选的模块。它在输出字典数据或JSON数据时特别有用。下面来看一下print 和pprint输出的一个例子：

6.让提示更突出

可以在你的Jupyter Notebook中使用提示/注释框来突出显示任何重要的内容。注释的颜色取决于指定的提示类型。只需在代码中加入需要突出显示的内容即可。

蓝色提示框：注释

代码示例：

#提示框开头
Tip: Use blue boxes (alert-info) for tips and notes. 
If it’s a note, you don’t have to include the word “Note”.#提示框内容