pandas 是一种列存数据分析 API。它是用于处理和分析输入数据的强大工具,很多机器学习框架都支持将 pandas 数据结构作为输入。 虽然全方位介绍 pandas API 会占据很长篇幅,但它的核心概念非常简单,我们会在下文中进行说明。有关更完整的参考,请访问 pandas 文档网站,其中包含丰富的文档和教程资源。

基本概念

首先安装一下 module,可以配置下pip源,或者 加参数-i提高下载速度

1
2
3
4
mkdir ~/.pip
vim ~/.pip/pip.conf
[global]
index-url = https://mirrors.aliyun.com/pypi/simple
1
2
pip3 install pandas -i https://mirrors.aliyun.com/pypi/simple
pip3 install matplotlib -i https://mirrors.aliyun.com/pypi/simple # 如果需要绘制图表

pandas 中的主要数据结构被实现为以下两类:

  • **DataFrame**,您可以将它想象成一个关系型数据表格,其中包含多个行和已命名的列。
  • **Series**,它是单一列。DataFrame 中包含一个或多个 Series,每个 Series 均有一个名称。

数据框架是用于数据操控的一种常用抽象实现形式。SparkR 中也有类似的实现。

创建Series

1
2
3
city_names = pd.Series(['San Francisco', 'San Jose', 'Sacramento'])
population = pd.Series([852469, 1015785, 485199])

创建DataFrame,通过Series

1
pd.DataFrame({ 'City name': city_names, 'Population': population })

更多时候,一般装载整个文件

1
california_housing_dataframe = pd.read_csv("https://download.mlcc.google.com/mledu-datasets/california_housing_train.csv", sep=",")

当然,也可以通过复制表格内容

1
2
df = pd.read_clipboard()
df.to_csv("some_data.csv")

DataFrame 常用方法

1
2
3
4
5
6
# 显示统计信息
california_housing_dataframe.describe()
# 显示前几个记录
california_housing_dataframe.head()
# 绘制图表
california_housing_dataframe.hist('housing_median_age')

访问数据

您可以使用熟悉的 Python dict/list 指令访问 DataFrame 数据:

1
2
3
4
5
cities = pd.DataFrame({ 'City name': city_names, 'Population': population })
print(type(cities['City name']))
print(cities['City name'])
print(type(cities['City name'][1]))
print(cities['City name'][1])

此外,pandas 针对高级索引和选择提供了极其丰富的 API(数量过多,此处无法逐一列出)。

操控数据

您可以向 Series 应用 Python 的基本运算指令。例如:

1
population / 1000

NumPy 是一种用于进行科学计算的常用工具包。pandas Series 可用作大多数 NumPy 函数的参数:

1
2
import numpy as np
np.log(population)

对于更复杂的单列转换,您可以使用 Series.apply。像 Python 映射函数一样,Series.apply 将以参数形式接受 lambda 函数,而该函数会应用于每个值。

下面的示例创建了一个指明 population 是否超过 100 万的新 Series

1
population.apply(lambda val: val > 1000000)

DataFrames 的修改方式也非常简单。例如,以下代码向现有 DataFrame 添加了两个 Series

1
2
3
cities['Area square miles'] = pd.Series([46.87, 176.53, 97.92])
cities['Population density'] = cities['Population'] / cities['Area square miles']
print(cities)

索引

SeriesDataFrame 对象也定义了 index 属性,该属性会向每个 Series 项或 DataFrame 行赋一个标识符值。

默认情况下,在构造时,pandas 会赋可反映源数据顺序的索引值。索引值在创建后是稳定的;也就是说,它们不会因为数据重新排序而发生改变。

1
print(city_names.index)

调用 DataFrame.reindex 以手动重新排列各行的顺序。例如,以下方式与按城市名称排序具有相同的效果:

1
cities.reindex([2, 0, 1])

重建索引是一种随机排列 DataFrame 的绝佳方式。在下面的示例中,我们会取用类似数组的索引,然后将其传递至 NumPyrandom.permutation 函数,该函数会随机排列其值的位置。如果使用此重新随机排列的数组调用 reindex,会导致 DataFrame 行以同样的方式随机排列。 尝试多次运行以下单元格!

1
cities.reindex(np.random.permutation(cities.index))

练习

推荐使用 https://colab.research.google.com/ 练习,可以直接导入ipynb,练习库github上面有很多,这里不多赘述,底下相关链接也有列出。

相关链接

colab intro to pandas

user guide

guipsamora/pandas_exercises