在使用Pandas的过程增删改查是频繁使用的操作，这一节主要就是展示DataFrame常用的增加和删除操作
增加行和增加列
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37# 增加一列，我们可以有两种方式，如下：
In [345]: df
Out[345]:
one two
a 0 1
b 4 5
c 8 9
d 12 13
In [346]: df['three'] = [3, 5, 5, 7]
In [347]: df
Out[347]:
one two three
a 0 1 3
b 4 5 5
c 8 9 5
d 12 13 7
# 或者使用loc
In [369]: df
Out[369]:
one two three
a 0 1 2
b 4 5 6
c 8 9 10
d 12 13 14
In [370]: df.loc[:, "four"] = [1, 4, 5, 9]
In [371]: df
Out[371]:
one two three four
a 0 1 2 1
b 4 5 6 4
c 8 9 10 5
d 12 13 14 9
需要注意的是使用如上两种方式增加一列的时候，其数组的长度必须与原有DataFrame的行数相同，否则会报如下错误
1
ValueError: Length of values does not match length of index
增加行同样我们也可以使用loc, 如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18In [376]: df
Out[376]:
one two three four
a 0 1 2 3
b 4 5 6 7
c 8 9 10 11
d 12 13 14 15
In [377]: df.loc['e'] = [3, 7, 8, 9]
In [378]: df
Out[378]:
one two three four
a 0 1 2 3
b 4 5 6 7
c 8 9 10 11
d 12 13 14 15
e 3 7 8 9
但很多时候，我们并不需要row index, 只想自动增加一行，那么可以通过如下的方式
1
2
3
4
5
6
7
8
9
10
11In [379]: df.loc[df.shape[0]+1] = [3, 5, 9, 9]
In [380]: df
Out[380]:
one two three four
a 0 1 2 3
b 4 5 6 7
c 8 9 10 11
d 12 13 14 15
e 3 7 8 9
6 3 5 9 9
另外，我们还可以将数据转化为Series，然后利用concat或者append的方式将其与原有的DataFrame进行合并。这种方式不仅可以添加一行数据，也可以一次性添加多行数据。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18In [392]: df = pd.DataFrame(np.arange(16).reshape((4,4)), index=[1, 2, 3, 4], columns=['a',
...: 'b', 'c','d'])
In [393]: df2 = pd.DataFrame(np.arange(16).reshape((4,4)), index=[5, 6, 7, 8], columns=['a'
...: , 'b', 'c','d'])
# 这里相当于添加了多行数据
In [394]: pd.concat([df, df2])
Out[394]:
a b c d
1 0 1 2 3
2 4 5 6 7
3 8 9 10 11
4 12 13 14 15
5 0 1 2 3
6 4 5 6 7
7 8 9 10 11
8 12 13 14 15
更多关于concat和append将在后续的章节详细讲解。
删除行和删除列
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48In [751]: df
Out[751]:
age color food height score state
Jane 30 blue Steak 178 4.6 NY
Nick 2 green Lamb 181 8.3 TX
Aaron 12 red Mango 178 9.0 FL
Penelope 4 white Apple 178 3.3 AL
Dean 32 gray Cheese 175 1.8 AK
Christina 33 black Melon 178 9.5 TX
Cornelia 69 red Beans 178 2.2 TX
# 使用drop删除index为'Dean'的行
In [752]: df.drop(['Dean'])
Out[752]:
age color food height score state
Jane 30 blue Steak 178 4.6 NY
Nick 2 green Lamb 181 8.3 TX
Aaron 12 red Mango 178 9.0 FL
Penelope 4 white Apple 178 3.3 AL
Christina 33 black Melon 178 9.5 TX
Cornelia 69 red Beans 178 2.2 TX
In [749]: df
Out[749]:
age color food height score state
Jane 30 blue Steak 178 4.6 NY
Nick 2 green Lamb 181 8.3 TX
Aaron 12 red Mango 178 9.0 FL
Penelope 4 white Apple 178 3.3 AL
Dean 32 gray Cheese 175 1.8 AK
Christina 33 black Melon 178 9.5 TX
Cornelia 69 red Beans 178 2.2 TX
# 使用drop删除名为'height'的列，注意需要使用axis=1
# 使用inplace来空值是在同一块内存还是copy
In [750]: df.drop(['height'], axis=1, inplace=True)
Out[750]:
age color food score state
Jane 30 blue Steak 4.6 NY
Nick 2 green Lamb 8.3 TX
Aaron 12 red Mango 9.0 FL
Penelope 4 white Apple 3.3 AL
Dean 32 gray Cheese 1.8 AK
Christina 33 black Melon 9.5 TX
Cornelia 69 red Beans 2.2 TX
# drop多列
df.drop(['height', 'food'], axis=1, inplace=True)
条件删除
由于在数据清洗的过程中经常需要删除不符合条件的record，所以以下这种条件过滤行就非常有用。需要注意的是，这里是重新生成了一个DataFrame，而不是直接在原有的DataFrame上修改
1
2
3
4
5
6
7
8
9
10
11In [755]: df2 = df[df.color!='blue']
In [756]: df2
Out[756]:
age color food height score state
Nick 2 green Lamb 181 8.3 TX
Aaron 12 red Mango 178 9.0 FL
Penelope 4 white Apple 178 3.3 AL
Dean 32 gray Cheese 175 1.8 AK
Christina 33 black Melon 178 9.5 TX
Cornelia 69 red Beans 178 2.2 TX
去重
使用drop_duplicates，我们可以去掉重复项，这是一个非常有用的函数，下面我们来详细分析下
- 通过参数subset,指定去重比较时用哪些column。如果不指定则所有的数据都会比较，只有所有列的数据都一致的时候才会去掉，否则不会去掉，如下：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21In [459]: df_con2
Out[459]:
uid num1 num2
0 a1 1 4.0
1 a2 3 5.0
2 b1 5 7.0
0 a1 2 4.0
1 a2 5 NaN
2 a3 2 2.0
In [460]: df_drop = df_con2.drop_duplicates()
In [461]: df_drop
Out[461]:
uid num1 num2
0 a1 1 4.0
1 a2 3 5.0
2 b1 5 7.0
0 a1 2 4.0
1 a2 5 NaN
2 a3 2 2.0
我们可以让两个dataframe只比较uid列，只要这一列的数据重复，我们就认为重复，如下：
1
2
3
4
5
6
7
8
9In [462]: df_drop2 = df_con2.drop_duplicates(subset='uid')
In [463]: df_drop2
Out[463]:
uid num1 num2
0 a1 1 4.0
1 a2 3 5.0
2 b1 5 7.0
2 a3 2 2.0
- 另外从上边的例子可以看出，其去重是去掉了后边出现的重复的项，我们也可以保留后边的项，将前边的项去掉，那么就需要使用keep参数。另外，我们也可以直接在DataFrame中进行去重，而不需要再另外copy一份数据，这可以通过
inplace=True来实现，示例如下：1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21In [453]: df_con
Out[453]:
uid num1 num2
0 a1 1 4.0
1 a2 3 5.0
2 b1 5 7.0
0 a1 2 4.0
1 a2 5 NaN
2 a3 2 2.0
# 注意这里没有赋值操作，因为使用了inplace=True
# 使用keep='last'用于保存后边的数据，删除前边的重复项
In [454]: df_con.drop_duplicates(subset='uid', keep='last', inplace=True)
In [455]: df_con
Out[455]:
uid num1 num2
2 b1 5 7.0
0 a1 2 4.0
1 a2 5 NaN
2 a3 2 2.0