别再为读取 CSV 文件发愁!pandas 实用技巧全解析
在数据处理与分析领域，Python 的 pandas 库是极为强大的工具，而读取 CSV 文件是其常见且基础的操作。熟练掌握 pandas 读取 CSV 文件的技巧，能极大提升数据处理的效率与准确性。下面为你详细总结相关知识点。
一、安装与导入
若尚未安装 pandas 库，可通过命令pip install pandas进行安装。安装完成后，在 Python 代码中导入 pandas 库，一般采用import pandas as pd的方式，后续就可以通过pd来调用 pandas 的函数。
二、基本读取操作
使用pd.read_csv()函数读取 CSV 文件，例如df = pd.read_csv('data.csv')，这行代码会将名为data.csv的文件读取到一个 pandas 的 DataFrame 对象df中，DataFrame 是 pandas 用于存储和处理表格型数据的主要数据结构。
以下面的表格信息为例（表格数据比较多，只显示部分数据）
示例代码：
import pandas as pd
data = pd.read_csv('data.csv') # 这里使用一个公开的示例数据集，也可以更换成本地的数据表
print(data.head())运行结果（因数据量较大，仅展示前几行）：
id 产品名称 一月销售额（元） 二月销售额（元） ... 四月销售额（元） 五月销售额（元） 六月销售额（元） 总计销售额（元）
0 1 纯棉 T 恤 5000 6000 ... 7000 6500 8000 38000
1 2 无线蓝牙耳机 4000 4500 ... 4800 5200 5500 29000
2 3 智能保温杯 3500 3800 ... 4000 4500 4800 24800
3 4 运动背包 6000 6500 ... 7500 8000 8500 43500
4 5 护眼台灯 2800 3000 ... 3500 3800 4000 20300三、常见参数详解
- sep参数：用于指定 CSV 文件中的字段分隔符，默认是逗号','。如果文件使用其他分隔符，如制表符'\t'，则需要指定sep参数，如pd.read_csv('data.tsv', sep='\t') 。
示例代码：
import pandas as pd
# 假设我们有一个制表符分隔的文件（这里使用公开数据集示例转化为制表符分隔示意）
data = pd.read_csv('data.csv', sep=',')
data.to_csv('tips.tsv', sep='\t', index=False)
new_data = pd.read_csv('tips.tsv', sep='\t')
print(new_data.head())运行结果（因数据量较大，仅展示前几行）：
id 产品名称 一月销售额（元） 二月销售额（元） ... 四月销售额（元） 五月销售额（元） 六月销售额（元） 总计销售额（元）
0 1 纯棉 T 恤 5000 6000 ... 7000 6500 8000 38000
1 2 无线蓝牙耳机 4000 4500 ... 4800 5200 5500 29000
2 3 智能保温杯 3500 3800 ... 4000 4500 4800 24800
3 4 运动背包 6000 6500 ... 7500 8000 8500 43500
4 5 护眼台灯 2800 3000 ... 3500 3800 4000 20300- header参数：用于指定哪一行作为列名，默认值为0，即第一行作为列名。若文件没有列名，可设置header=None，并通过names参数手动指定列名，如pd.read_csv('data.csv', header=None, names=['col1', 'col2', 'col3']) 。
示例代码：
import pandas as pd
# 去掉列名
data = pd.read_csv('data.csv', header=None) # 这里的data.csv需要删掉标题行，即列名那行
new_data = pd.read_csv('data.csv', header=None, names=['id','七月', '八月','九月','十月', '十一月', '十二月','总销售额'])
print(new_data.head())运行结果（因数据量较大，仅展示前几行）：
id 产品名称 七月 八月 九月 十月 十一月 十二月 总销售额
0 1 纯棉 T 恤 5000 6000 5500 7000 6500 8000 38000
1 2 无线蓝牙耳机 4000 4500 5000 4800 5200 5500 29000
2 3 智能保温杯 3500 3800 4200 4000 4500 4800 24800
3 4 运动背包 6000 6500 7000 7500 8000 8500 43500
4 5 护眼台灯 2800 3000 3200 3500 3800 4000 20300- index_col参数：可以指定某一列作为 DataFrame 的索引列。例如pd.read_csv('data.csv', index_col='id')，会将名为id的列设置为索引。
示例代码：
import pandas as pd
data = pd.read_csv('data.csv', index_col='id')
print(data.head())运行结果（因数据量较大，仅展示前几行）：
产品名称 一月销售额（元） 二月销售额（元） ... 五月销售额（元） 六月销售额（元） 总计销售额（元）
id ...
1 纯棉 T 恤 5000 6000 ... 6500 8000 38000
2 无线蓝牙耳机 4000 4500 ... 5200 5500 29000
3 智能保温杯 3500 3800 ... 4500 4800 24800
4 运动背包 6000 6500 ... 8000 8500 43500
5 护眼台灯 2800 3000 ... 3800 4000 20300- usecols参数：用于选择需要读取的列，可传入列名列表。如pd.read_csv('data.csv', usecols=['col1', 'col3'])，只会读取col1和col3两列的数据。
示例代码：
import pandas as pd
data = pd.read_csv('data.csv', usecols=['total_bill', 'tip'])
print(data.head())运行结果（因数据量较大，仅展示前几行）：
id 产品名称 一月销售额（元）
0 1 纯棉 T 恤 5000
1 2 无线蓝牙耳机 4000
2 3 智能保温杯 3500
3 4 运动背包 6000
4 5 护眼台灯 2800- skiprows参数：可以跳过指定数量的行。若文件开头有一些说明性行不需要读取，可使用pd.read_csv('data.csv', skiprows=3)跳过前 3 行。还有一种情况是要保留原标题行，跳过下面的2行，可以使用pd.read_csv('data.csv', skiprows=[1,2])，这样就可以保留标题行（索引为0），跳过第2，3行（索引为1，2）。
示例代码1：
import pandas as pd
# 假设前3行是说明行
data = pd.read_csv('data.csv', skiprows=3, header=None)
print(data.head())运行结果（因数据量较大，仅展示前几行）：
0 1 2 3 4 5 6 7 8
0 3 智能保温杯 3500 3800 4200 4000 4500 4800 24800
1 4 运动背包 6000 6500 7000 7500 8000 8500 43500
2 5 护眼台灯 2800 3000 3200 3500 3800 4000 20300
3 6 家用扫地机器人 4500 4800 5200 5000 5500 5800 30800
4 7 电动牙刷 3200 3400 3600 3800 4000 4200 22200示例代码2：
import pandas as pd
# 假设前3行是说明行
data = pd.read_csv('data.csv', skiprows=[1, 2])
print(data.head())运行结果（因数据量较大，仅展示前几行）：
id 产品名称 一月销售额（元） 二月销售额（元） ... 四月销售额（元） 五月销售额（元） 六月销售额（元） 总计销售额（元）
0 3 智能保温杯 3500 3800 ... 4000 4500 4800 24800
1 4 运动背包 6000 6500 ... 7500 8000 8500 43500
2 5 护眼台灯 2800 3000 ... 3500 3800 4000 20300
3 6 家用扫地机器人 4500 4800 ... 5000 5500 5800 30800
4 7 电动牙刷 3200 3400 ... 3800 4000 4200 22200- na_values参数：在读取 CSV 文件时，可通过na_values参数指定自定义的缺失值表示。例如pd.read_csv('data.csv', na_values=['-', 'unknown'])，文件中出现-和unknown的地方都会被识别为缺失值。
示例代码：
import pandas as pd
# 假设数据中用'-'表示缺失值
data = pd.read_csv('data.csv')
new_data = pd.read_csv('data.csv', na_values='纯棉 T 恤')
print(new_data.head())运行结果（因数据量较大，仅展示前几行）：
id 产品名称 一月销售额（元） 二月销售额（元） ... 四月销售额（元） 五月销售额（元） 六月销售额（元） 总计销售额（元）
0 1 NaN 5000 6000 ... 7000 6500 8000 38000
1 2 无线蓝牙耳机 4000 4500 ... 4800 5200 5500 29000
2 3 智能保温杯 3500 3800 ... 4000 4500 4800 24800
3 4 运动背包 6000 6500 ... 7500 8000 8500 43500
4 5 护眼台灯 2800 3000 ... 3500 3800 4000 20300- dtype参数：默认情况下，pandas 会自动推断每列的数据类型，但有时推断不准确。此时可使用dtype参数手动指定列的数据类型，如pd.read_csv('data.csv', dtype={'col1': 'int64', 'col2': 'float64'}) 。
示例代码：
import pandas as pd
data = pd.read_csv('data.csv', dtype={'id': 'int32'})
print(data.dtypes)运行结果：
id int32
产品名称 object
一月销售额（元） int64
二月销售额（元） int64
三月销售额（元） int64
四月销售额（元） int64
五月销售额（元） int64
六月销售额（元） int64
总计销售额（元） int64
dtype: object四、处理大型文件
对于大型 CSV 文件，一次性读取可能导致内存不足，此时可使用分块读取的方式。通过chunksize参数指定每个数据块的大小，例如：
import pandas as pd
for chunk in pd.read_csv('data.csv', chunksize=50):
print(chunk.shape)运行结果（展示每个数据块的形状）：
(50, 9)
(31, 9)五、处理编码问题
如果读取的 CSV 文件存在编码问题，可通过encoding参数指定编码格式。例如，若文件是 UTF - 8 编码，可使用pd.read_csv('data.csv', encoding='utf-8') 。常见的编码格式还有'gbk'、'latin1'等，需根据文件实际编码情况选择。
示例代码：
import pandas as pd
# 假设文件是utf-8编码（这里使用的公开示例数据一般是utf-8编码）
data = pd.read_csv('data.csv', encoding='utf-8')
print(data.head())运行结果（因数据量较大，仅展示前几行）：
id 产品名称 一月销售额（元） 二月销售额（元） ... 四月销售额（元） 五月销售额（元） 六月销售额（元） 总计销售额（元）
0 1 纯棉 T 恤 5000 6000 ... 7000 6500 8000 38000
1 2 无线蓝牙耳机 4000 4500 ... 4800 5200 5500 29000
2 3 智能保温杯 3500 3800 ... 4000 4500 4800 24800
3 4 运动背包 6000 6500 ... 7500 8000 8500 43500
4 5 护眼台灯 2800 3000 ... 3500 3800 4000 20300掌握 pandas 读取 CSV 文件的这些知识点，无论是小型数据集的快速处理，还是大型复杂数据集的高效读取，都能应对自如，为后续的数据清洗、分析和可视化等工作打下坚实基础。
