PHP前端开发

Python 爬虫导出 CSV 数据错乱:如何解决商品详情内容溢出问题?

百变鹏仔 3天前 #Python
文章标签 爬虫

python 爬取数据导出商品详情至 csv 出现错乱解决方法

在 python 爬取商品详情并导出到 csv 文件时,用户有时会遇到数据错乱的问题,导致 h 列中的内容溢出到第二行和第三行。这种问题的根源在于导出数据未对引号(")进行转义。

解决方法:

要解决此问题,需要将商品详情中的引号转义,避免其将换行符作为字段分隔符。具体操作如下:

立即学习“Python免费学习笔记(深入)”;

  1. 使用 replace() 方法将引号替换为双引号("""):

    csv_data[row_index]["detail"] = csv_data[row_index]["detail"].replace('"', '""')
  2. 确保正确识别 utf-8 编码。如果 csv 文件无法识别 utf-8,请添加 bom 头:
bom = u'ufeff'.encode('utf8')with open('output.csv', 'w', encoding='utf8', newline='') as f:    f.write(bom)  # 添加 BOM 头    csv_writer.writerows(csv_data)