爬取到的数据写入数据库(mysql)
1.谨记
建库与建表在数据库中完成,不要使用脚本完成,理由:权限分离,建表权限在运维那边,开发只有查询权限;每次爬虫脚本执行,建表、库语句都重复执行,不稳定;
varchar(M)字段最长可以设置为65535字符数;
‘你好世界’是 4 个字符。‘Hello世界!’是 8 个字符。
2.连接mysql数据库脚本
import pymysql
def save_to_mysql():
connection = pymysql.connect(
host='',
user='',
password='',
database='',
charset=''
)
try:
with connection.cursor() as cursor:
sql="""insert into table(a, b)value(%s, %s)"""
# 批量插入数据
for i in data:
cursor.execute(sql,(
i['a'],
i['b])
)
#提交事务
connection.commit()
print(f"成功插入{len(data)}条数据")
except Exception as e:
print(f"插入数据失败:{e}")
finally:
connection.close()