爬取到的数据写入数据库(mysql)

0

1.谨记

  1. 建库与建表在数据库中完成,不要使用脚本完成,理由:权限分离,建表权限在运维那边,开发只有查询权限;每次爬虫脚本执行,建表、库语句都重复执行,不稳定;

  2. varchar(M)字段最长可以设置为65535字符数;‘你好世界’是 4 个字符。‘Hello世界!’是 8 个字符。

2.连接mysql数据库脚本

import pymysql

def save_to_mysql():
  
  connection = pymysql.connect(
  
  host='',
  
  user='',
  
  password='',
  
  database='',
  
  charset=''
  
  )
  
  try:

    with connection.cursor() as cursor:
    
      sql="""insert into table(a, b)value(%s, %s)"""  

      # 批量插入数据
    
      for i in data:
      
        cursor.execute(sql,(
        
        i['a'],
        
        i['b])
        
        )  

    #提交事务

    connection.commit()

    print(f"成功插入{len(data)}条数据")
    
    except Exception as e:     
      print(f"插入数据失败:{e}")  
    finally:
  
      connection.close()