网站优化的方式,高端电商设计公司,wordpress 代理,关键词seo公司方法一#xff1a;(数据量小的时候推荐使用这种)第一步#xff1a;pip install mysqlclient这里我没有报错 也许你可能会报错Read timed out 此时不要慌#xff0c;这是因为你的网络问题#xff0c;你使用豆瓣源再次下载#xff1a;pip install -i https://pypi.douban…方法一(数据量小的时候推荐使用这种)第一步pip install mysqlclient这里我没有报错 也许你可能会报错Read timed out 此时不要慌这是因为你的网络问题你使用豆瓣源再次下载pip install -i https://pypi.douban.com/simple/ mysqlclient注意以下针对linux用户(乌班图)可能这时你会报错安装失败解决方法安装命令sudo apt-get install libmysqlclient-devlinux用户(centOs)安装命令sudo yum install python-devel mysql-devel1在pipeline.py中写入如下代码import MySQLdb#采用同步的机制写入mysqlclass MysqlPipeline(object):def __init__(self):self.conn MySQLdb.connect(localhost,root,root,article_spider,charsetutf8,use_unicodeTrue)self.cursor self.conn.cursor()def process_item(self,item,spider):insert_sql insert into article(title,create_date,url,fav_nums) VALUES(%s,%s,%s,%s)self.cursor.execute(insert_sql,(item[title],item[create_date],item[url],item[fav_nums]))self.conn.commit()2在settings.py中写入如下代码ITEM_PIPELINES {ArticleSpider.pipelines.MysqlPipeline:1,}以上是一种插入数据库的方法下面还有一种mysql插入的异步方法**********************************************************************华丽的分割线 ******************************************************************************方法二(数据量大的时候推荐使用这种异步插入关系型数据库)1首先在settings.py中配置MYSQL_HOST localhostMYSQL_DBNAME article_spiderMYSQL_USER rootMYSQL_PASSWORD root2在pipelines.py中贴入代码from twisted.enterprise import adbapiimport MySQLdbimport MySQLdb.cursors#mysql插入的异步化,twisted 提供的异步apiclass MysqlTwistedPipline(object):def __init__(self,dbpool):self.dbpool dbpoolclassmethod#方法是固定的,会被spider调用的def from_settings(cls,settings):dbparms dict(host settings[MYSQL_HOST],db settings[MYSQL_DBNAME],user settings[MYSQL_USER],passwd settings[MYSQL_PASSWORD],charset utf8,cursorclass MySQLdb.cursors.DictCursor,use_unicode True)#**dbparms代表可变化的参数dbpool adbapi.ConnectionPool(MySQLdb,**dbparms)return cls(dbpool)def process_item(self,item,spider):#使用twisted将mysql插入变成异步执行query self.dbpool.runInteraction(self.do_insert,item)query.addErrback(self.handle_error,item,spider)#c处理异步插入的异常def handle_error(self,failure,item,spider):print(failure)def do_insert(self,cursor,item):#执行具体的插入insert_sql insert into article(title,create_date,url,fav_nums) VALUES(%s,%s,%s,%s)cursor.execute(insert_sql,(item[title],item[create_date],item[url],item[fav_nums]))致辞插入数据库的方法完成。喜欢的记得点个赞哦。。。谢谢谢谢~~
