个人做百度云下载网站吗,wordpress主题祥情在那改,介绍自己的做的网站,东莞营销型网站建设流程本文实例讲述了Python实现从SQL型数据库读写dataframe型数据的方法。分享给大家供大家参考#xff0c;具体如下#xff1a;
Python的pandas包对表格化的数据处理能力很强#xff0c;而SQL数据库的数据就是以表格的形式储存#xff0c;因此经常将sql数据库里的数据直接读取为…本文实例讲述了Python实现从SQL型数据库读写dataframe型数据的方法。分享给大家供大家参考具体如下
Python的pandas包对表格化的数据处理能力很强而SQL数据库的数据就是以表格的形式储存因此经常将sql数据库里的数据直接读取为dataframe分析操作以后再将dataframe存到sql数据库中。而pandas中的read_sql和to_sql函数就可以很方便得从sql数据库中读写数据。
参见pandas.read_sql的文档read_sql主要有如下几个参数
sql:SQL命令字符串
con连接sql数据库的engine一般可以用SQLalchemy或者pymysql之类的包建立
index_col: 选择某一列作为index
coerce_float:非常有用将数字形式的字符串直接以float型读入
parse_dates:将某一列日期型字符串转换为datetime型数据与pd.to_datetime函数功能类似。可以直接提供需要转换的列名以默认的日期形式转换也可以用字典的格式提供列名和转换的日期格式比如{column_name: format string}format string%Y:%m:%H:%M:%S。
columns:要选取的列。一般没啥用因为在sql命令里面一般就指定要选择的列了
chunksize如果提供了一个整数值那么就会返回一个generator每次输出的行数就是提供的值的大小。
params其他的一些执行参数没用过不太清楚。。。
以链接常见的mysql数据库为例
import pandas as pd
import pymysql
import sqlalchemy
from sqlalchemy import create_engine
# 1. 用sqlalchemy构建数据库链接engine
connect_info mysqlpymysql://{}:{}{}:{}/{}?charsetutf8.format(DB_USER, DB_PASS, DB_HOST, DB_PORT, DATABASE) #1
engine create_engine(connect_info)
# sql 命令
sql_cmd SELECT * FROM table
df pd.read_sql(sqlsql_cmd, conengine)
# 2. 用DBAPI构建数据库链接engine
con pymysql.connect(hostlocalhost, userusername, passwordpassword, databasedbname, charsetutf8, use_unicodeTrue)
df pd.read_sql(sql_cmd, con)
解释一下 #1: 这个是sqlalchemy中链接数据库的URL格式dialect[driver]://user:passwordhost/dbname[?keyvalue..]。dialect代表书库局类型比如mysql, oracle, postgresql。driver代表DBAPI的名字比如psycopg2,pymysql等。具体说明可以参考这里。此外由于数据里面有中文的时候就需要将charset设为utf8。
参见pandas.to_sql函数主要有以下几个参数
name: 输出的表名
con: 与read_sql中相同
if_exits 三个模式fail若表存在则不输出replace若表存在覆盖原来表里的数据append若表存在将数据写到原表的后面。默认为fail
index是否将df的index单独写到一列中
index_label:指定列作为df的index输出此时index为True
chunksize 同read_sql
dtype: 指定列的输出到数据库中的数据类型。字典形式储存{column_name: sql_dtype}。常见的数据类型有sqlalchemy.types.INTEGER(), sqlalchemy.types.NVARCHAR(),sqlalchemy.Datetime()等具体数据类型可以参考这里
还是以写到mysql数据库为例
df.to_sql(nametable,
concon,
if_existsappend,
indexFalse,
dtype{col1:sqlalchemy.types.INTEGER(),
col2:sqlalchemy.types.NVARCHAR(length255),
col_time:sqlalchemy.DateTime(),
col_bool:sqlalchemy.types.Boolean
})
注如果不提供dtype,to_sql会自动根据df列的dtype选择默认的数据类型输出比如字符型会以sqlalchemy.types.TEXT类型输出相比NVARCHARTEXT类型的数据所占的空间更大所以一般会指定输出为NVARCHAR而如果df的列的类型为np.int64时将会导致无法识别并转换成INTEGER型需要事先转换成int类型用mapapply函数可以方便的转换。
参考
http://docs.sqlalchemy.org/en/latest/core/type_basics.html#sql-standard-and-multiple-vendor-types
http://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_sql.html
http://docs.sqlalchemy.org/en/latest/core/engines.html
http://docs.sqlalchemy.org/en/latest/core/type_basics.html#sql-standard-and-multiple-vendor-types
http://stackoverflow.com/questions/30631325/writing-to-mysql-database-with-pandas-using-sqlalchemy-to-sql
http://stackoverflow.com/questions/5687718/how-can-i-insert-data-into-a-mysql-database
http://stackoverflow.com/questions/32235696/pandas-to-sql-gives-unicode-decode-error
http://stackoverflow.com/questions/34383000/pandas-to-sql-all-columns-as-nvarchar
希望本文所述对大家Python程序设计有所帮助。
