网站建设图书馆管理系统,上海科技网站建设,wordpress有问题,政务服务网站建设文档一 Python连接hive环境实例 经在网络查询相关的教程#xff0c;发现有好多的例子#xff0c;发现连接底层用的的驱动基本都是pyhive和pyhs2两种第三方库的来连接的 hive,下面将简介windows 10 python 3.10 连接hive的驱动程序方式#xff0c;开发工具#xff1a;pycharm …一 Python连接hive环境实例 经在网络查询相关的教程发现有好多的例子发现连接底层用的的驱动基本都是pyhive和pyhs2两种第三方库的来连接的 hive,下面将简介windows 10 python 3.10 连接hive的驱动程序方式开发工具pycharm 经过测试已成功分享给大家有什么问题可私信与我。
1 第一种Python安装支持hive相关的库(pyhive)
1.1 安装sasl本人建议采用离线安装方式减少在线自动版本解决的问题
1.1.1 查询python版本 在命令下执行如下命令如果不行请查阅相关python安装教程
python --version 如下图所示 1.1.2 下载sasl相应版本的库(whl), 此处特别注意版本如果版本不一致导致不能安装同时使用
我的python为python 3.10的
cp310:表示为python的版本为python 3 10的
win_amd64:表示为驱动为windows 64位的驱动
下载网址(包括其他离线库和包)sasl下载版本地址https://www.lfd.uci.edu/~gohlke/pythonlibs/#sasl
相应包sasl-0.3.1-cp310-cp310-win_amd64.whl在
pip install sasl-0.3.1-cp310-cp310-win_amd64.whl
1.1.3 安装sasl,切换python环境的根目录命令为
pip install sasl-0.3.1-cp310-cp310-win_amd64.whl 如下图所示此处显示已安装成功的提示 1.2 安装thrift,命令如下此处没有特别注意事项如果有的话请联系我
pip install thrift 如下图所示 1.3 安装thrift_sasl,命令如下
pip install thrift_sasl 1.4 安装phhive,命令如下
pip install pyhive 如下图所示,已安装提示 2 第二种: Python安装支持hive相关的库(pyhs2)
2.1 如果安装中有提供c的库或相关工具建立直接执行c库包我本采采用的360的全部C库的安装方式此方法简单明了减少缺包的情况或到微信官网下功相应的包安装。
注此步要很重要 2.1 安装命令如下
pig install pyhs2 二 Python开发实例 1 本人推荐)使用pyhive和pandas连接和操作数据库,使用ORM框架(sqlalchemy)的
create_engine连接数据库,代码如下
from pyhive import hive
import pandas as pd
import thrift_sasl
import puresasl
import sasl# 定义数据库连接
from sqlalchemy import create_engine,types# 读取数据
def select_pyhive(sql):# 创建hive连接engine create_engine(hive://10.88.221.112:10000/ods)try:df pd.read_sql(sql, engine)return dffinally:if engine:engine.dispose()#执行函数
dfselect_pyhive(SHOW DATABASES)
print(df) 2 使用pyhive和pandas连接和操作数据库,使用pyhive中的connection来连接hive,代码如下
from pyhive import hive
import pandas as pd# 读取数据
def select_pyhive(sql):# 创建hive连接conn hive.Connection(host10.88.221.112, port10000, usernamehive, passwordhive,databaseods)try:df pd.read_sql(sql, conn)return dffinally:if conn:conn.close()#执行函数
dfselect_pyhive(SHOW DATABASES)
print(df)
