扣丁学堂Python培训简述Python利用thrift服务读取hbase数据的方法

2019-10-08 10:55:58 4615浏览

因工作需要，Python开发工程师们在工作中会遇到用Python通过hbase的thrift服务读取Hbase表数据，在公司的测试环境不支持的情况下就需要我们自己动手准备环境，本篇文章扣丁学堂Python培训小编就给读者们分享一下Python利用thrift服务读取hbase数据的方法，希望对小伙伴们有帮助。

安装过程如下：

1、首先确保hbase安装测试成功，再者确认下hbase的thrift服务是否启动，注意目前的Hbase(本文基于版本0.98.17）有两套thrift接口thrift和thrift2，本文使用thrift，启动命令：hbase thrift -p 9090 start，确保该端口没有被占用，使用lsof -i:9090查看)，本公司测试环境该端口被占用，如果被占用换一个没有被占用的端口即可；

2、安装thrift,去官网下载，这里我们使用thrift-0.10.0.tar.gz ，下载好后编译安装，解压后进入安装目录/home/hadoop/thrift-0.10.0，分别执行./configure make，make，sudo make install，注意这边可能因各环境不同可能遇到问题，具体安装所需环境请参考官网，安装之后可以用thrift -version命令测试是否安装成功，安装成功后会显示安装的版本；

3、确保1和2没有问题，接下来需要生成python脚本需要导入的hbase相关模块，首先去官网下载hbase源码，注意虽然本公司用的hbase版本是0.98.17但是只要版本相差不大都可以使用，我们使用的是 hbase-0.98.24-src.tar.gz，下载解压后找到thrift目录：hbase-0.98.24/hbase-thrift/src/main/resources/org/apache/hadoop/hbase，该目录下有两个thrift服务，进入thrift后执行thrift --gen pyHbase.thrift，不出现问题会在该thrift目录下生成目录 gen-py，里面具体是hbase模块，将该目录名称改为hbase，并拷贝进python模块包：cp -r hbase /usr/lib/python2.7/site-packages/，至此python需要使用的hbase模块已经准备好；

4、写python脚本测试

#! /usr/bin/python
import sys
sys.path.append('/usr/lib/python2.7/site-packages/hbase') # 引入正确的hbase模块路径，测试过可删除
from thrift import Thrift
from thrift.transport import TSocket
from thrift.transport import TTransport
from thrift.protocol import TBinaryProtocol
from hbase import Hbase
from hbase.ttypes import *
 
transport = TSocket.TSocket('101.71.51.221', 9099)
transport = TTransport.TBufferedTransport(transport)
 
protocol = TBinaryProtocol.TBinaryProtocol(transport)
 
client = Hbase.Client(protocol)
 
transport.open()
 
tableName = 'hb_vender'
rowKey = '17_bcc5f02a876b010cbcd3fb2f82ab5b8e_43_111_57_437b9e2a-257c-4115-9570-bcd61741b3dc'
 
result = client.getRow(tableName, rowKey, None)
print result
for r in result:
	print 'the row is ' , r.row
	print 'the values is ' , r.columns.get('a:venderName').value

注意这边可能出现：ImportError: No module named six，因为需要安装six，如果已经安装pip，使用pip install six，如果没有安装用root执行安装：easy_install six，安装成功后执行脚本测试成功！

想要了解更多关于Python和人工智能方面内容的小伙伴，请关注扣丁学堂Python培训官网、微信等平台，扣丁学堂IT职业在线学习教育平台为您提供权威的Python开发环境搭建视频，Python培训后的前景无限，行业薪资和未来的发展会越来越好的，扣丁学堂老师精心推出的Python视频教程定能让你快速掌握Python从入门到精通开发实战技能。扣丁学堂Python技术交流群：279521237。

      【关注微信公众号获取更多学习资料】         【扫码进入Python全栈开发免费公开课】

查看更多关于"Python开发资讯"的相关文章>