上篇文章最后说Hbase原生不支持sql查询,phoenix之于Hbase,就像hive之于Hadoop,会完美的实现hbase的sql查询操作,下面我们就来了解下phoenix,它不仅支持sqlonhbase,还使得创建Hbase二级索引变得更为简单。
本文主要从 phoenix 安装使用入手,介绍下 phoenix 对二级索引的使用。
一 Phoenix 安装
1 安装包下载
从对应的地址下载:http://archive.apache.org/dist/phoenix/ 下载时注意版本兼容问题,这里我使用的是
apache-phoenix-4.14.0-cdh5.14.2-bin.tar.gz
PS: 如果官网下载比较慢可去文末关注下载。
2 修改配置
将下载好的压缩包解压后,将phoenix目录下的 phoenix-4.8.2-HBase-1.2-server.jar、phoenix-core-4.8.2-HBase-1.2.jar 拷贝到各个 HBase 节点的 lib 目录下。
scp phoenix-4.14.0-cdh5.14.2-server.jar phoenix-core-4.14.0-cdh5.14.2.jar hbase01:/hbase-1.2.0-cdh5.14.2/lib/ scp phoenix-4.14.0-cdh5.14.2-server.jar phoenix-core-4.14.0-cdh5.14.2.jar hbase02:/hbase-1.2.0-cdh5.14.2/lib/ scp phoenix-4.14.0-cdh5.14.2-server.jar phoenix-core-4.14.0-cdh5.14.2.jar hbase03:/hbase-1.2.0-cdh5.14.2/lib/
之后将HBase的配置文件 hbase-site.xml 、 hadoop下的配置文件core-site.xml 、hdfs-site.xml 放到phoenix/bin/下,替换 phoenix 原来的配置文件。
cp /hadoop-2.6.0-cdh5.14.2/etc/hadoop/core-site.xml /apache-phoenix-4.14.0-cdh5.14.2-bin/bin/ cp /hadoop-2.6.0-cdh5.14.2/etc/hadoop/hdfs-site.xml /apache-phoenix-4.14.0-cdh5.14.2-bin/bin/ cp /hbase-1.2.0-cdh5.14.2/conf/hbase-site.xml /apache-phoenix-4.14.0-cdh5.14.2-bin/bin/
记住以上配置完成后,还要重启hbase集群,使 Phoenix的 jar 包生效。
3 验证 phoenix 是否安装成功
在phoenix/bin下输入命令, 进入到命令行,接下来就可以操作了
bin/sqlline.py hbase01:2181
2181 一般是 zookeeper 的端口号,所以运行 phoenix 当然要保持 zk 、hbase、hadoop 集群为启动状态。
二 phoenix 牛刀小试
phoenix 使用主要分为 批处理方式、命令行方式、JDBC调用等。这里主要看下前两种。
批处理方式
1.在 hbase01 上创建 phoenix.sql 文件,内容如下:
create table if not exists phoenix (state varchar(10) NOT NULL, city varchar(20) NOT NULL, population BIGINT CONSTRAINT my_pk PRIMARY KEY (state, city));
2.在 hbase02 执行以下创建 phoenix.csv 文件:
NY,New York,8143197CA, Los Angeles,3844829IL, Chicago,2842518TX, Houston,2016582PA, Philadelphia,1463281AZ, Phoenix,1461575TX, San Antonio,1256509CA, San Diego,1255540TX, Dallas,1213825CA, San Jose,912332
3.创建 phoenix_query.sql ,内容如下,执行 sql 语句查询:
select state as "userState",count(city) as "City Count",sum(population) as "Population Sum" from user_phoenix GROUP BY state;
4.执行 sql 语句,查询结果:
apache-phoenix-4.14.0-cdh5.14.2-bin/bin/psql.py hbase01:2181 phoenix.sql phoenix.csv phoenix_query.sql
命令行方式
使用需要建立映射表:
1 进入 hbase 客户端,创建一个普通表 student,列族为 ‘school’,’family’
create 'student','school','family'
2. 插入数据:
put 'student','row1','school:name','ted' put 'student','row1','school:adress','beijing' put 'student','row1','family:tel','123456' put 'student','row2','school:name','michael' put 'student','row2','school:adress','shanghai' put 'student','row2','family:tel','654321'
3.建立hbase到phoenix的映射表:
进入客户端:
bin/sqlline.py hbase01:2181
执行 sql 语句
CREATE TABLE IF NOT EXISTS "student" ("no" VARCHAR(10) NOT NULL PRIMARY KEY, "school"."name" VARCHAR(30),"school"."address" VARCHAR(20), "family"."tel" VARCHAR(20), "family"."age" INTEGER) column_encoded_bytes=0;
注意:
pheonix 是大小写敏感的,如果需要不加引号,则创建的字段或者表名都会是大写,当需要创建小写时,注意要添加引号。
4. 查询结果即可:
select * from "student";
三 Phoenix 构建二级索引
1 为什么需要二级索引?
对于 Hbase 而言,精确查询 使用 rowkey 就可以满足了,但是有一些场景查询需要从多个角度查询,比如查询某个人的时候需要从姓名、地址、年龄等多个维度查询,不用 rowkey 只能进行全表扫描,而大数据量情况下,全表扫描的效率是不可接受的。
所以需要建立二级索引,将业务需要的数据联立建立索引,方便查询,但是如果用 hbase 维护的话会很麻烦,这里 phoenix 已经实现了对二级索引的支持。
2 二级索引分类
二级索引有两种分法:
按范围分,可分为 全局索引和本地索引:
全局索引:适用于读多写少的场景。
全局索引顾名思义,是所有表的索引,所以它的写效率很低,开销很大,因为要更新索引表,而索引表是分布在不同节点上的,跨节点数据传输会消耗较大性能。
默认情况下,pheonix 在查询时会选择索引表来提升查询效率,但是如果查询字段没在索引表中则不会使用索引查询。
本地索引:适用于写操作频繁场景
本地索引是将索引数据与表数据放在同一节点,这样避免了跨机器写数据带来的额外开销,与全局索引不同的是,在使用本地索引时即使查询的字段不在索引表中,也会使用索引表。
一个数据表的所有索引数据都存在一个共享且独立的表中。
按可变性分,可分为可变索引和不可变索引:
可变索引:适用于数据有增删改的场景
phoenix 在创建索引时默认都是可变索引,如果创建不可变索引则需要手动指定 IMMUTABLE_ROWS = true。 可变索引也分为 全局索引和 本地索引。
不可变索引:适用于数据只增不减的情况,如日志数据。
创建不可边索引需要手动指定 IMMUTABLE_ROWS = true。不可变索引也分为 全局索引和 本地索引。
3 启动二级索引
启用二级索引需要修改 hbase 的 habse-site.xml 配置文件,添加如下配置,直接复制即可,无需改动:
<property> <name>hbase.regionserver.wal.codec</name> <value>org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec</value> </property> <property> <name>hbase.region.server.rpc.scheduler.factory.class</name> <value>org.apache.hadoop.hbase.ipc.PhoenixRpcSchedulerFactory</value> </property> <property> <name>hbase.rpc.controllerfactory.class</name> <value>org.apache.hadoop.hbase.ipc.controller.ServerRpcControllerFactory</value> </property>
注意:修改配置文件后,需要重启 hbase 集群
4 二级索引使用
这里对于索引的测试由于比较简单,我单独放在一个小文档中,有兴趣的可以去文末关注下载。
思考个问题:如何确保 query 查询使用 Index 呢?
想要让一个查询使用索引,有三种方式可以实现:
创建转换索引:
如果查询项或者查询条件中包含除被索引列之外的列(主键MY_PK除外)。默认情况下,该查询会触发full table scan(全表扫描),但是使用转换索引则可以避免全表扫描。
创建包含某个字段的覆盖索引,创建方式如下:
create index USER_COOKIE_ID_AGE_INDEX on USER ("f"."cookie_id") include("f"."age");
查看当前所有表会发现多一张USER_COOKIE_ID_AGE_INDEX索引表,查询该表数据。
-- 如下会使用索引,转化索引包含了 age cookie_id -- select "age" from userwhere "cookie_id"='99738fd1-2084-44e9'; -- 如下不会使用索引,索引不包含 sex -- select "age","sex" from user where "cookie_id"='99738fd1-2084-44e9';
在查询中提示使用索引
select /*+ index(user,USER_COOKIE_ID_AGE_INDEX) */ "age" from user where "cookie_id"='99738fd1-2084-44e9';
在select和column_name之间加上/*+ Index(<表名> <index名>)*/,通过这种方式强制使用索引。
select /*+ index(user,USER_COOKIE_ID_AGE_INDEX) */ "age" from user where "cookie_id"='99738fd1-2084-44e9'; -- 如下不会使用索引,索引不包含 sex -- select "age","sex" from user where "cookie_id"='99738fd1-2084-44e9';
如果sex不是索引字段,那么将会进行全表扫描,所以当用户明确知道表中数据较少且符合检索条件时才适用,此时的性能才是最佳的。
使用本地索引
1 创建本地索引,索引列为 “user_id”
create local index USER_USER_ID_INDEX on USER ("f"."user_id");
2 执行查询:
select * from user where "user_id"='371e963d-c-487065';
可以看到,对名为user_id的列进行按值查询需要0.3秒左右。
使用 EXPLAIN(语句的执行逻辑及计划):
explain select * from user where "user_id"='371e963d-c-487065';
查看执行计划,没有执行全表扫描,使用索引,效率变高了。
索引其他命令:
索引重建,索引重建是把索引表清空后重新装配数据,命令如下:
alter index USER_COOKIE_ID_INDEX on user rebuild;
删除索引,命令如下:
-- 语法 drop index 索引名称 on 表名 --
drop index USER_COOKIE_ID_INDEX on user;
参考资料:关注公众号”大数据江湖”, 后台回复 “phoenix”,可领取文中资料,测试数据。
— THE END —
select /*+ index(user,USER_COOKIE_ID_AGE_INDEX) */ "age"
from user where "cookie_id"='99738fd1-2084-
-- 如下不会使用索引,索引不包含 sex --
select "age","sex" from user where "cookie_id"='99738fd1-2084-44e9';