公司最近在superset上面做二次开发,目前对接了mysql和oracle数据源,对这两个源的SQL操作查询做了完善和兼容。
目前有新的需求就是要对接大数据部门的HBASE和HIVE数据源,由于superset原生支持impala,所以直接安装库测试。
Superset是由Airbnb(知名在线房屋短租公司)开源的数据分析与可视化平台(曾用名Caravel、Panoramix),该工具主要特点是可自助分析、自定义仪表盘、分析结果可视化(导出)、用户/角色权限控制,还集成了一个SQL编辑器,可以进行SQL编辑查询等,原来是用于支持Druid的可视化分析,后面发展为支持很多种关系数据库及大数据计算框架,如:mysql, oracle, Postgres,Presto,sqlite, Redshift,Impala, SparkSQL, Greenplum, MSSQL,Impala.
所以直接pip安装:pip install impyla
pip install git+https://github.com/cloudera/impyla.git
这个官网没说要安装,但必须装了这个才能正常连接
配置implala对应配置SQLAlchemy URI:
impala://IP:PORT/db_name?auth_mechanism=PLAIN&password=***&user=***
下图是目前对接的数据源,我们的二次开发还在继续,更多内容会陆续记录下来。