检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hue开源增强特性 Hue开源增强特性 存储策略定义。HDFS文件存储在多种等级的存储介质中,有不同的副本数。本特性可以手工设置HDFS目录的存储策略,或者根据HDSF文件最近访问时间和最近修改时间,自动调整文件存储策略、修改文件副本数、移动文件所在目录、自动删除文件,以便充分利用存储的性能和容量。
通过调用HBase接口可实现创建用户表、导入用户数据、增加用户信息、查询用户信息及为用户表创建二级索引等功能,相关业务场景介绍请参见HBase样例程序开发思路。 hbase-examples/hbase-rest-example HBase Rest接口应用开发示例。 使用Rest接口实现查
通过调用HBase接口可实现创建用户表、导入用户数据、增加用户信息、查询用户信息及为用户表创建二级索引等功能,相关业务场景介绍请参见HBase样例程序开发思路。 hbase-examples/hbase-rest-example HBase Rest接口应用开发示例。 使用Rest接口实现查
lib chown omm:wheel jar包文件名 chmod 600 jar包文件名 登录FusionInsight Manager系统,选择“集群 > 待操作集群名称 > 服务 > Loader > 更多 > 重启服务”输入管理员密码重启Loader服务。 父主题: 使用Loader
ALTER TABLE ProductDatabase COMPACT 'CUSTOM' WHERE SEGMENT.ID IN (0, 1); 系统响应 由于为后台运行,ALTER TABLE COMPACTION命令不会显示压缩响应。 如果想要查看MINOR合并和MAJOR合并的响应结果,用户可以检查日志或运行SHOW
~]# usermod -a -G ficommon test [root@xxx-xxx-xxx-xxx ~]# id test uid=2102(test) gid=2102(test) groups=2102(test),9998(ficommon) 重新执行ImportData。
添加数据,验证Ranger是否已经集成成功。 为“test1”表中“cf1:name”列添加数据。 put 'test1','001','cf1:name','tom' 为“test1”表中“cf1:age”列添加数据,该列用户无权限会添加数据失败。 put 'test1','001','cf1:age'
再获取表的元数据信息,然后对权限进行检查。 当表是parquet表时,元数据信息包括文件的Split信息。Split信息需要调用HDFS的接口去读取,当表包含的文件数量很多时,串行读取Split信息变得缓慢,影响性能。故对此做了优化,当表包含的文件大于一定阈值(即spark.sql
HetuEngine样例程序开发思路 通过典型场景,用户可以快速学习和掌握HetuEngine的开发过程,并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序,需要对Hive数据源的A表和MPPDB数据源的B表进行join运算,则可以用HetuEngine来实现Hive数据源数据查询,流程如下:
rs-word001/table/目录中创建表test。 create table test(id int) location 'obs://mrs-word001/table/'; 执行如下命令查询所有表,返回结果中存在表test,即表示访问OBS成功。 show tables;
IP列表界面无法直接解绑EIP。 如需解绑,可通过调用EIP服务的相关API接口进行解绑: 登录EIP管理控制台,在EIP列表中查看并记录需要解绑的公网IP地址对应的ID信息。 参考解绑弹性公网IP接口说明,在API Explorer中解绑EIP。 例如使用当前用户登录API E
(partitionSpecs)]; 描述 用于列出指定的所有分区。 示例 SHOW PARTITIONS test PARTITION(hr = '12', ds = 12); SHOW PARTITIONS test PARTITION(ds > 12); 父主题: HetuEngine DDL SQL语法说明
如需添加多列的脱敏策略,可单击按钮添加。 单击“Add”,在策略列表可查看策略的基本信息。 用户通过Hive客户端对配置了数据脱敏策略的表执行select操作,系统将对数据进行处理后进行展示。 处理数据需要用户同时具有向Yarn队列提交任务的权限。 Hive行级别数据过滤 Ranger支持用户对Hiv
ameNode文件对象总量增加,需要消耗更多的内存,使集群现有硬件可能会难以满足业务需求,且导致集群难以扩展。 规划存储大量文件的HDFS系统容量,就是规划NameNode的容量规格和DataNode的容量规格,并根据容量设置参数。 容量规格 NameNode容量规格 在Name
Streams test >test starting >now Kafka Streams is running >test end 消息输出: this 1 is 1 kafka 1 streams 1 test 1 test 2
Streams test >test starting >now Kafka Streams is running >test end 消息输出: this 1 is 1 kafka 1 streams 1 test 1 test 2
TABLE test SET SERDEPROPERTIES( "ignore.malformed.json" = "true"); 设置该属性后,查询表时若表中有破损的JSON数据默认显示为“NULL”。 执行以下命令查询表数据: select * from test; 数据查询
HetuEngine样例程序开发思路 通过典型场景,用户可以快速学习和掌握HetuEngine的开发过程,并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序,需要对Hive数据源的A表和MPPDB数据源的B表进行join运算,则可以用HetuEngine来实现Hive数据源数据查询,流程如下:
String tableName = "TEST"; // Create table String createTableSQL = "CREATE TABLE IF NOT EXISTS TEST(id integer not null
String tableName = "TEST"; // Create table String createTableSQL = "CREATE TABLE IF NOT EXISTS TEST(id integer not null