检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择待添加的安全组规则所在安全组,该安全组在创建群时配置。 添加安全组规则,默认填充的是用户访问公网IP地址9022端口的规则,如需开放多个IP段为可信范围用于访问MRS Manager页面,请参考6~9。如需对安全组规则进行查看,修改和删除操作,请单击“管理安全组规则”。 自动获取
keytab文件。 sasl.kerberos.principal:请填写实际用户名。 sasl.kerberos.domain.name:domain的命名规则为hadoop. toLowerCase(realm),假设集群的域名(default_realm)为example.com时,domain的值为hadoop
WITH WITH子句定义查询子句的命名关系,可以展平嵌套查询或简化子查询语句。 例如下面的查询语句是等价的: SELECT name, maxprice FROM (SELECT name, MAX(price) AS maxprice FROM fruit GROUP BY name)
配置底层存储系统 用户想要通过统一的客户端API和全局命名空间访问包括HDFS和OBS在内的持久化存储系统,从而实现了对计算和存储的分离时,可以在MRS Manager页面中配置Alluxio的底层存储系统来实现。集群创建后,默认的底层存储地址是hdfs://hacluster/
输入Task实例弹性伸缩的数量范围,此约束应用于所有扩容缩容规则,取值范围为0~500。 例如本业务场景中,配置为1~10。 配置弹性伸缩规则 需要配置扩容或者缩容规则,否则弹性伸缩将不会启用。 规则类型选择“扩容”或者“缩容”。 单击“添加规则”,进入规则编辑页面。 图3 添加规则 配置“规则名称”、“如果”、“持
本与多个可选的执行时机基本可以满足用户的各项需求,使弹性伸缩更具灵活性。 弹性伸缩规则: 用户对于一个集群,可以同时设置扩容、缩容最多各5条弹性伸缩规则。 系统根据用户的配置顺序从前到后依次判断规则,先扩容,后缩容。请尽量把重要的策略放在前面,以防一次扩容或缩容无法达到预期效果而进行反复触发。
MRS所使用的裸金属服务器规格 针对不同的应用场景,MRS使用到如下类型的裸金属服务器。 本地存储型(D2型) IO优化型(IO2) 规格命名规则 AB.C.D 例如m2.8xlarge.8 其中, A表示系列,例如:s表示通用型、c表示计算型、m表示内存型。 B表示系列号,例如:
大数据组件,大数据组件部署在用户的VPC内部,MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则,而开通相应的安全组规则需要获取用户授权,此授权过程称为通信安全授权。 若不开启通信安全授权,MRS将无法创建集群。 勾选“确认授权” 图1 创建HBase查询集群
查询成功。 将表中列名为column_name的列重命名为new_column_name。 ALTER TABLE name RENAME COLUMN column_name TO new_column_name 不支持重命名分区列或者分桶列。 分区表添加分区。 ALTER TABLE
VALUES用于查询可以使用的任何地方(例如SELECT、INSERT的FROM子句)。VALUES用于创建了一个没有列名的匿名表,但是表和列可以使用具有列别名的AS子句命名。 示例 返回一个1列3行的表: VALUES 1, 2, 3 返回一个2列3行的表: VALUES (1, 'a'), (2, 'b')
onData、Hive和Parquet表)。 注意事项 表必须已经存在。 用户应属于数据加载组以执行数据加载操作。默认情况下,数据加载组被命名为“ficommon”。 CarbonData表不支持Overwrite。 源表和目标表的数据类型应该相同,否则源表中的数据将被视为Bad
onData、Hive和Parquet表)。 注意事项 表必须已经存在。 用户应属于数据加载组以执行数据加载操作。默认情况下,数据加载组被命名为“ficommon”。 CarbonData表不支持Overwrite。 源表和目标表的数据类型应该相同,否则源表中的数据将被视为Bad
code=0) 回答 Spark SQL建表底层调用的是Hive的接口,其建表时会在“/user/hive/warehouse”目录下新建一个以表名命名的目录,因此要求用户具备“/user/hive/warehouse”目录的读写、执行权限或具有Hive的group权限。 “/user/h
code=0) 回答 Spark SQL建表底层调用的是Hive的接口,其建表时会在“/user/hive/warehouse”目录下新建一个以表名命名的目录,因此要求用户具备“/user/hive/warehouse”目录的读写、执行权限或具有Hive的group权限。 “/user/h
合并CBO优化 操作场景 Spark SQL默认支持基于规则的优化,但仅仅基于规则优化不能保证Spark选择合适的查询计划。CBO(Cost-Bsed Optimizer)是一种为SQL智能选择查询计划的技术。通过配置开启CBO后,CBO优化器可以基于表和列的统计信息,进行一系列的估算,最终选择出合适的查询计划。
系统按120秒周期性检测HBase在HDFS上的如下目录和文件是否存在,当检测到文件或者目录不存在时,上报该告警。当文件或目录都恢复后,告警恢复。 检查内容: 命名空间hbase在HDFS上的目录。 hbase.version文件。 hbase:meta表在HDFS上的目录、.tableinfo和.regioninfo文件。
合并CBO优化 操作场景 Spark SQL默认支持基于规则的优化,但仅仅基于规则优化不能保证Spark选择合适的查询计划。CBO(Cost-Bsed Optimizer)是一种为SQL智能选择查询计划的技术。通过配置开启CBO后,CBO优化器可以基于表和列的统计信息,进行一系列的估算,最终选择出合适的查询计划。
DROP SECONDARY INDEX 命令功能 该命令用于删除给定表中存在的二级索引表。 命令格式 DROP INDEX [IF EXISTS] index_name ON [db_name.]table_name; 参数描述 表1 DROP SECONDARY INDEX参数
data_type 带数据类型且用逗号分隔的列的名称。列名称包含字母,数字和下划线(_)。 说明: 创建CarbonData表时,不要将列名命名为tupleId,PositionId和PositionReference,因为将在UPDATE,DELETE和二级索引命令内部使用这些名称。
DROP SECONDARY INDEX 命令功能 该命令用于删除给定表中存在的二级索引表。 命令格式 DROP INDEX [IF EXISTS] index_name ON [db_name.]table_name; 参数描述 表1 DROP SECONDARY INDEX参数