检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行SQL提交任务到指定队列时报错 问题现象 执行SQL提交任务到Yarn报如下错误： Failed to submit application_1475400939788_0033 to YARN : org.apache.hadoop.security.AccessControlException:
Spark SQL ROLLUP和CUBE使用的注意事项 问题 假设有表src(d1, d2, m)，其数据如下： 1 a 1 1 b 1 2 b 2 对于语句select d1, sum(d1) from src group by d1, d2 with rollup其结果如下：
e和NameNode数据是否自动备份。 检查健康检查结果 在Manager执行健康检查，下载健康检查报告确认当前集群是否存在异常状态。建议启用自动健康检查，并及时导出最新的集群健康检查结果，根据检查结果修复不健康项目。 检查网络通讯 检查集群网络工作状态，节点之间的网络通讯是否存在延时。
因为MRS操作系统用户组个数限制，导致Hive不能创建超过32个角色，开启此功能后，Hive将支持创建超过32个角色。 开启本功能并对表库等授权后，对表库目录具有相同权限的角色将会用“|”合并。查询ACL权限时，将显示合并后的结果，与开启该功能前的显示会有区别。此操作不可逆，请充分考虑实际应用场景，再决定是否做出调整。
getFilteredSegments("select * from table where age='12'", sparkSession) 传入数据库名和表名，获取会被合并的segment列表，得到的segment列表可以当做getMergedLoadName函数的参数传入： /** *
r的principal保持一致，仅开启kerberos功能集群需要配置该参数。 hbase.master.kerberos.principal: hmaster的principal，与regionserver的principal保持一致，仅开启kerberos功能集群需要配置该参数。
命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 创建指定数据库只读权限角色，有如下两种方案： 方案一： 创建指定数据库只读权限角色（以default数据库为例，下同）： create role ck_role on cluster default_cluster;
元数据定义，如创建数据库、表等 元数据删除，如删除数据库、表等 元数据修改，如增加列、重命名表等 元数据导入/导出 数据维护 向表中加载数据 向表中插入数据 Storm审计日志 Nimbus 提交拓扑 中止拓扑 重分配拓扑 去激活拓扑 激活拓扑 UI 中止拓扑 重分配拓扑 去激活拓扑 激活拓扑
esto以及相关依赖服务，滚动重启服务不断服。 MRS 1.9.2.3补丁安装完成之后，需要关闭指标共享，重新打开指标共享。 慢盘隔离特性约束： 隔离慢盘之前无法判断集群节点是否存在客户私有化数据，因此不要在节点数据盘存放个人私有化数据，避免慢盘隔离时对业务造成影响； 自动触发慢
开源sqoop-shell工具使用指导 概述 sqoop-shell是一个开源的shell工具，其所有功能都是通过执行脚本“sqoop2-shell”来实现的。 sqoop-shell工具提供了如下功能： 支持创建和更新连接器 支持创建和更新作业 支持删除连接器和作业 支持以同步或异步的方式启动作业
十进制函数和操作符 DECIMAL字面量 可以使用DECIMAL 'xxxxxxx.yyyyyyy' 语法来定义DECIMAL类型的字面量。 DECIMAL类型的字面量精度将等于字面量（包括尾随零和前导零）的位数。范围将等于小数部分（包括尾随零）的位数。 示例字面量 数据类型 DECIMAL
source bigdata_env 如果当前集群已启用Kerberos认证如果当前集群为安全集群，执行以下命令认证当前用户，当前用户需要具有读写HBase表的权限和HDFS的操作权限： kinit 组件业务用户 如果当前集群未启用Kerberos认证，则执行以下命令设置Hadoop用户名：
调整HetuEngine动态过滤 HetuEngine提供了动态过滤的功能，在Join场景中开启动态过滤往往有较大的性能提升。本章节介绍如何开启动态过滤功能。 使用可访问HetuEngine WebUI界面的用户登录FusionInsight Manager，选择“集群 > 服务
2-byte value: 32970 at org.postgresql.core.PGStream.SendInteger2(PGStream.java:199) at org.postgresql.core.v3.QueryExecutorImpl.se
简介 TTL能力适用于MRS 3.5.0及之后的版本。 TTL能力目前只支持分区级别的TTL。 TTL（Time To Live）能力可以控制Hudi表中数据的生存周期，也称为数据老化。考虑到如下两个场景： 场景1：如果需要在流场景中去删除老化的分区，只能停止流任务执行DDL命令去删除分区。
告警解释 HA软件周期性检测Manager的WebService浮动IP地址和Manager的数据库。当HA软件检测到浮动IP地址或数据库异常时，产生该告警。 当HA检测到浮动IP地址或数据库正常后，告警恢复。 告警属性 告警ID 告警级别 可自动清除 12002 严重 是 告警参数
yaml”中关于SSL的值，针对MRS 3.x之前版本，安全集群默认没有开启外部SSL，用户如果需要启用外部SSL，进行配置后再次运行该脚本即可，配置参数在MRS的Flink默认配置中不存在，用户如果开启外部连接SSL，则需要添加表3中参数。 表3 参数描述 参数 描述 参数值示例
exist IS FALSE; 执行结果： 未开启UDF重用时的返回值： a,true,c 因为在WHERE条件中IfExist被执行一次，并且结果为false，所以在其缓存中已存储该数据，在SELECT中再次执行时即返回true。 开启UDF重用时的返回值： a,false,c 父主题：
习，或者可以根据指导，新建一个Spark工程。 导入并配置Spark样例工程 新建Spark样例工程（可选） 配置安全认证 如果您使用的是开启了kerberos认证的MRS集群，需要进行安全认证。 配置Spark应用安全认证 根据场景开发工程 提供了Scala、Java、Pyth
通过HSFabric的KeyTab认证实现查询HetuEngine SQL任务 功能简介 通过KeyTab文件认证方式连接到HetuEngine，组装对应的SQL发送到HetuEngine执行，完成对Hive数据源的增删改查操作。 public class JDBCExampleZk
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
