检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
退订MRS集群后在ECS中退订弹性云服务器时报异常如何处理？ 问： 退订MRS集群后，在ECS中退订弹性云服务器时报异常如何处理？ 答： 在使用的MRS集群中查询该弹性云服务器的ID确认没有使用。 在ECS控制台上找到需要退订的服务器单击“MRS使用中”将机器进行解锁。 再次单击“退订”。
SQL操作Hudi。 不支持在Spark2x的客户端执行Spark SQL操作Hudi，支持在Spark3.1.1及之后版本的客户端执行Spark SQL操作Hudi。 不支持在Hive、Hetu引擎中写hudi表，以及修改hudi表结构，仅支持读。 由于SQL的KeyGenerator默认是org
在Spark的配置文件“spark-defaults.conf”中，设置“spark.sql.autoBroadcastJoinThreshold”的值。 spark.sql.autoBroadcastJoinThreshold = <size> 利用Hive CLI命令，设置阈值。在运行Join操作时，提前运行下面语句：
取消SQL执行任务 功能介绍 在MRS集群中取消一条SQL的执行任务。 接口约束 无 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/sql-execution/{sql_id}/cancel 表1
添加MRS SQL防御规则 MRS SQL防御场景 用户可以在Manager界面对指定的租户及SQL引擎添加SQL防御规则，系统会对触发规则的SQL请求进行提示、拦截或阻断操作。 为集群添加或者修改SQL防御规则时需结合业务场景进行规则是否开启以及对应规则阈值是否合理的评估，不合
次要（MRS 3.3.1及之后版本） 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 如果没有将元数据备份到第三方服务器，当集群主备管理节点同时故障且本地备份数据丢失时
按照配置项说明填写对应参数。 名称：mysql.connector.name 值：mysql 填写connector-customize参数名称和参数值。 表1 参数配置说明 名称 值 参数说明 mysql.connection-url jdbc:mysql://xxx.xxx.xxx
配置Hive SQL防御规则 登录FusionInsight Manager，选择“集群 > SQL防御”，打开SQL防御页面。 参考添加MRS SQL防御规则添加针对Hive的SQL防御规则。 Hive SQL引擎支持的各类型SQL防御规则可参考MRS SQL防御规则。 例如
参见https://spark.apache.org/docs/latest/sql-programming-guide.html 配置自动广播阈值的方法： 在Spark的配置文件“spark-defaults.conf”中，设置“spark.sql.autoBroadcastJoinThreshold
配置HetuEngine SQL防御规则 登录FusionInsight Manager，选择“集群 > SQL防御”，打开SQL防御页面。 参考添加MRS SQL防御规则添加针对HetuEngine的SQL防御规则。 HetuEngine SQL引擎支持的各类型SQL防御规则可参考MRS
Flink CEP in SQL增强 SQL中的Flink CEP CloudStream扩展为允许用户在SQL中表示CEP查询结果以用于模式匹配，并在Flink引擎上对事件流进行评估。 SQL查询语法 通过MATCH_RECOGNIZE的SQL语法实现。MATCH_RECOGNIZE子句自Oracle
Hive SQL运行变慢阶段如何排查 场景说明 对于一个Hive SQL任务，如果运行时间突然变长，可能有多种原因造成，如HiveServer编译变慢、访问HDFS变慢、访问Yarn变慢或访问元数据变慢。 操作步骤 以下为Hive SQL在哪个阶段执行变慢的排查方法： HiveServer编译变慢
Manager，选择“集群 > SQL防御”，打开SQL防御页面。 参考添加MRS SQL防御规则添加针对Spark的SQL防御规则。 Spark SQL引擎支持的各类型SQL防御规则可参考MRS SQL防御规则。 例如添加一条规则ID为“static_0001”，SQL语句中count d
SQL和DataFrame Spark SQL ROLLUP和CUBE使用的注意事项 Spark SQL在不同DB都可以显示临时表 如何在Spark命令中指定参数值 SparkSQL建表时的目录权限 为什么不同服务之间互相删除UDF失败 Spark SQL无法查询到Parquet类型的Hive表的新插入数据
告警ID 告警级别 是否自动清除 12100 重要 是 告警参数 告警参数 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 AD服务不可用，AD域用户同步失败；AD域用户登录FusionInsight
创建SparkSQL角色 操作场景 该任务指导MRS集群管理员在Manager创建并设置SparkSQL的角色。SparkSQL角色可设置Spark管理员权限以及数据表的数据操作权限。 用户使用Hive并创建数据库需要加入hive组，不需要角色授权。用户在Hive和HDFS中对自
“作业类型”选择“HiveSql”并参考表1配置HiveSql作业信息。 图1 添加HiveSql作业 表1 作业配置信息 参数 描述 示例 作业名称 作业名称，只能由字母、数字、中划线和下划线组成，并且长度为1～64个字符。 hivesql SQL类型 SQL语句提交类型。 SQL：直接运行手动输入的SQL语句。
在Spark的配置文件“spark-defaults.conf”中，设置“spark.sql.autoBroadcastJoinThreshold”的值。 spark.sql.autoBroadcastJoinThreshold = <size> 利用Hive CLI命令，设置阈值。在运行Join操作时，提前运行下面语句：
配置Spark SQL开启Adaptive Execution特性 配置场景 Spark SQL Adaptive Execution特性用于使Spark SQL在运行过程中，根据中间结果优化后续执行流程，提高整体执行效率。当前已实现的特性如下： 自动设置shuffle partition数
SQL和DataFrame Spark SQL ROLLUP和CUBE使用的注意事项 Spark SQL在不同DB都可以显示临时表 如何在Spark命令中指定参数值 SparkSQL建表时的目录权限 为什么不同服务之间互相删除UDF失败 Spark SQL无法查询到Parquet类型的Hive表的新插入数据
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
