检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
metastore.server.min.threads MetaStore启动的用于处理连接的线程数，如果超过设置的值之后，MetaStore就会一直维护不低于设定值的线程数，即常驻MetaStore线程池的线程会维护在指定值之上。 200 hive.server2.enable.doAs
密码，此时新的密码策略才会生效。 针对MRS MRS 3.1.2及之后版本集群： 用户不能修改自己所绑定的密码策略（admin用户除外）。 修改密码策略后，若该密码策略所绑定的用户密码剩余有效天数大于当前新密码策略有效期时，统一将这些用户的密码有效期设置为新密码策略的有效期；若用
的分布在各个节点。增加任务的并行度，充分利用集群机器的计算能力，一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置，用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数，优先级最高。
创建FlinkServer权限角色 该任务指导MRS集群管理员在Manager创建并设置FlinkServer的角色。FlinkServer角色可设置FlinkServer管理员权限以及应用的编辑和查看权限。 用户需要在FlinkServer中对指定的用户设置权限，才能够更新数据、查询数据和删除数据等。 前提条件
ClickHouse支持多副本能力，进行本地表写入的时候，当前节点的数据会立即更新成功，但其他副本之间的数据同步是异步的。 本章节主要介绍如何配置ClickHouse保证副本间数据强一致。 参数配置 配置ClickHouse副本间数据强一致优先级别：单条语句设置 > 会话级别设置 > 全局默认设置。 副本间强一致
给当前用户添加其他用户库表的HDFS路径的读、写、执行权限，具体配置请参考添加HDFS的Ranger访问权限策略。 在Ranger上为用户添加Spark SQL的访问策略后，需要在HDFS的访问策略中添加相应的路径访问策略，否则无法访问数据文件，具体请参考添加HDFS的Ranger访问权限策略。
创建FlinkServer权限角色 该任务指导MRS集群管理员在Manager创建并设置FlinkServer的角色。FlinkServer角色可设置FlinkServer管理员权限以及应用的编辑和查看权限。 用户需要在FlinkServer中对指定的用户设置权限，才能够更新数据、查询数据和删除数据等。 前提条件
18022 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 队列名 产生告警的队列名。 队列指标名 产生告警的队列指标名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 应用任务结束时间变长。 新应用提交后长时间无法运行。
不存在同名的列，则创建同名的列后角色将拥有该列的权限。列权限设置完成。 否，修改已有HBase角色的列权限，表格将显示已单独设置权限的列，执行5。 角色新增列权限，在“资源名称”的输入框输入列名称并设置列的权限。角色修改列权限，可以在“资源名称”的输入框输入列名称并设置列权限，也
不存在同名的列，则创建同名的列后角色将拥有该列的权限，列权限设置完成。 否，修改已有HBase角色的列权限，表格将显示已单独设置权限的列，执行5。 角色新增列权限，在“资源名称”的输入框输入列名称并设置列的权限。角色修改列权限，可以在“资源名称”的输入框输入列名称并设置列权限，也
ding的应用的数量，当root队列上处于pending状态的应用的数量超过60时，触发该告警。 告警属性 告警ID 告警级别 是否自动清除 18023 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 队列名 产生告警的队列名。 队列指标名 产生告警的队列指标名。
MRS集群的所有节点。 在MRS集群节点的操作列选择“更多 > 网络设置 > 切换VPC”，切换节点VPC。 每个节点都需要切换VPC。 切换VPC时“虚拟私有云”、“子网”、“安全组”需要和集群初始的配置一致。 “私有IP地址”选择“现在创建”，填写1中查询对应节点的IP。 切
实例”。查看任一部署Flume角色节点的“业务IP”。 如果集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 将此节点上的用户认证文件，复制到安装Flume客户端的节点，保存到Flume客户端中
执行Spark任务就会报内存不足告警，告警id：18022，可用内存会陡降到0。 处理步骤 在SQL脚本前设置executor参数，限制executor的核数和内存。 例如设置如下： set hive.execution.engine=spark; set spark.executor
如何在Spark命令中指定参数值 问题 如果用户不希望在界面上或配置文件设置参数值，如何在Spark命令中指定参数值？ 回答 Spark的配置项，不仅可以在配置文件中设置，也可以在命令中指定参数值。 在Spark客户端，应用执行命令添加如下内容设置参数值，命令执行完成后立即生效。在--conf后添加参数名称及其参数值，例如：
告警模块按60秒周期检测Yarn当前挂起的内存量大小，当Yarn上面挂起的内存量大小超过阈值时，触发该告警。挂起的内存量表示当前所有提交的Yarn应用还没有满足的内存量总和。 告警属性 告警ID 告警级别 是否自动清除 18024 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 队列名
storage.directory"配置选项设置成“/tmp”或者“/opt/Bigdata/tmp”。 当用户将"blob.storage.directory"配置选项设置成自定义目录时，需要手动赋予用户该目录的owner权限。以下以MRS的admin用户为例。 修改Flink客户
tering都会导致部分或全部数据重写。 列的默认值设置要与列的类型一致，如不一致会进行类型强转，导致默认值精度丢失或者默认值为NULL。 历史数据的默认值与列第一次设置的默认值一致，多次修改列的默认值不会影响历史数据的查询结果。 设置默认值后rollback不能回滚默认值配置。
Kafka提供了如表3所示的日志级别。 运行日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。 表3 日志级别 级别 描述 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。
Hudi表作为Source表时建议设置限流 Hudi表作为Source表，防止上限超过流量峰值，导致作业出现异常带来不稳定因素，因此建议设置限流，限流上限应该为业务上线压测的峰值。 使用时需添加如下参数： 'read.rate.limit' = '1000' 设置execution.checkpointing
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
