检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/srv/BigData/yarn/data2/nm/containerlogs。这样数据就会存储在所有设置的目录中，一般会是在不同的设备中。为保证磁盘IO负载均衡，需要提供几个路径且每个路径都对应一个单独的磁盘。应用程序的本地化后的日志目录存在于相对路径/application_%{appid}中
该问题是由于提交作业的用户所在用户组绑定的MRS CommonOperations策略权限在同步到Manager中后没有Hive相关权限，处理方法如下： 添加Hive服务完成。 登录IAM服务控制台，创建一个用户组，该用户组所绑定策略和提交作业用户所在用户组权限相同。 将提交作业的用户添加到新用户组中。
Mover能够基于设置的数据存储策略，将集群中的数据重新分布。 通过运行Mover，周期性地检测HDFS文件系统中用户指定的HDFS文件或目录，判断该文件或目录是否满足设置的存储策略，如果不满足，则进行数据迁移，使目标目录或文件满足设定的存储策略。 本章节适用于MRS 3.x及后续版本。
Mover能够基于设置的数据存储策略，将集群中的数据重新分布。 通过运行Mover，周期性地检测HDFS文件系统中用户指定的HDFS文件或目录，判断该文件或目录是否满足设置的存储策略，如果不满足，则进行数据迁移，使目标目录或文件满足设定的存储策略。 本章节适用于MRS 3.x及后续版本。
解决租户资源管理单击关联用户无响应的问题。 解决登录环境时偶现瞬间退出，需要清理浏览器缓存，才能正常登录的问题。 修改密码过期策略，页面新增提示修改完策略需要再次修改用户密码，策略才能生效。 解决MRS客户端安装成功后出现注册客户端信息到集群上的报错提示的问题。 CVE-2023-24998和CVE-2022-33980漏洞修复。
1千万~2亿以内数据为了方便可以不设置分区（Doris内部有一个默认分区），直接用分桶策略即可。 如果分桶字段存在30%以上的数据倾斜，则禁止使用Hash分桶策略，改为使用Random分桶策略，相关命令为： Create table ... DISTRIBUTED BY RANDOM
度特定用户的查询首先获取到资源。 两个用户分配不同的资源组，重要的任务可以分配到权重高或优先级高的资源组，调度策略由schedulingPolicy配置，不同的调度策略，会有不同的资源分配顺序。 对于即席查询和批量查询，可以根据不同的SQL类型进行更合理的资源分配。 可以对不同的
ce部署架构，可以将用户访问流量自动分发到多台后端节点，扩展系统对外的服务能力，实现更高水平的应用容错。客户端应用请求集群时，使用基于Nginx的ClickHouseBalancer控制节点来进行流量分发，无论集群写入的负载、读的负载以及应用接入的高可用性都具备了有力的保障。 父主题：
备NameNode节点长时间未启动，导致启动失败 问题 长时间没有启动备NameNode，edits文件由于老化策略被自动清理后，重新启动NameNode时找不到所需的edits文件，从而报错。 There appears to be a gap in the edit log.
0及以后版本。 Flink作业大小表Join Flink作业双流Join时存在大小表数据，通过内核broadcast策略确保小表数据发送到Join的task中，通过rebalance策略将大表数据打散到Join中，提高Flink SQL易用性，增强作业稳定性。 图1 Flink作业大小表Join
dryRun => [dryRun]) dryRun为true时，会根据Hudi表配置的TTL策略去检查当前时刻有哪些老化的分区，只打印老化的分区。 dryRun为true时，会根据Hudi表配置的TTL策略去检查当前时刻有哪些老化的分区，并且逻辑删除这些老化的分区。逻辑删除操作会生成一个r
执行结果为成功，但是OBS目录没有删掉。 回答 由于没有给用户配置快删目录的权限，导致数据不能被删除。 需要修改用户对应的委托的IAM自定义策略，在策略内容上，配置Hive快删目录的权限。 父主题： Hive常见问题
执行结果为成功，但是OBS目录没有删掉。 回答 由于没有给用户配置快删目录的权限，导致数据不能被删除。 需要修改用户对应的委托的IAM自定义策略，在策略内容上，配置Hive快删目录的权限。 父主题： Hive常见问题
两种选项组合生成分区及副本的分配方案且支持 “--zookeeper” 和 “--bootstrap-server”两种方式 禁用机架策略 & 禁用跨AZ特性 (默认策略)。 基于此策略新建的Topic的副本会完全随机分配到集群中任意节点上。 ./kafka-topics.sh --create --topic
式集群不支持创建Kafka角色。 如果当前组件使用了Ranger进行权限控制，须基于Ranger配置相关策略进行权限管理，具体操作可参考添加Kafka的Ranger访问权限策略。 操作步骤 登录FusionInsight Manager，选择“系统 > 权限 > 角色”。 单击“
ce部署架构，可以将用户访问流量自动分发到多台后端节点，扩展系统对外的服务能力，实现更高水平的应用容错。客户端应用请求集群时，使用基于Nginx的ClickHouseBalancer控制节点来进行流量分发，无论集群写入的负载、读的负载以及应用接入的高可用性都具备了有力的保障。 父主题：
式集群不支持创建Kafka角色。 如果当前组件使用了Ranger进行权限控制，须基于Ranger配置相关策略进行权限管理，具体操作可参考添加Kafka的Ranger访问权限策略。 操作步骤 登录FusionInsight Manager，选择“系统 > 权限 > 角色”。 单击“
两种选项组合生成分区及副本的分配方案且支持 “--zookeeper” 和 “--bootstrap-server”两种方式 禁用机架策略 & 禁用跨AZ特性 (默认策略)。 基于此策略新建的Topic的副本会完全随机分配到集群中任意节点上。 ./kafka-topics.sh --create --topic
员权限以及Yarn队列资源管理。 如果当前组件使用了Ranger进行权限控制，须基于Ranger配置相关策略进行权限管理。具体操作可参考添加Yarn的Ranger访问权限策略。 前提条件 MRS集群管理员已明确业务需求。 登录Manager。 操作步骤 选择“系统 > 权限 > 角色”。
由于业务变化，用户可能长期暂停使用，为了保证安全，管理员可以锁定用户。锁定用户的方法包含以下两种方式： 自动锁定：通过设置密码策略中的“密码连续错误次数”，将超过登录失败次数的用户自动锁定。具体操作请参见配置MRS集群用户密码策略。 手动锁定：由管理员通过手动的方式将用户锁定。 以下将具体介绍手动锁定。不支持锁定“机
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
