检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
tion)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类实例化。创建Connection是重量级
tion)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类实例化。创建Connection是重量级
tion)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类实例化。创建Connection是重量级
tion)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类实例化。创建Connection是重量级
且已删除的集群，若需要查看6个月以前删除的集群，请联系华为云支持人员。 失败任务管理：单击可查看“失败”状态的集群创建任务。 表1 集群列表参数 参数 参数说明 名称/ID 集群的名称，创建集群时设置。集群的ID是集群的唯一标识，创建集群时系统自动赋值，不需要用户设置。 ：修改集群名称。
由于MRS集群节点的NTP时间不同步导致集群访问OBS时鉴权失败 问题现象 集群访问OBS上报403异常。 原因分析 集群Master节点NTP时间与集群外节点的NTP服务器时间不同步，时间相差超过15min，导致集群访问OBS时鉴权失败，上报403异常。 处理步骤 以root用户登录集群主Master节点。
如何使用PySpark连接MRS Spark？ 问： 如何在ECS服务器上用PySpark连接内网开启Kerberos认证的MRS Spark集群？ 答： 将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials
Merge succeeded 请确保当前用户对合并的表具有owner权限。 合并前请确保HDFS上有足够的存储空间，至少需要被合并表大小的一倍以上。 合并表数据的操作需要单独进行，在此过程中读表，可能临时出现找不到文件的问题，合并完成后会恢复正常；另外在合并过程中请注意不要对相应的表进
通过Slow Start调优MapReduce任务 操作场景 Slow Start特性指定Map任务完成度为多少时Reduce任务可以启动，过早启动Reduce任务会导致资源占用，影响任务运行效率，但适当的提早启动Reduce任务会提高Shuffle阶段的资源利用率，提高任务运行
通过Slow Start调优MapReduce任务 操作场景 Slow Start特性指定Map任务完成度为多少时Reduce任务可以启动，过早启动Reduce任务会导致资源占用，影响任务运行效率，但适当的提早启动Reduce任务会提高Shuffle阶段的资源利用率，提高任务运行
--execute --throttle 50000000 --throttle 50000000：限制网络带宽为50MB。带宽可根据数据量大小及客户对均衡时间的要求进行调整，5TB数据量，使用50MB带宽，均衡时长约8小时。 执行以下命令查看迁移状态。 ./kafka-reassign-partitions
4（4vCPUs，16GB） 系统盘：通用型SSD，480GB 数据盘：通用型SSD，600GB 用了一段时间后，用户发现MRS集群当前规格无法满足业务需要，于2023/03/20 9:00:00对core_node_analysis_group节点组扩容了1个节点。后因业务持续增长发现mas
Merge succeeded 请确保当前用户对合并的表具有owner权限。 合并前请确保HDFS上有足够的存储空间，至少需要被合并表大小的一倍以上。 合并表数据的操作需要单独进行，在此过程中读表，可能临时出现找不到文件的问题，合并完成后会恢复正常；另外在合并过程中请注意不要对相应的表进
ob有大量的Maps输出需要处理的时候，Shuffle过程将变得非常耗时。对于一些特定的任务（例如hash join或hash aggregation类型的SQL任务），Shuffle过程中的排序并非必须的。但是Shuffle却默认必须进行排序，所以需要对此处进行改进。 此特性通过对MapReduce
如果当前集群已启用Kerberos认证，执行以下命令认证当前用户，当前用户需要具有创建ClickHouse表的权限。如果当前集群未启用Kerberos认证，则无需执行本步骤。 如果是MRS 3.1.0版本集群，则需要先执行： export CLICKHOUSE_SECURITY_ENABLED=true
如果当前集群已启用Kerberos认证，执行以下命令认证当前用户，当前用户需要具有创建ClickHouse表的权限。如果当前集群未启用Kerberos认证，则无需执行本步骤。 如果是MRS 3.1.0版本集群，则需要先执行： export CLICKHOUSE_SECURITY_ENABLED=true
普通模式或者使用密码认证方式时，登录使用的用户。 keytab登录方式，则不需要设置该参数。 bar authentication.password 使用密码认证方式时，登录使用的用户密码。 普通模式或者keytab登录方式，则不需要设置该参数。 用户需要对密码加密，加密方法： 进入“encrypt_to
e。 否，默认24小时。 max_commit_to_keep archive保留多少commits元数据文件的最大值。 否，默认30。 min_commit_to_keep archive保留多少commits元数据文件的最小值。 否，默认20。 compact_inline 是否开启compact。
/user/helloworld XXX Hive /user/hive/warehouse/ XXX HBase /hbase XXX 网络出口带宽能力 迁移数据可以使用的最大网络带宽和专线带宽（是否可调）。 迁移数据作业每天可以运行的时间段。 流式Kafka集群信息收集 表6 流式Kafka集群信息 收集信息项
该用户需要从属于hadoop、supergroup、hive组，同时添加Oozie的角色操作权限。若使用Hive多实例，该用户还需要从属于具体的Hive实例组，如hive3。 用户同时还需要至少有manager_viewer权限的角色。 获取运行状态的Oozie服务器（任意实例）URL，如“https://10
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
