检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果用户组添加了角色，则用户可获得对应角色中的权限。 例如，为新用户分配Hive的权限，请将用户加入Hive组。 主组 选择一个组作为用户创建目录和文件时的主组。下拉列表包含“用户组”中勾选的全部组。 角色 单击“添加”为用户绑定租户的角色。 说明： 若一个用户想要获取使用“tenant1
重新加载时间为10分钟。 拦截和熔断规则会中断SQL任务，请根据实际业务配置合理的值。 动态规则dynamic_0001（SQL语句扫描的文件数超过阈值），当Spark与Tez引擎达到提示阈值时拦截日志会在Yarn任务日志中打印，不支持在Beeline客户端输出。 熔断规则存在统
keyfunc=function <lambda>) 按照key来进行排序，是升序还是降序，ascending是boolean类型。 join(other, numPartitions) 当有两个KV的dataset(K,V)和(K,W)，返回的是(K,(V,W))的dataset,numPartitions为并发的任务数。
keyfunc=function <lambda>) 按照key来进行排序，是升序还是降序，ascending是boolean类型。 join(other, numPartitions) 当有两个KV的dataset(K,V)和(K,W)，返回的是(K,(V,W))的dataset,numPartitions为并发的任务数。
创建弹性伸缩策略 POST /v2/{project_id}/autoscaling-policy/{cluster_id} 集群HDFS文件接口 获取指定目录文件列表 GET /v2/{project_id}/clusters/{cluster_id}/files?path={direct
CarbonData可以通过调整各种参数来提高查询性能。大部分参数聚焦于增加并行性处理和更好地使用系统资源。 Spark Executor数量：Executor是Spark并行性的基础实体。通过增加Executor数量，集群中的并行数量也会增加。关于如何配置Executor数量，请参考Spark资料。
节点间网络互通异常”或“节点故障”等告警。 是，节点间网络不互通，请联系运维人员修复。 否，节点间网络互通，检查结束。 检查弹性伸缩是否关闭 登录华为云管理控制台界面，选择对应集群，单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否，请跟业务方确认是否可以关闭，如
is_dec_project 否 Boolean 参数解释： 说明是否为专属云的资源。 约束限制： 不涉及 取值范围： true：是专属云的资源。 false：不是专属云的资源。 默认取值： false cluster_version 是 String 参数解释： 集群版本。例如：MRS 3.1.0。
载相关依赖包。 在本示例工程中，程序通过配置文件中的IP地址信息及用户信息与ClickHouse服务端进行连接。因此工程导入完成后，需要修改样例工程的“conf”目录下的“clickhouse-example.properties”文件，根据实际环境信息修改相关参数。 loadBalancerIPList=192
使用CDM服务迁移Hadoop数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云Hadoop集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能有差异，具体操作详情以实际版本对应的操作指导为准。
在Windows环境调测程序步骤请参考在Windows中调测程序。 在Linux环境调测程序 编译并生成Jar包，并将Jar包复制到与依赖库文件夹同级的目录“src/main/resources”下，具体步骤请参考在Linux调测程序。 使用root用户登录安装了集群客户端的节点。
直接从Maven中央库或者其他用户自定义的仓库地址下载，详情请参考配置华为开源镜像仓。 7-zip 用于解压“*.zip”和“*.rar”文件，支持7-Zip 16.04版本。 准备Python开发环境 表2 Python开发环境 准备项 说明 操作系统 开发环境和运行环境：Linux系统。
echo "${files[*]}") 进入Spark客户端目录，调用bin/spark-submit脚本运行代码，运行命令如下（类名与文件名等请与实际代码保持一致，此处仅为示例）： bin/spark-submit --master yarn --deploy-mode client
下创建子目录“src/main/resources"。将hive-rest-client-example工程resources目录下的所有文件复制到“resources”下。 执行以下命令启动SpringBoot服务： 在Windows环境下执行： cd /d d:\hive-rest-client-example
在Windows环境调测程序步骤请参考在Windows中调测程序。 在Linux环境调测程序 编译并生成Jar包，并将Jar包复制到与依赖库文件夹同级的目录“src/main/resources”下，具体步骤请参考在Linux调测程序。 使用root用户登录安装了集群客户端的节点。
yarn-cluster模式提交任务，Driver端会在集群中启动，由于加载的是客户端的spark.driver.extraJavaOptions，在集群节点上对应路径下找不到对应的kdc.conf文件，无法获取kerberos认证所需信息，导致ApplicationMaster启动失败。
问题影响 作业无法提交，业务中断。 处理步骤 确认异常来源。 查看作业日志中收到的错误码，确认错误码是属于APIG还是MRS。 若是公共APIG的错误码（APIG的错误码是APIGW开头），联系公共APIG维护人员。 若是MRS侧错误，继续下一步。 排查服务和进程运行状态等基本情况。
告警”，等待2分钟，查看该告警是否自动恢复。 是，处理完毕。 否，执行2。 查看异常的Tablet并修复。 选中该告警，查看“附加信息”中“tabletId”的值。如果异常Tablet较多，附加信息中不能完全显示相关信息，可在Master FE节点的日志文件“${BIGDATA_LOG_HO
单击“按容量”查看顶级Znode目录是否被写入较多数据。 是，记录被写入较多数据的目录，执行3。 否，执行5。 确认被写入较多数据的目录中数据是否可以进行删除。 删除ZooKeeper中的数据为高危操作，请谨慎处理。 是，执行4。 否，执行5。 登录ZooKeeper客户端，删除被写入较多数据的目录中的无用数据。
properties 确保当前consumer在线消费。 确保配置文件consumer.properties中的group.id与命令中--group的参数均配置为待查询的group。 Kafka集群IP端口号安全模式下是21007，普通模式下是9092。 使用KafkaUI查看当前消费情况（MRS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
