检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
构造请求 本节介绍REST API请求的组成，并以调用IAM服务的管理员创建IAM用户说明如何调用API，该API获取用户的Token，Token可以用于调用其他API时鉴权。 您还可以通过这个视频教程了解如何构造请求调用API：https://bbs.huaweicloud.com/videos/102987
除共有组件外，普通版集群还支持Presto、Impala、Kudu、Sqoop等组件，可以根据不同集群版本选择不同的组件，具体各版本集群的组件详情可以参考MRS组件版本一览表和组件操作指南。 LTS版 功能说明 LTS版集群除支持集群基础操作外，还提供版本升级能力。如需使用该功能请联系智能数据专家服务。
操作场景 Kafka消息传输保障机制，可以通过配置不同的参数来保障消息传输，进而满足不同的性能和可靠性要求。本章节介绍如何配置Kafka高可用和高可靠参数。 本章节内容适用于MRS 3.x及后续版本。 对系统的影响 配置高可用、高性能的影响： 配置高可用、高性能模式后，数据可靠性会降
如果您需要对华为云上创建的MapReduce服务资源，给企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能，可以帮助您安全的控制华为云资源的访问。
给用户添加其他用户库表的HDFS路径的读、写、执行权限，详情请参考添加HDFS的Ranger访问权限策略。 如果用户在执行命令时指定了HDFS路径，需要给该用户添加HDFS路径的读、写、执行权限，详情请参考添加HDFS的Ranger访问权限策略。也可以不配置HDFS的Ranger策略，
产数据的作业，等待Kafka的消费作业消费完Kafka中的存量数据后，再执行下一步操作。 停止所有与HDFS、HBase、Hive相关的业务和作业，然后停止HBase、Hive服务。 打通数据传输通道 当源集群与目标集群部署在同一区域的不同VPC时，请创建两个VPC之间的网络连接
中输入obs_bucket_name。 其中obs_bucket-name请使用实际的OBS桶名替换。 （可选）请求条件，暂不添加。 图1 自定义策略 单击“确定”完成策略添加。 选择“委托”，并在1中查询到的委托所在行的“操作”列单击“权限配置”。 查询并勾选3中创建的策略。 单击“确定”完成委托权限配置。
修改MRS集群节点机架信息 大型集群的所有主机通常分布在多个机架上，不同机架间的主机通过交换机进行数据通信，且同一机架上的不同机器间的网络带宽要远大于不同机架机器间的网络带宽。在这种情况下网络拓扑规划应满足以下要求： 为了提高通信速率，希望不同主机之间的通信能够尽量发生在同一个机架之内，而不是跨机架。
r close之前的请求会固定访问第一次RPC时使用的集群。 HBase Admin接口、实时写入接口只会访问主集群。所以主集群故障后，不能提供Admin接口功能和实时写入接口功能，只能提供Get、Scan查询服务。 HBase双读支持以下两种方式设置主备集群的相关配置： 在“hbase-dual
Spark作业访问OBS报错“requestId=XXX”如何处理？ 问： Spark作业访问OBS报错，错误信息如下，如何处理？ xxx requestId=4971883851071737250 xxx 答： 登录Spark客户端节点，进入conf目录，修改配置文件“core-site
MemArtsCC与其他组件的关系 MemArtsCC与OBS的关系 Hadoop-OBS提供一种新的InputStream：OBSMemArtsCCInputStream，该InputStream从部署在计算侧上的MemArts集群读取数据，从而减少OBS服务端压力，提升数据读取性能的目标。 M
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 对于配置了冷热分离策略的表，无法读取和写入OBS上的冷数据，同时本地盘上的热数据变冷后，无法移动到OBS上。 可能原因 ClickHouse访问OBS的endpoint等参数错误。
参数含义 来源 产生告警的集群或系统名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 对系统的影响 已检测到JobServer任务队列中存在过多任务数（详细的任务队列使用情况，请参考本告警的附加信息字段），将导致如下影响： 当JobServer任务队
Flink支持不同的重启策略，以在发生故障时控制作业是否重启以及如何重启。若不指定重启策略，集群会使用默认的重启策略。用户也可以在提交作业时指定一个重启策略，可参考创建FlinkServer作业在作业开发界面配置（MRS 3.1.0及以后版本）。 重启策略也可以通过Flink的配置文件
r close之前的请求会固定访问第一次RPC时使用的集群。 HBase Admin接口、实时写入接口只会访问主集群。所以主集群故障后，不能提供Admin接口功能和实时写入接口功能，只能提供Get、Scan查询服务。 HBase双读支持以下两种方式设置主备集群的相关配置： 在“hbase-dual
安装在集群外的MRS客户端如何访问OBS 操作场景 在OBS存算分离场景下，用户可以通过委托方式获取访问OBS的临时AK、SK，继而访问OBS服务端。对于集群外节点的客户端，如果想要访问OBS，可以通过Guardian组件获取AK、SK实现。Guardian组件是MRS的自研组件，
来选择不同的数据存储类型。 因此，HDFS可以根据数据的热度，选择不同的存储策略。如将HDFS上频繁访问多次的数据被标识为ALL_SSD或HOT，被访问几次的可以标识为WARM，而只有访问1～2次甚至更少的可以被标识为COLD等，如下图为不同的数据热度，可以选择不同的数据存储策略。
本文档提供给需要Storm二次开发的用户使用。本指南主要适用于具备Java开发经验的开发人员。 简介 Storm是一个分布式的、可靠的、容错的数据流处理系统。它会把工作任务委托给不同类型的组件，每个组件负责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理，可以可靠地处理无限的数据流。
efaults.conf` fi 这些脚本行的功能和解决方案1类似，通过判断yarn的模式来修改文件$SPARK_HOME/conf/spark-defaults.conf中spark.driver.extraJavaOptions的配置项-Dlog4j.configuration=
如何迁移OBS/S3的数据到ClickHouse 问题 如何迁移OBS/S3的数据到MRS ClickHouse。 回答 查询S3中的数据： select * from s3(path [,access_key_id, secret_access_key] [,format] [
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
