检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
rceManager、NodeManager和JobHistory节点的配置与在Yarn的客户端的配置必须一致。 周期性收集日志功能目前仅支持MapReduce应用，且MapReduce应用必须进行相应的日志文件滚动输出配置，需要在MapReduce客户端节点的“客户端安装路径/
数据分片（shard）的概念，这也是分布式存储的特点之一，即通过并行读写提高效率。 CPU架构为鲲鹏计算的ClickHouse集群表引擎不支持使用HDFS和Kafka。 查看ClickHouse服务cluster等环境参数信息 使用ClickHouse客户端连接到ClickHou
例，选择“更多 > 重启实例”，在弹出对话框输入密码，单击“确定”，重启所有RangerAdmin实例。 仅开启Kerberos认证的集群支持OBS级联授权。 配置回收站清理策略 登录OBS控制台。 选择“并行文件系统”，单击创建OBS并行文件系统的文件系统名称。 选择“基础配置
准备一个用于安装MRS集群客户端的Linux弹性云服务器。 云服务器操作系统及版本建议如下： 表1 操作系统参考列表 CPU架构 操作系统 支持的版本号 x86计算 Euler 可用：Euler OS 2.2 可用：Euler OS 2.3 可用：Euler OS 2.5 鲲鹏计算(ARM)
ftp-connector”，单击“添加”，输入配置连接参数，单击“测试”验证连接是否可用，待提示“测试成功”后单击“确定”。Loader支持配置多个SFTP服务器操作数据，单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。
flux.Flux --local /opt/my-topology.yaml 如果业务设置为本地模式，请确保提交环境为普通模式环境，当前不支持安全环境下使用命令提交本地模式的业务。 如果使用了properties文件，则提交命令如下： storm jar /opt/jartarget/source
kafkaProc.getValues(APPLICATION_ID, "streams-wordcount")); // 协议类型：当前支持配置为SASL_PLAINTEXT或者PLAINTEXT props.put(SECURITY_PROTOCOL, kafkaProc
flux.Flux --local /opt/my-topology.yaml 如果业务设置为本地模式，请确保提交环境为普通模式环境，当前不支持安全环境下使用命令提交本地模式的业务。 如果使用了properties文件，则提交命令如下： storm jar /opt/jartarget/source
路径”选择“服务器端”，单击“确定”开始生成客户端配置文件，文件生成后默认保存在主管理节点“/tmp/MRS-client”。文件保存路径支持自定义。 图1 下载客户端的配置文件 登录MRS Manager的主管理节点。 在集群详情的“节点信息”页签中查看节点名称，名称中包含“m
flux.Flux --local /opt/my-topology.yaml 如果业务设置为本地模式，请确保提交环境为普通模式环境，当前不支持安全环境下使用命令提交本地模式的业务。 如果使用了properties文件，则提交命令如下。 storm jar /opt/jartarget/storm-examples-1
touchtestFileAppend vitestFileAppend 写入“Welcome back to webhdfs!”保存退出。 在普通模式下，只支持使用HTTP服务访问。登录FusionInsight Manager页面，选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置
取值范围： 不涉及 默认取值： 不涉及 tracking_url String 参数解释： 日志链接地址。当前仅SparkSubmit作业支持该参数。该参数基于集群的EIP访问集群中的YARN WebUI页面，用户如果在VPC界面解绑EIP，MRS服务侧数据会因为未更新导致该参数
待创建的MRS集群名称。 集群类型 自定义 根据实际业务需要选择待创建的MRS集群类型。 “自定义”类型集群提供丰富的组件搭配，可自行选择对应版本MRS集群所支持的所有组件。 版本类型 普通版 待创建的MRS集群版本类型。 集群版本 MRS 3.1.5 待创建的MRS集群版本，不同版本所包含的开源组
testFileAppend vi testFileAppend 写入“Welcome back to webhdfs!”保存退出。 在普通模式下，只支持使用HTTP服务访问。登录FusionInsight Manager页面，选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置
计算结果，并进行打印。 方案架构 Spark Streaming是一种构建在Spark上的实时计算框架，扩展了Spark处理大规模流式数据的能力。当前Spark支持两种数据处理方式：Direct Streaming和Receiver。 Direct Streaming方式主要通过采用Direct API对数据进行处理。以Kafka
查询和分析。 Hive主要特点如下： 海量结构化数据分析汇总。 将复杂的MapReduce编写任务简化为SQL语句。 灵活的数据存储格式，支持JSON、CSV、TEXTFILE、RCFILE、SEQUENCEFILE、ORC等存储格式。 Hive作为一个基于HDFS和MapRed
待创建的MRS集群名称。 集群类型 自定义 根据实际业务需要选择待创建的MRS集群类型。“自定义”类型集群提供丰富的组件搭配，可自行选择对应版本MRS集群所支持的所有组件。 版本类型 LTS版 待创建的MRS集群版本类型，不同版本所包含的开源组件版本及功能特性可能不同。 集群版本 MRS 3.2.0-LTS
待创建的MRS集群名称。 集群类型 自定义 根据业务实际需要选择待创建的MRS集群类型。“自定义”类型集群提供丰富的组件搭配，可自行选择对应版本MRS集群所支持的所有组件。 版本类型 LTS版 待创建的MRS集群版本类型，不同版本所包含的开源组件版本及功能特性可能不同，推荐选择最新版本。 集群版本
参数解释： 虚拟机规格ID。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 type String 参数解释： 虚拟机类型，当前支持MasterNode，CoreNode，TaskNode。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 mem String
默认取值： 不涉及 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 action 是 String 参数解释： 操作类型，支持创建和删除。 约束限制： 不涉及 取值范围： create：创建集群标签。 delete：删除集群标签。 默认取值： 不涉及 响应参数 无
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
