检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群操作默认标签 功能介绍 对已有集群启用或关闭集群默认标签。开启后，集群内节点会打上集群默认标签。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/tags/switch 表1 路径参数 参数 是否必选
错误码 当您调用API时，如果遇到“APIGW”开头的错误码，请参见API网关错误码进行处理。 状态码 错误码 错误信息 描述 处理措施 400 0023 Failed to obtain cluster details. 获取集群详情信息失败！ 请检查MRS集群状态、Maste
Flink安全认证机制说明 Flink认证和加密 Flink集群中，各部件支持认证。 Flink集群内部各部件和外部部件之间，支持和外部部件如YARN、HDFS、ZooKeeprer进行kerberors认证。 Flink集群内部各部件之间，如Flink client和JobMa
通过Flink作业处理OBS数据 应用场景 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅做数据计算处理的存算分离模式。 本文将向您介绍如何在MRS集群中运行Flink作业来处理OBS中存储的数据。 方案架构 Flink
使用Kafka Token认证 场景说明 Token认证机制是一种轻量级身份认证机制，无需访问Kerberos认证，可在API中使用。 代码样例 Token认证机制支持API，用户可在二次开发样例的Producer()和Consumer()中对其进行配置。 Producer()配置的样例代码如下：
在Linux环境中调测HBase应用 操作场景 HBase应用程序支持在已安装或未安装HBase客户端的Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至Linux环境中运行应用。 前提条件 已安装客户端时： 已安装HBase客户端。 当客户端所在主机不是集群中的节
MRS组件应用安全认证说明 Kerberos认证说明 开启了Kerberos认证的安全模式集群，进行应用开发时需要进行安全认证。使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术，并且能够进行相互认证（即客户端和服务器端均可对对方进行身份认证）。可以用
删除集群 功能介绍 数据完成处理分析后或者集群运行异常无法提供服务时可删除集群服务。该接口兼容Sahara。 处于如下状态的集群不允许删除： scaling-out：扩容中 scaling-in：缩容中 starting：启动中 terminating：删除中 terminated：已删除
删除指定集群的标签 功能介绍 删除特定集群的标签。 接口约束 无 调用方法 请参见如何调用API。 URI DELETE /v1.1/{project_id}/clusters/{cluster_id}/tags/{key} 表1 路径参数 参数 是否必选 参数类型 描述 cluster_id
删除数据连接 功能介绍 删除数据连接 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/data-connectors/{connector_id} 表1 路径参数 参数 是否必选 参数类型 描述 connector_id 是 String
ClickHouse使用OpenLDAP认证 ClickHouse支持和OpenLDAP进行对接，通过在ClickHouse上添加OpenLDAP服务器配置和创建用户，实现账号和权限的统一集中管理和权限控制等操作。此方案适合从OpenLDAP服务器中批量向ClickHouse中导入用户。
快速使用Flume采集节点日志 操作场景 Flume支持将采集的日志信息导入到Kafka。 前提条件 已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。 已配置网络，使日志生成节点与流集群互通。 使用Flume客户端（MRS 3.x之前版本）
删除弹性伸缩策略 功能介绍 删除弹性伸缩策略。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/autoscaling-policy/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
新增并执行作业 功能介绍 在MRS集群中新增并提交一个作业。 需要先在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步，然后再通过该接口提交作业。 如需使用OBS加密功能，请先参考“MRS用户指南 > 管理现有集群 > 作业管理 > 使用OBS加密
Spark Structured Streaming对接Kafka样例程序开发思路 场景说明 假定一个广告业务，存在广告请求事件、广告展示事件、广告点击事件，广告主需要实时统计有效的广告展示和广告点击数据。 已知： 终端用户每次请求一个广告后，会生成广告请求事件，保存到kafka的adRequest
Spark Structured Streaming对接Kafka样例程序开发思路 场景说明 假定一个广告业务，存在广告请求事件、广告展示事件、广告点击事件，广告主需要实时统计有效的广告展示和广告点击数据。 已知： 终端用户每次请求一个广告后，会生成广告请求事件，保存到kafka的adRequest
快速开发Kafka应用 Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。 Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点： 高吞吐量
Flink安全认证机制说明 Flink认证和加密 Flink集群中，各部件支持认证。 Flink集群内部各部件和外部部件之间，支持和外部部件如YARN、HDFS、ZooKeeprer进行Kerberors认证。 Flink集群内部各部件之间，如Flink client和JobMa
快速使用Flume采集节点日志 Flume支持将采集的日志信息导入到Kafka。 前提条件 已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。 已配置网络，使日志生成节点与流集群互通。 使用Flume客户端 普通集群不需要执行2-6。
Spark应用开发建议 RDD多次使用时，建议将RDD持久化 RDD在默认情况下的存储级别是StorageLevel.NONE，即既不存磁盘也不放在内存中，如果某个RDD需要多次使用，可以考虑将该RDD持久化，方法如下： 调用spark.RDD中的cache()、persist(
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
