检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询主机列表 功能介绍 该接口用于查询输入集群的主机列表详情。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/hosts 表1 路径参数 参数 是否必选 参数类型 描述 cluster_id
HDFS HA方案介绍 HDFS HA方案背景 在Hadoop 2.0.0之前，HDFS集群中存在单点故障问题。由于每个集群只有一个NameNode，如果NameNode所在机器发生故障，将导致HDFS集群无法使用，除非NameNode重启或者在另一台机器上启动。这在两个方面影响了HDFS的整体可用性：
以root用户登录节点，执行service auditd status命令，确认该服务状态。 Checking for service auditd running 如果该服务未启动，执行service auditd restart命令重启该服务（无影响，耗时不到1秒）。 Shutting down auditd
Flink Scala API接口介绍 由于Flink开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。 Flink常用接口 Flink主要使用到如下这几个类： StreamExecutionEnvironment：是Flink流处理的基础，提供了程序的执行环境。
Flink Scala API接口介绍 由于Flink开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。 Flink常用接口 Flink主要使用到如下这几个类： StreamExecutionEnvironment：是Flink流处理的基础，提供了程序的执行环境。
开发Kafka应用 Kafka样例程序开发思路 使用Producer API向安全Topic生产消息 使用Consumer API订阅安全Topic并消费 使用多线程Producer发送消息 使用多线程Consumer消费消息 使用KafkaStreams统计数据 使用SpringBoot生产消费Kafka集群数据
端连接服务端的过程中，默认以客户端执行用户（例如操作系统用户“root”等）自动完成认证，管理员或业务用户不显示感知认证。而且客户端在运行时，甚至可以通过注入UserGroupInformation来伪装成任意用户（包括superuser），集群资源管理接口和数据控制接口在服务端
Flink DataStream样例程序开发思路 场景说明 假定用户有某个网站周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Flink的DataStream应用程序实现如下功能： DataStream应用程序可以在Windows环境和Linux环境中运行。 实时统计总计网购时间超过2个小时的女性网民信息。
Spark REST API接口介绍 功能简介 Spark的REST API以JSON格式展现Web UI的一些指标，提供用户一种更简单的方法去创建新的展示和监控的工具，并且支持查询正在运行的app和已经结束的app的相关信息。开源的Spark REST接口支持对Jobs、Sta
两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前，样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如：“/opt/female/user
是 String 参数解释： 数据连接类型。 约束限制： 不涉及 取值范围： RDS_POSTGRES：RDS服务PostgreSQL数据库 RDS_MYSQL：RDS服务MySQL数据库 gaussdb-mysql：云数据库GaussDB(for MySQL) 默认取值： 不涉及
是 String 参数解释： 数据连接类型。 约束限制： 不涉及 取值范围： RDS_POSTGRES：RDS服务PostgreSQL数据库 RDS_MYSQL：RDS服务MySQL数据库 gaussdb-mysql：云数据库GaussDB(for MySQL) 默认取值： 不涉及
Spark（SparkDataSource API） Y Y 表2 mor表 查询引擎 实时视图 增量视图 读优化视图 Hive Y Y Y Spark（SparkSQL） Y Y Y Spark（SparkDataSource API） Y Y Y 当前Hudi使用Spark datasource接口读取时，不
Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。 Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点： 高吞吐量 消息持久化到磁盘 分布式系统易扩展
部操作请参见API概览。 在调用MRS服务API之前，请确保已经充分了解MRS服务相关概念，详细信息请参见产品介绍。 MRS 3.x版本镜像，不支持MRS V1.1作业管理接口，需要使用V2作业管理接口。如果仍需使用V1.1作业管理接口，请在历史API中，获取相关接口。 终端节点
配置Flume对接安全模式Kafka 使用Flume客户端对接安全kafka。 新增jaas.conf文件，并保存到“${Flume客户端安装目录}/conf”下，jaas.conf文件内容如下： KafkaClient { com.sun.security.auth.module
自动获取的访问公网IP与用户本机IP不一致，属于正常现象，无需处理。 9022端口为knox的端口，需要开启访问knox的9022端口权限，才能访问MRS Manager服务。 勾选“我确认xx.xx.xx.xx为可信任的公网访问IP，并允许从该IP访问MRS Manager页面。” 图1 添加访问MRS Manager的安全组规则
Spark REST API接口介绍 功能简介 Spark的REST API以JSON格式展现Web UI的一些指标，提供用户一种更简单的方法去创建新的展示和监控的工具，并且支持查询正在运行的app和已经结束的app的相关信息。开源的Spark REST接口支持对Jobs、Sta
00，需要修改DBService的最大连接数。 解决办法 进入DBService服务配置页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > DBService > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 如果集群详情页面没有“组件
管理MRS集群作业 停止删除MRS集群作业 克隆MRS集群作业 配置MRS集群作业消息通知 父主题： 管理MRS集群
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
