检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置SparkSQL业务用户权限 操作场景 SparkSQL业务还可能需要关联使用其他组件，例如Spark on HBase需要HBase权限。以下介绍SparkSQL关联HBase服务的操作。 前提条件 完成Spark客户端的安装，例如安装目录为“/opt/client”。 获
${BIGDATA_LOG_HOME}/controller/aos/aos.log 回退操作 若需要从Superior调度器切换回Capacity调度器，可进行手工操作，但此操作属于一种规避手段，一般情况下不允许回退。 如客户有特殊要求，必须回退到Capacity调度器，需满足以下两个条件： 只能在观
Integer>> dataStream = env.fromElements(Tuple2.of("hello",1), Tuple2.of("test",2), Tuple2.of("world",100)); // 定义用于分区的key值，返回即属于哪个partition的，该值加1就是对应的子任务的id号
Manager，修改该用户初始密码。 步骤2：创建MRS Hive集群并配置 创建MRS集群，详细操作请参考快速购买MRS集群。其中： 集群名称：自定义，例如“mrs_test” 版本类型：LTS版 集群版本：MRS 3.3.0-LTS 集群组件包含：Hive等。 其他参数根据实际需要进行配置。 集群购买完成后
准备连接集群配置文件 准备集群认证用户信息 对于开启Kerberos认证的MRS集群，需提前准备具有相关组件操作权限的用户用于程序认证。 以下Flink权限配置示例供参考，在实际业务场景中可根据业务需求灵活调整。 登录FusionInsight Manager。 选择“系统 > 权限
COLD_BOUNDARY, null); admin.modifyTable(tableName, descriptor); 为已经存在的表设置冷热分离功能，或者修改冷热分离分界线。 COLD_BOUNDARY用于设置冷热分离时间分界点，单位为秒， 示例表示1天之前的数据归档为冷数据。 HTableDescriptor
使用Kafka Eagle对接MRS Kafka 应用场景 Kafka Eagle是一款分布式、高可用的Kafka监控软件，提供丰富的Kafka监控指标，例如：Kafka集群的Broker数、Topic数、Consumer数、Topic LogSize Top10、Topic Capacity
/opt/client/Flink/flink/conf/user.keytab security.kerberos.login.principal: test 在Flink的客户端“bin”目录下，执行如下命令进行安全加固，请参考认证和加密。 sh generate_keystore.sh 该
如果根据业务需要，可以单击“详细配置”右侧的编辑按钮修改服务池的参数值。 在“服务池配置”单击指定的服务名，“详细配置”将只显示此服务的参数。手工修改参数值并不会刷新服务使用资源的百分比显示。支持动态生效的参数，在新增加的配置组中显示名将包含配置组的编号，例如“HBase : RegionServer
在Linux环境中调测ClickHouse应用（MRS 3.3.0及之后版本） ClickHouse应用程序也支持在Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 Linux环境已安装JDK，版本号需要和IntelliJ
创建FlinkServer作业写入数据至HBase表 本章节适用于MRS 3.1.2及之后的版本。 操作场景 FlinkServer支持对接HBase，详情如下： 支持对接维表、Sink表。 当HBase与Flink为同一集群或互信的集群，支持FlinkServer对接HBase。
准备HDFS应用开发和运行环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows7以上版本。 运行环境：Windows或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
准备HBase应用开发和运行环境 准备开发环境 在进行二次开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
准备HDFS应用开发和运行环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows7以上版本。 运行环境：Windows或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
准备Spark连接集群配置文件 准备集群认证用户信息 对于开启Kerberos认证的MRS集群，需提前准备具有相关组件操作权限的用户用于程序认证。 以下Spark2x权限配置示例供参考，在实际业务场景中可根据业务需求灵活调整。 登录FusionInsight Manager。 选择“集群
准备MapReduce开发和运行环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
添加MRS集群节点标签 标签是集群/节点的标识。为集群/节点添加标签，可以方便用户识别和管理拥有的集群/节点资源。 集群标签：可以在创建集群时添加标签，也可以在集群创建完成后，在集群的详情页添加标签，您最多可以给集群添加20个标签。更新集群标签会将标签同步到该集群下的所有节点上。
准备连接MapReduce集群配置文件 如果需要使用访问多组件样例程序，请确保集群已安装Hive、HBase服务。 准备集群认证用户信息 对于开启Kerberos认证的MRS集群，需提前准备具有相关组件操作权限的用户，并下载认证凭据文件用于程序认证。 以下MapReduce权限配
准备HBase应用开发和运行环境 准备开发环境 在进行二次开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
准备MapReduce开发和运行环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
