检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
所示： 应用程序（Application）是作为一个进程的集合运行在集群上的，由Driver进行协调。 在运行一个应用时，Driver会去连接集群管理器（Standalone、Mesos、YARN）申请运行Executor资源，并启动ExecutorBackend。然后由集群管理
StormTopology类型的对象，和getTopology()方法相同。 应用开发操作步骤 确认Storm组件已经安装，并正常运行。如果业务需要连接其他组件，请同时安装该组件并运行。 将storm-examples导入到Eclipse开发环境，请参见准备Storm应用开发环境。 参考s
数配置的是150，建议不超过200。 部署负载均衡组件，查询基于负载均衡组件进行，避免单点查询压力太大影响性能。 ClickHouse支持连接集群中的任意节点查询，如果查询集中到一台节点，可能会导致该节点的压力过大并且可靠性不高。建议使用ClickHouseBalancer或者其
配置存算分离集群（委托方式） 配置存算分离集群（AKSK方式） 外置元数据连接 MRS的支持组件使用外部数据源存储数据，如Hive的元数据使用外部的关系型数据库（RDS），可以通过数据连接来关联Hive组件实现。 管理数据连接 HDFS地址映射方式访问OBS 通过HDFS地址映射到OBS地
元数据存储在集群本地。 外置数据连接：使用外部数据源元数据，若集群异常或删除时将不影响元数据，适用于存储计算分离的场景。 在创建MRS集群时，支持对接LakeFormation实例，存储Hive、Spark等组件元数据，可参考配置LakeFormation数据连接。 在集群创建完成后，可
是否必选 参数类型 描述 map_id 否 Integer 参数解释： 数据连接关联ID值。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 connector_id 否 String 参数解释： 数据连接ID值。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 component_name
ole”角色取得权限。 图4 添加用户 单击“确定”完成用户创建。 步骤三：安装集群客户端 MRS集群创建成功后，用户可安装集群客户端用于连接集群内各组件服务，进行作业提交等操作。 客户端可以安装在集群内的节点上，也可以安装在集群外的节点上。本指南以在Master1节点上安装客户端为例进行介绍。
zkCli.sh -server ip:port 其中ip可以为任意管理IP，port默认值是2181。 当看到如下输出信息时，表示已经成功连接上Zookeeper服务器。 WatchedEvent state:SyncConnected type:None path:null [zk:
JobManager Web Interface: http://192.168.64.10:32261 Flink集群启动成功后，重新打开一个客户端连接窗口，进入Flink客户端目录运行程序。 source /opt/hadoopclient/bigdata_env cd /opt/had
x之前版本，安全集群默认没有开启外部SSL，用户如果需要启用外部SSL，进行配置后再次运行该脚本即可，配置参数在MRS的Flink默认配置中不存在，用户如果开启外部连接SSL，则需要添加表3中参数。 表3 参数描述 参数 描述 参数值示例 security.ssl.rest.enabled 打开外部SSL开关。
关闭Ranger鉴权：spark.ranger.plugin.authorization.enable=false Spark2x中，spark-beeline（即连接到JDBCServer的应用）支持Ranger的IP过滤策略（即Ranger权限策略中的Policy Conditions），spark-
关闭Ranger鉴权：spark.ranger.plugin.authorization.enable=false Spark2x中，spark-beeline（即连接到JDBCServer的应用）支持Ranger的IP过滤策略（即Ranger权限策略中的Policy Conditions），spark-
taArts Studio是数据全生命周期一站式开发运营平台，提供数据集成、数据开发、数据治理、数据服务、数据可视化等功能。MRS数据支持连接DataArts Studio平台，并基于可视化的图形开发界面、丰富的数据开发类型（脚本开发和作业开发）、全托管的作业调度和运维监控能力，
Clients：包含WebUI和JDBC接口，为用户访问提供接口。 操作流程 本实践以用户开发一个Hive数据分析应用为例，通过客户端连接Hive后，执行HQL语句访问OBS中的Hive数据。进行企业雇员信息的管理、查询。如果需要基于MRS服务提供的样例代码工程开发构建应用，您可以参考Hive应用开发简介。
取值范围： 不涉及 azId String 参数解释： 可用区域ID。 取值范围： 不涉及 azName String 参数解释： 可用区域名称。 取值范围： 不涉及 azCode String 参数解释： 可用区域英文名称。 取值范围： 不涉及 availabilityZoneId
部KrbClient的配置参数异常，影响业务运行。 修改该参数后，请重启KrbServer服务和其关联的所有服务。 修改Manager系统域名 若没有及时重启KrbServer服务和其关联的所有服务，会导致集群内部KrbClient的配置参数异常，影响业务运行。 修改该参数后，请
Source常用配置 参数 默认值 描述 channels - 与之相连的Channel，可以配置多个。用空格隔开。 在单个代理流程中，是通过channel连接sources和sinks。一个source实例对应多个channels，但一个sink实例只能对应一个channel。 格式如下： <Agent
mofSlot) taskmanager.network.netty.client.numThreads : -1 # netty的客户端连接超时时间 taskmanager.network.netty.client.connectTimeoutSec：120s # netty的
Source常用配置 参数 默认值 描述 channels - 与之相连的Channel，可以配置多个。用空格隔开。 在单个代理流程中，是通过channel连接sources和sinks。一个source实例对应多个channels，但一个sink实例只能对应一个channel。 格式如下： <Agent
取值范围： 不涉及 azId String 参数解释： 可用区域ID。 取值范围： 不涉及 azName String 参数解释： 可用区域名称。 取值范围： 不涉及 azCode String 参数解释： 可用区域英文名称。 取值范围： 不涉及 availabilityZoneId
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
