检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
rator Chain表示一个Operator，KeyBy表示一个Operator，Sink表示一个Operator，它们通过Stream连接，而每个Operator在运行时对应一个Task，也就是说图中的上半部分有3个Operator对应的是3个Task。 图5中下半部分是上半
StormTopology类型的对象，和getTopology()方法相同。 应用开发操作步骤 确认Storm组件已经安装，并正常运行。如果业务需要连接其他组件，请同时安装该组件并运行。 将storm-examples导入到IntelliJ IDEA开发环境，请参见导入并配置Storm样例工程。
StormTopology类型的对象，和getTopology()方法相同。 应用开发操作步骤 确认Storm组件已经安装，并正常运行。如果业务需要连接其他组件，请同时安装该组件并运行。 将storm-examples导入到IntelliJ IDEA开发环境，请参见导入并配置Storm样例工程。
“taskmanager.network.netty.client.connectTimeoutSec”：默认是120s，表示taskmanager的客户端连接超时的时间。 “taskmanager.network.netty.sendReceiveBufferSize”：默认是系统缓冲区大小(cat
所示： 应用程序（Application）是作为一个进程的集合运行在集群上的，由Driver进行协调。 在运行一个应用时，Driver会去连接集群管理器（Standalone、Mesos、YARN）申请运行Executor资源，并启动ExecutorBackend。然后由集群管理
StormTopology类型的对象，和getTopology()方法相同。 应用开发操作步骤 确认Storm组件已经安装，并正常运行。如果业务需要连接其他组件，请同时安装该组件并运行。 将storm-examples导入到Eclipse开发环境，请参见准备Storm应用开发环境。 参考s
集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 步骤二：安装集群客户端 MRS集群创建成功后，用户可安装集群客户端用于连接集群内各组件服务，进行作业提交等操作。 客户端可以安装在集群内的节点上，也可以安装在集群外的节点上。本指南以在Master1节点上安装客户端为例进行介绍。
数配置的是150，建议不超过200。 部署负载均衡组件，查询基于负载均衡组件进行，避免单点查询压力太大影响性能。 ClickHouse支持连接集群中的任意节点查询，如果查询集中到一台节点，可能会导致该节点的压力过大并且可靠性不高。建议使用ClickHouseBalancer或者其
配置存算分离集群（委托方式） 配置存算分离集群（AKSK方式） 外置元数据连接 MRS的支持组件使用外部数据源存储数据，如Hive的元数据使用外部的关系型数据库（RDS），可以通过数据连接来关联Hive组件实现。 管理数据连接 HDFS地址映射方式访问OBS 通过HDFS地址映射到OBS地
元数据存储在集群本地。 外置数据连接：使用外部数据源元数据，若集群异常或删除时将不影响元数据，适用于存储计算分离的场景。 在创建MRS集群时，支持对接LakeFormation实例，存储Hive、Spark等组件元数据，可参考配置LakeFormation数据连接。 在集群创建完成后，可
是否必选 参数类型 描述 map_id 否 Integer 参数解释： 数据连接关联ID值。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 connector_id 否 String 参数解释： 数据连接ID值。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 component_name
JobManager Web Interface: http://192.168.64.10:32261 Flink集群启动成功后，重新打开一个客户端连接窗口，进入Flink客户端目录运行程序。 source /opt/hadoopclient/bigdata_env cd /opt/had
zkCli.sh -server ip:port 其中ip可以为任意管理IP，port默认值是2181。 当看到如下输出信息时，表示已经成功连接上Zookeeper服务器。 WatchedEvent state:SyncConnected type:None path:null [zk:
ole”角色取得权限。 图4 添加用户 单击“确定”完成用户创建。 步骤三：安装集群客户端 MRS集群创建成功后，用户可安装集群客户端用于连接集群内各组件服务，进行作业提交等操作。 客户端可以安装在集群内的节点上，也可以安装在集群外的节点上。本指南以在Master1节点上安装客户端为例进行介绍。
x之前版本，安全集群默认没有开启外部SSL，用户如果需要启用外部SSL，进行配置后再次运行该脚本即可，配置参数在MRS的Flink默认配置中不存在，用户如果开启外部连接SSL，则需要添加表3中参数。 表3 参数描述 参数 描述 参数值示例 security.ssl.rest.enabled 打开外部SSL开关。
taArts Studio是数据全生命周期一站式开发运营平台，提供数据集成、数据开发、数据治理、数据服务、数据可视化等功能。MRS数据支持连接DataArts Studio平台，并基于可视化的图形开发界面、丰富的数据开发类型（脚本开发和作业开发）、全托管的作业调度和运维监控能力，
Clients：包含WebUI和JDBC接口，为用户访问提供接口。 操作流程 本实践以用户开发一个Hive数据分析应用为例，通过客户端连接Hive后，执行HQL语句访问OBS中的Hive数据。进行企业雇员信息的管理、查询。如果需要基于MRS服务提供的样例代码工程开发构建应用，您可以参考Hive应用开发简介。
关闭Ranger鉴权：spark.ranger.plugin.authorization.enable=false Spark2x中，spark-beeline（即连接到JDBCServer的应用）支持Ranger的IP过滤策略（即Ranger权限策略中的Policy Conditions），spark-
存储策略配置参考如下图所示： 保存并重启ClickHouse服务。 自定义冷热分离数据存储策略 使用clickhouse client客户端命令连接ClickHouseServer节点，具体请参考ClickHouse客户端使用实践。 创建配置冷热存储TTL策略的ReplicatedMergeTree表。
关闭Ranger鉴权：spark.ranger.plugin.authorization.enable=false Spark2x中，spark-beeline（即连接到JDBCServer的应用）支持Ranger的IP过滤策略（即Ranger权限策略中的Policy Conditions），spark-
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
