检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
服务韧性 跨AZ容灾部署能力 MRS服务管理面提供双集群跨AZ容灾能力,即在另一个可用区(跨AZ)部署一个同构的MRS灾备集群。 如果生产集群所处的地理位置发生自然灾害,或者集群内部出现了故障从而导致生产集群无法正常对外提供读写服务,那么灾备集群可以切换为生产集群,从而保障业务连续性。
版本支持公告 MRS集群版本生命周期
图解MapReduce服务
运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下: 服务端和客户端仅支持自带的OpenJDK,版本为1.8.0_272,不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。
WebUI页面的Region转移情况,等待转移任务结束后再进行后续操作。 配置RSGroup 创建RSGroup 在FusionInsight Manager界面,选择“集群 > 服务 > HBase > RSGroup管理”。 单击“添加RSGroup”按钮,在弹出的添加RSG
WebUI页面的region转移情况,等待转移任务结束后再进行后续操作。 配置RSGroup 创建RSGroup 在FusionInsight Manager界面,选择“集群 > 服务 > HBase > RSGroup管理”。 单击“添加RSGroup”按钮,在弹出的添加RSG
周边云服务对接 MRS对接LakeFormation云服务 使用MRS Spark SQL访问DWS表 使用MRS Hive表对接OBS文件系统 MRS Hive对接CSS服务配置说明
确保本端和远端集群的数据节点上分别部署至少一个HSFabric实例。 确保本端和远端集群的HSFabric实例所在节点的网络互通。 操作步骤: 开放本域数据源。通过创建Virtual Schema方式来对远端访问请求屏蔽本域的物理数据源的真实Schema信息、实例信息,远端使用Virtual Schema名称即可访问本域对应的数据源。
在Manager页面,选择“集群 > 服务 > HetuEngine > 实例”,获取HSBroker所有实例的业务IP;在“配置”页签,搜索“server.port”,获取HSBroker端口号。 user 访问HetuEngine的用户名,即在集群中创建的“机机”用户的用户名。 SSL
样例工程位置 描述 doris-examples/doris-example Doris数据读写操作的应用开发示例。 通过调用Doris接口可实现创建用户表、向表中插入数据、查询表数据、删除表等功能,相关业务场景介绍请参见Doris JDBC接口调用样例程序。 springboot/doris-examples
FlinkPipelineScalaExample FlinkRESTAPIJavaExample 调用FlinkServer的RestAPI创建租户的应用开发示例。 相关业务场景介绍请参见FlinkServer REST API样例程序。 FlinkStreamJavaExample
统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK Java/Scala开发和运行环境的基本配置。版本要求如下: 服务端和客户端仅支持自带的OpenJDK,版本为1.8.0_272,不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。
重启Hive服务失败 用户问题 修改Hive服务配置后,保存配置失败,Manager页面Hive服务的配置状态为配置失败。 问题现象 用户A在MRS节点后台上打开了Hive相关配置文件且未关闭,此时用户B在MRS Manager页面的“服务管理”中修改Hive配置项,保存配置并重
如何修改ClickHouse服务时区? 问题现象 用户插入数据到ClickHouse时发现时区不对,差了八小时。 原因分析 Clickhouse时区默认设置为Europe/Moscow,需要修改为当地时区。 解决步骤 登录FusionInsight Manager页面,选择“集群 > 服务 > ClickHouse
库性能。 使用分区替换或增加的方式写入数据 为避免目标表写入脏数据导致的删改,先将数据写入临时表,再从临时表写入目标表。 操作步骤如下: 创建一张与目标表table_dest结构、分区键、排序键、主键、存储策略、引擎都一致的临时表table_source。 先把数据写到临时表,一
new HashSet<String>(Arrays.asList(topicArr)); // 通过brokers和topics直接创建kafka stream // 接收Kafka中数据,生成相应DStream JavaDStream<String> lines
FlinkPipelineScalaExample FlinkRESTAPIJavaExample 调用FlinkServer的RestAPI创建租户的应用开发示例。 相关业务场景介绍请参见FlinkServer REST API样例程序。 FlinkStreamJavaExample
在Manager页面,选择“集群 > 服务 > HetuEngine > 实例”,获取HSBroker所有实例的业务IP;在“配置”页签,搜索“server.port”,获取HSBroker端口号。 user 访问HetuServer的用户名,即在集群中创建的“人机”用户的用户名。 SSL
影响范围 涉及版本 MRS 3.x 涉及模块 管理面:不涉及该漏洞 租户面:Manager(Web+Controller+nodeagent)、Kafka、Flink MRS 3.1.0.x执行以下章节: 修复Manager Web 修复Manager Controller 修复Manager
样例工程位置 描述 doris-examples/doris-example Doris数据读写操作的应用开发示例。 通过调用Doris接口可实现创建用户表、向表中插入数据、查询表数据、删除表等功能,相关业务场景介绍请参见Doris JDBC接口调用样例程序。 springboot/doris-examples