检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
基于MRS-Flink数据存储进行数据存储、数据加工作业的设计、开发、测试和维护。 该设计开发规范是基于MRS 3.2.0及以后版本。 参数优化部分适配于MRS 3.2.0及以后版本。 该规范中与开源社区不一致的点，以本文档为准。 参考资料 Flink开源社区开发文档：https://nightlies
发布时间 2020-08-04 解决的问题 MRS Manager 优化补丁机制 解决executor内存溢出问题 解决executor作业状态不一致问题 优化executor日志打印 MRS大数据组件 增加Hbase region处在RIT状态的时长超过阈值的告警 解决presto日志回滚问题
送。 告警属性 告警ID 告警级别 是否自动清除 12045 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 网口名 产生告警的网口名。 Trigger Condition
次要 是 告警参数 类别 参数名称 参数含义 定位信息 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 占用服务器资源，ClickHouse服务的性能下降。 数据不一致。 可能原因 数据量过大，导
Spark Core 日志聚合下，如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中
误信息。 可能原因 多个HiveServer之间或者Hive与Spark之间共用的元数据未同步，导致不同HiveServer实例内存数据不一致，造成UDF不生效。 解决方案 需要将新建的UDF信息同步到HiveServer中，执行reload function操作即可。 父主题：
迁移数据时旧版本集群应为MRS1.5及其以前的版本，新版本集群应为MRS1.7及其以后的版本。 迁移数据前用户应该有旧的索引数据。 安全集群需配置跨集群互信和启用集群间拷贝功能，普通集群仅需启用集群间拷贝功能。详情请参见配置跨集群互信。 操作步骤 把旧集群中的用户数据迁移至新集群中。迁移数据需单表
Broker提供SASL安全认证端口，提供安全Kafka服务 sasl-ssl.port 21009 21009 Broker提供SASL安全认证和SSL通信的端口，提供安全认证及通信加密服务 Loader常用端口 表中涉及端口的协议类型均为：TCP。 配置参数 默认端口 端口说明 LOADER_HTTPS_PORT
Spark Core 日志聚合下如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中，
如何使用IBM JDK连接ZooKeeper 问题 使用IBM的JDK的情况下客户端连接ZooKeeper失败。 回答 可能原因为IBM的JDK和普通JDK的jaas.conf文件格式不一样。 在使用IBM JDK时，建议使用如下jaas.conf文件模板，其中“useKeytab”中
使用ZooKeeper客户端 ZooKeeper是一个开源的，高可靠的，分布式一致性协调服务。ZooKeeper设计目标是用来解决那些复杂，易出错的分布式系统难以保证数据一致性的。不必开发专门的协同应用，十分适合高可用服务保持数据一致性。 背景信息 在使用客户端前，除主管理节点以
status firewalld（不同的操作系统查询命令不一致，此命令以CentOS为例） 如下图所示：dead表示关闭。 防火墙开则影响通信，执行如下命令关闭防火墙： service firewalld stop（不同的操作系统查询命令不一致，此命令以CentOS为例） 可能原因三：端口
登录MRS控制台，在左侧导航栏选择“现有集群”，单击集群名称。 选择“组件管理 > 服务名称 > 服务配置”。 默认显示“基础配置”，如果需要修改更多参数，请选择“全部配置”，界面上将显示该服务的全部配置参数导航树，导航树从上到下的一级节点分别为服务名称和角色名称。展开一级节点后显示参数分类。（下图以HDFS组件为例）
DistCP作业导入导出数据常见问题 问：DistCP类型作业导入导出数据时，是否会对比数据的一致性？ 答：DistCP类型作业导入导出数据时不会对比数据的一致性，只是对数据进行复制，不会修改数据。 问：DistCP类型作业在导出时，遇到OBS里已经存在的文件是如何处理的？ 答：
nger，默认周期为300000毫秒（5分钟）。FusionInsight Manager中的角色和用户组在同步至Ranger后都变为用户组（Group）。只有被用户关联了的角色和用户组才会自动同步至Ranger。 Ranger界面中创建的Role为用户或用户组的集合，用于灵活设
使用Ranger鉴权场景，在参数“custom”中添加如下自定义参数： 参数名称 值 spark.dynamic.masked.enabled true spark.ranger.plugin.authorization.enable true 修改如下参数值： 参数名称 值 spark.ranger.plugin
配置”，在搜索框中分别搜索“fs.defaultFS”和“hbase.data.rootdir”参数查看。 告警属性 告警ID 告警级别 是否可自动清除 19025 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。
警消除。 告警属性 告警ID 告警级别 是否自动清除 19019 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。
选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 在集群详情页面选择“概览”，即可查看集群详情概览信息参数说明。 表1 MRS集群基本信息 参数 参数说明 集群名称 集群的名称，创建集群时设置。单击可对集群名称进行修改。 修改集群名称后仅MRS管理控制台界面显示的集群名称修改，MRS Manager中集群名称不会同步修改。
partitionpath.field，hoodie.datasource.write.recordkey.field产生主键和分区方式。 说明： 写入设置KeyGenerator与表保存的参数值不一致时将提示需要保持一致。 org.apache.hudi.keygen.ComplexKeyGenerator
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
