检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何让不同的业务程序分别用不同的Yarn队列？ 问： 如何让不同的业务程序分别用不同的Yarn队列？ 答： 在Manager页面上创建一个新的租户，然后将不同的集群业务用户绑定至不同的租户。 操作步骤 登录FusionInsight Manager，单击“租户资源”。 在左侧租户
据重复。需要注意的是，这个特性只能保证单分区上的幂等性，即一个幂等性Producer能够保证某个主题的一个分区内不出现重复消息；只能实现单会话上的幂等性，这里的会话指的是Producer进程的一次运行，即重启Producer进程后，幂等性不保证。 开启方法： 二次开发代码中添加 “props
据重复。需要注意的是，这个特性只能保证单分区上的幂等性，即一个幂等性Producer能够保证某个主题的一个分区内不出现重复消息；只能实现单会话上的幂等性，这里的会话指的是Producer进程的一次运行，即重启Producer进程后，幂等性不保证。 开启方法： 二次开发代码中添加“props
说明 默认值 影响分析 request.timeout.ms 指定发送消息请求的请求超时时间。单位：毫秒。 30000 请求超时时间，出现网络问题时，需调大此参数；配置过小，则容易出现Batch Expire异常。 表4 Consumer相关超时参数 配置名称 说明 默认值 影响分析
误，需手动配置为TaskManager所在网络子网（业务IP）。 NettyServerHandler 该Handler是NettySink与订阅者交互的通道，当NettySink接收到消息时，该Handler负责将消息发送出去。为保证数据传输的安全性，该通道通过SSL加密。另外设置一个Netty
务。 打通数据传输通道 当源集群与目标集群部署在同一区域的不同VPC时，请创建两个VPC之间的网络连接，打通网络层面的数据传输通道。请参见VPC对等连接。 当源集群与目标集群部署在同一VPC但属于不同安全组时，在VPC管理控制台，为每个安全组分别添加安全组规则。规则的“协议”为“
如何避免对历史数据进行minor compaction？ 问题 如何避免对历史数据进行minor compaction？ 回答 如果要先加载历史数据，后加载增量数据，则以下步骤可避免对历史数据进行minor compaction： 加载所有历史数据。 将major compact
如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢 问题 如何处理checkpoint设置RocksDBStateBackend方式，且当数据量大时，执行checkpoint会很慢的问题？ 原因分析 由于窗口使用自定义窗口，这时窗口
如何添加自定义代码的依赖包 问题 用户在开发Spark程序时，会添加样例程序外的自定义依赖包。针对自定义代码的依赖包，如何使用IDEA添加到工程中？ 回答 在IDEA主页面，选择“File > Project Structures...”进入“Project Structure”页面。
Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。 MRS 2.1.0.3补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。 主备Master节点的原始客户端全量更新，请参见更新客户端配置（2.x及之前版本）。
Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。 MRS 2.1.0.2补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。 主备Master节点的原始客户端全量更新，请参见更新客户端配置（2.x及之前版本）。
默认配置为true，表示只向其中的一个副本写入数据（副本间通过复制表来完成同步，能保证数据的一致性）。 如果配置为false（不建议配置），表示向该分片的所有副本中写入相同的数据（副本间数据一致性不强，无法保证完全同步）。 macros标签 当前实例节点所在的分片和副本编号，可以用于区别不同的副本。
Netty/NIO及Hash/Sort配置 Shuffle是大数据处理中最重要的一个性能点，网络是整个Shuffle过程的性能点。目前Spark支持两种Shuffle方式，一种是Hash，另外一种是Sort。网络也有两种方式，Netty和NIO。 表8 参数说明 参数 描述 默认值 spark
UTF-8”或“POSIX”，否则会造成证书功能异常。 若当前集群中有隔离的故障节点，则更换CA证书会跳过该节点。后续隔离节点取消隔离后，需要重装主机，以保证隔离节点和集群使用相同的CA证书。 该章节仅适用于MRS 3.x及之后版本。 对系统的影响 更换过程中MRS系统需要重启，此时系统无法访问且无法提供服务。
如何在CarbonData数据加载时修改默认的组名？ 问题 如何在CarbonData数据加载时修改默认的组名？ 回答 CarbonData数据加载时，默认的组名为“ficommon”。可以根据需要修改默认的组名。 编辑“carbon.properties”文件。 根据需要修改关键字“carbon
如何处理无法直接通过URL访问Flink Web 问题 无法通过“http://JobManager IP:JobManager的端口”访问Web页面。 回答 由于浏览器所在的计算机IP地址未加到Web访问白名单导致。用户可以通过修改客户端的配置文件“conf/flink-conf
执行以下命令连接ZooKeeper命令行界面。 zkCli.sh -server ZooKeeper所在节点的IP:2181 获取ZooKeeper的IP地址，具体请参考如何获取ZooKeeper地址？ 找到对应故障节点表数据对应的ZooKeeper路径。 ls zookeeper_path/replicas/replica_num
MRS集群版本说明 MRS集群版本类型 MRS集群版本类型分为普通版与LTS版本，不同版本集群所包含的组件内容及特性略有不同，用户可根据自身业务需求进行选择。 普通版 功能说明 普通版支持集群基础操作如配置、管理和运维等，具体可以查看用户指南。 组件介绍 除共有组件外，普通版集群
如何处理集群内部OBS证书过期 用户问题 用户在MRS集群中访问OBS服务过程中出现证书过期问题。 问题现象 MRS集群产生“ALM-12054 证书文件失效”或“ALM-12055 证书文件即将过期”告警，且告警详情中触发告警的证书为OBS证书。 图1 OBS证书即将过期告警 图2
Syslog协议未做加密，传输数据容易被窃取，存在安全风险。 前提条件 对接服务器对应的弹性云服务器需要和MRS集群的Master节点在相同的VPC，且Master节点可以访问对接服务器的IP地址和指定端口。 配置MRS集群对接Syslog服务器上报告警 登录Manager，进入SNMP配置界面。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
