检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
datasource.write.hive_style_partitioning' = 'true', --使用hive支持的分区格式。 'read.streaming.enabled' = 'true',
print("------------------read_write_kafka----------------") read_write_kafka() 表1 使用Python提交普通作业参数说明 参数 说明 示例 bootstrap.servers Kafka的Broker实例业务IP和端口。 192
TezUI 否 Yarn ResourceManager 是 NodeManager Zookeeper Quorumpeer 是 安装滚动补丁 登录MRS管理控制台。 选择“现有集群”，选中一集群并单击集群名，进入集群基本信息页面。 进入“补丁管理”页面，在操作列表中单击“安装”。 进
{replicationNum} topic中每个partition数据的副本数。 {Topic} topic名称。 示例：在Kafka的客户端路径下执行命令，此处以ZooKeeper集群的IP:port是10.96.101.32:2181,10.96.101.251:2181,10
写包错误率”，查看该告警阈值是否合理（默认0.5%为合理值，用户可以根据自己的实际需求调节）。 是，执行4。 否，执行2。 根据实际服务的使用情况在“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络写信息 > 写包错误率”，单击“操作”列的“修改”更改告警阈值。
parseInt(tokens[2])); return person; } }); //使用filter函数筛选出女性网民上网时间数据信息 JavaRDD<Tuple3<String,String,Integer>>
NodeManager进程的垃圾回收时间过长，可能影响该NodeManager进程正常提供服务。 可能原因 该NodeManager节点实例堆内存使用率过大，或配置的堆内存不合理，导致进程GC频繁。 处理步骤 检查GC时间。 在FusionInsight Manager首页，选择“运维 >
号4种类型字符。 至少8位，最多64位。 出于安全考虑，建议用户定期更换自定义密码（例如三个月更换一次），并重新生成各项证书和信任列表。 使用omm用户在Flume实例产生告警的节点，重复执行5~6，等待1小时，观察此告警是否被清除。 是，执行8。 否，执行9。 查看系统在定时检查时是否会再次产生此告警。
History2x进程不可用，进程不可用时仅会造成无法查询Spark任务历史执行记录。 可能原因 该节点JobHistory2x进程堆内存使用率过大，或配置的堆内存不合理，导致进程Full GC频繁。 处理步骤 检查Full GC次数 在FusionInsight Manager首页，选择“运维
OpenTSDB样例工程。 前提条件 MRS服务集群开启了Kerberos认证，没有开启Kerberos认证的集群忽略该步骤。 操作步骤 登录MRS Manager，在MRS Manager界面选择“系统设置 > 角色管理 > 添加角色”，如图 1 添加角色所示。 图1 添加角色
开发用户用于运行样例工程。用户需要有组件权限，才能运行样例工程。 前提条件 MRS服务集群开启了Kerberos认证，没有开启Kerberos认证的集群忽略该步骤。 操作步骤 登录MRS Manager，在MRS Manager界面选择“系统设置 > 角色管理 > 添加角色”。 填写角色的名称，例如mrrole。 编
Flink 升级到1.12.2版本。 FlinkServer支持上传、管理UDF。 Guardian 新增组件，支持存算分离场景下集群外客户端委托功能。 Hadoop 普通集群访问HDFS Web UI需要进行CAS认证。 Hudi 升级到0.9.0版本。 Impala 支持在MRS
将Java样例工程导入到IDEA中。 打开IntelliJ IDEA。在“Quick Start”页面选择“Import Project”。 或者，针对已使用过的IDEA工具，您可以从IDEA主界面直接添加。选择“File > Import project...”导入工程。 图12 Import
MRS集群节点配置 配置节点磁盘类型时，根据磁盘使用的存储资源是否独享，磁盘划分为“云硬盘”、“专属分布式存储”。 云硬盘：提供规格丰富、安全可靠、可弹性扩展的硬盘资源，满足不同性能要求的业务场景。 如果未申请独享的存储池，请选择“云硬盘”，创建的磁盘使用公共存储资源。 专属分布式存储：为用
号4种类型字符。 至少8位，最多64位。 出于安全考虑，建议用户定期更换自定义密码（例如三个月更换一次），并重新生成各项证书和信任列表。 使用omm用户在Flume实例产生告警的节点，重复执行5~6，等待1小时，观察此告警是否被清除。 是，执行8。 否，执行9。 查看系统在定时检查时是否会再次产生此告警。
数中“-Xmx”和“-Xms”值保持一致。 建议根据“Kafka直接内存资源状况”调整“KAFKA_HEAP_OPTS”的值为“Kafka使用的直接内存大小”的两倍（可根据实际业务场景进行修改）。“Kafka直接内存资源状况”可在FusionInsight Manager首页，选择“集群
IndexServer2x进程不可用，开启索引服务的Carbon业务执行变慢或失败。 可能原因 该节点IndexServer2x进程堆内存使用率过大，或配置的堆内存不合理，导致进程GC频繁。 处理步骤 检查GC时间 在FusionInsight Manager首页，选择“运维 >
IndexServer2x进程不可用，开启索引服务的Carbon业务执行变慢或失败。 可能原因 该节点IndexServer2x进程堆内存使用率过大，或配置的堆内存不合理，导致进程Full GC频繁。 处理步骤 检查Full GC次数 在FusionInsight Manager首页，选择“运维
动重启服务不断服。 MRS 1.9.0.5补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。 主备Master节点的原始客户端全量更新，请参见更新客户端配置（2.x及之前版本）。 自行搭建的客户端全量安装方法，请参见安装客户端（2
History2x进程不可用，进程不可用时仅会造成无法查询Spark任务历史执行记录。 可能原因 该节点JobHistory2x进程堆内存使用率过大，或配置的堆内存不合理，导致进程GC频繁。 处理步骤 检查GC时间 在FusionInsight Manager首页，选择“运维 >
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
