检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS 1.9.2.3补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即用户自行搭建的客户端)。如果集群之前安装了1.9.2.2补丁,不需要做此操作。
行号 该行日志在日志文件中所在的行数。 级别 该行日志的级别。 日志 日志的具体内容。 在检索过程中可单击“停止”强制停止当前检索进度,并在列表中显示已检索出的结果。 单击“过滤”,可以针对界面上已经显示的日志信息进行二次筛选,具体字段如表3所示。
历史任务数10000和JobHistoryServer内存的对应关系如下: -Xms30G -Xmx30G -XX:NewSize=1G -XX:MaxNewSize=2G 观察界面告警是否清除。 是,处理完毕。 否,执行6。 收集故障信息。
MRS 2.1.0.9补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。
MRS 2.1.0.10补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。
查看租户分配的文件对象数是否合理 在FusionInsight Manager首页,在“租户资源”页面选择上报告警的租户名称,单击“资源”,查看上报告警的租户目录所对应的文件目录数上限设置是否合理(根据该租户该目录实际业务情况而定)。 是,执行8。 否,执行6。
hcatalog参数 --hcatalog-database 指定Hive库,使用hcatalog方式导入Hive库 --hcatalog-table 指定Hive表,使用hcatalog方式导入Hive表 其他参数 -m或--num-mappers 后跟数字,表示sqoop任务的分片数
5 --executor-cores 设置executor核数。 2 --class 设置任务的主类名,由用户程序内的函数指定。
检查弹性伸缩是否关闭 登录华为云管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如果可以请关闭弹性伸缩,否则请另择时间进行补丁升级。 是,弹性伸缩关闭,检查结束。
lookup.jdbc.read.thread-size 3 否 每个Task中Lookup的JDBC线程数。 父主题: 创建FlinkServer作业
取值范围: 不涉及 默认取值: 不涉及 instances 是 Integer 参数解释: 扩容或缩容的节点数。 约束限制: 扩容时的最大节点数为(500 - 集群Core/Task节点数)。例如,当前集群Core节点数为3,此处扩容的节点数必须小于等于497。
配置健康检查报告保存数: 在不同时间、不同使用场景下,MRS集群、服务和主机产生的健康检查报告结果不完全相同。如果需要保存更多的报告用于比较时,可以在MRS Manager修改健康检查报告保存的文件数。健康检查报告保存的文件数不区分集群、服务或主机类型的健康检查报告。
表3 高级属性配置 参数 说明 一次请求行数 表示每次连接数据库时,最多可获取的数据量。 连接属性 不同类型数据库支持该数据库连接特有的驱动属性,例如MYSQL的“autoReconnect”。如果需要定义驱动属性,单击“添加”。
100 job.monitor.local.thread.pool 获取NodeManager的监控的大作业的信息的线程数。 50 max.job.count 事件中显示大作业的数量。
yarn.app.mapreduce.am.resource.mb” “yarn.app.mapreduce.am.command-opts”,该参数中-Xmx值建议为0.8*“yarn.app.mapreduce.am.resource.mb” 参考规格: ApplicationMaster配置如下时,可以同时支持并发Container数为
如果要使用多线程消费Kafka集群数据的话,请确保消费的主题分区数大于1。 需要将Kafka客户端配置文件“client.properties”和“log4j.properties”文件放置在程序运行的配置文件目录下。
检查RegionServer并发数。 在FusionInsight Manager的告警列表中,查看1中的告警实例是否有“RegionServer handler 使用率超过阈值”告警产生。 是,执行12。 否,执行14。
select a, b+c from table order by a limit 3 predicate 仅支持运算符左边为列名右边为值的简单filter,例如 select * from table where a>0 or b in (“aaa”, “bbb”) 支持复杂表达数下推
创建一个Topic: sh kafka-topics.sh --create --topic 主题名称 --partitions 主题占用的分区数 --replication-factor 主题的备份个数 --zookeeper ZooKeeper角色实例所在节点IP地址:clientPort
MRS 1.9.3.9及其后续补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即用户自行搭建的客户端)。如果集群之前安装了1.9.3.8补丁,不需要做此操作。