检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
licationAttempt的报告信息。 getApplicationAttempts(GetApplicationAttemptsRequest request) Client通过此接口从RM获取所有ApplicationAttempt的报告信息。 getApplicatio
完成操作。主备集群请选择安装相同版本的MRS软件版本并安装集群系统。 DistCp使用Mapreduce来影响数据的分布、异常处理及恢复和报告,此工具会把指定列表中包含的多个源文件和目录输入不同的Map任务,每个Map任务将复制列表中指定文件对应分区的数据。 使用DistCp在两
和权限。 手动配置HDFS目录存储策略,配置动态存储策略等操作。 Hive: 编辑、执行SQL/HQL语句;保存、复制、编辑SQL/HQL模板;解释SQL/HQL语句;保存SQL/HQL语句并进行查询。 数据库展示,数据表展示。 支持多种Hadoop存储。 通过Metastore对数据库及表和视图进行增删改查等操作。
修改MRS集群系统用户密码 修改或重置MRS集群admin用户密码 修改MRS集群节点操作系统用户密码 修改MRS集群Kerberos管理员用户密码 修改MRS集群Manager用户密码 修改MRS集群LDAP普通用户密码 修改MRS集群LDAP管理账户密码 修改MRS集群组件运行用户密码
建表时分区不要超过10万个,分区太多会影响元数据加载速度,阻塞查询 Impala元数据和分区、文件数量正相关,太多分区会导致Impala元数据占用内存过大,刷新元数据时需要扫描的分区文件就越多,极大地降低查询效率。 建表时整数类型的分区键不补前置0,例如'hour=01'等分区 整数类型分区使用补齐前缀0的方式,
设置规则生效的日期类型,包括: 工作日 周末 其它 工作日 添加日期 日期选择“其他”时该参数生效。可选择多个日期。 11/30 单击“确定”。界面右上角弹出提示“模板保存成功。”。 “发送告警”默认已勾选。Manager会检查监控指标数值是否满足阈值条件,若连续检查且不满足的次数等于“平滑次数”设置的值
数量配额的单位是个,最小值是-1(无限制),不能等于0。 注意: 设置的数量配额值,如果小于当前ZooKeeper目录的实际值,保存配置可成功,但是配置值不会生效,并且界面会上报告警。 clickhouse.zookeeper.quota.size Xmx最大内存数/4GB * 1G ClickHouse在ZooKeeper上的顶层目录的容量配额。
括专属计算资源+共享存储资源、共享计算资源+专属存储资源、专属计算资源+专属存储资源。 主机安全 MRS支持与公有云安全服务集成,支持漏洞扫描、安全防护、应用防火墙、堡垒机、网页防篡改等。针对操作系统和端口部分,华为云提供如下安全措施: 操作系统内核安全加固 操作系统权限控制 操作系统端口管理
MRS集群Manager简介 Manager概述 MRS为用户提供海量数据的管理及分析功能,快速从结构化和非结构化的海量数据中挖掘您所需要的价值数据。开源组件结构复杂,安装、配置、管理过程费时费力,使用Manager将为您提供企业级的集群的统一管理平台。 提供集群状态的监控功能,您能快速掌握服务及主机的运行状态。
Compaction很有意义。 异步Compaction会进行如下两个步骤: 调度Compaction:由入湖作业完成,在这一步,Hudi扫描分区并选出待进行compaction的FileSlice,最后CompactionPlan会写入Hudi的Timeline。 执行Comp
数量配额的单位是个,最小值是-1(无限制),不能等于0。 注意: 设置的数量配额值,如果小于当前ZooKeeper目录的实际值,保存配置可成功,但是配置值不会生效,并且界面会上报告警。 clickhouse.zookeeper.quota.size Xmx最大内存数/4GB * 1G ClickHouse在ZooKeeper上的顶层目录的容量配额。
Compaction很有意义。 异步Compaction会进行如下两个步骤: 调度Compaction:由入湖作业完成,在这一步,Hudi扫描分区并选出待进行compaction的FileSlice,最后CompactionPlan会写入Hudi的Timeline。 执行Comp
在FusionInsight Manager界面,选择“运维 > 告警 > 告警”,查看此告警的详细信息,记录定位信息中上报告警的“主机名”名称。 查看5上报告警的节点是否存在“慢盘故障”或“磁盘不可用”告警。 是,参考“ALM-12033 慢盘故障”或“ALM-12063 磁盘不可用”告警处理步骤进行处理。
在FusionInsight Manager界面,选择“运维 > 告警 > 告警”,查看此告警的详细信息,记录定位信息中上报告警的“主机名”名称。 查看5上报告警的节点是否存在“慢盘故障”或“磁盘不可用”告警。 是,参考“ALM-12033 慢盘故障”或“ALM-12063 磁盘不可用”告警处理步骤进行处理。
在FusionInsight Manager界面,选择“运维 > 告警 > 告警”,查看此告警的详细信息,记录定位信息中上报告警的“主机名”名称。 查看5上报告警的节点是否存在“慢盘故障”或“磁盘不可用”告警。 是,参考“ALM-12033 慢盘故障”或“ALM-12063 磁盘不可用”告警处理步骤进行处理。
”。 is_filtered:是否屏蔽告警。“true”表示屏蔽告警,不上报告警;“false”表示经过平滑次数后上报。 smoothing_times:平滑次数,告警产生次数小于等于此平滑次数时,不上报告警信息,取值为整型且大于0。 “is_filtered”参数优先级高于“smoothing_times”参数。
MRS集群健康检查 执行MRS集群健康检查 执行MRS集群节点健康检查 查看并导出健康检查报告 父主题: MRS集群运维
在FusionInsight Manager界面,选择“运维 > 告警 > 告警”,单击具体告警左侧的,可在定位信息中确认上报告警的具体角色和节点。如果需要确认上报告警的具体租户,则需要在具体上报告警的FE或BE节点中查看相应的监控图表信息确认。 父主题: 配置Doris多租户
当前只支持对从PgSQL抓取到Hudi的数据进行比对,如果“比较结果”为“不一致”,不一致的数据需小于或等于2000行才会生成报告地址;如果不一致的数据大于2000行,则不会生成报告地址,并且不支持修复数据。 参与比对的CDL任务kafka lag不为0时会导致比对结果不一致。 前提条件 准备Hive
在FusionInsight Manager界面,选择“运维 > 告警 > 告警”,查看此告警的详细信息,记录定位信息中上报告警的“主机名”名称。 查看5上报告警的节点是否存在“慢盘故障”或“磁盘不可用”告警。 是,参考“ALM-12033 慢盘故障”或“ALM-12063 磁盘不可用”告警处理步骤进行处理。