检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该选项的含义为告警检查阶段,“频率”为告警检查周期,“平滑次数”为告警连续检查多少次超过阈值,则发送告警。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行2。 对系统进行扩容。
因为单次函数调用就要处理掉一个partition所有的数据,如果内存不够,垃圾回收时是无法回收掉太多对象的,很可能出现OOM异常。所以使用这类操作时要慎重! 使用filter之后进行coalesce操作。
导入并配置Hive HCatalog样例工程 操作场景 为了运行MRS产品Hive组件的HCatalog接口样例代码,需要完成下面的操作。 本章节以在Windows环境下开发HCatalog方式连接Hive服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中
导入并配置Hive HCatalog样例工程 操作场景 为了运行MRS产品Hive组件的HCatalog接口样例代码,需要完成下面的操作。 以在Windows环境下开发HCatalog方式连接Hive服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中
b.tel_phone, b.email FROM employees_info a JOIN employees_contact b ON(a.id = b.id) WHERE usd_flag='D'; -- 查询入职时间为2014年的雇员编号、姓名等字段,
根据实际填写 write.precombine.field 必填 数据合并字段。 根据实际填写 write.tasks 选填 写Hudi表task并行度,默认值为4。
配置MRS集群告警事件消息通知 MRS联合消息通知服务(SMN),采用主题订阅模型,提供一对多的消息订阅以及通知功能,能够实现一站式集成多种推送通知方式(短信和邮件通知)。 在MRS管理控制台,按照集群维度,在集群信息页面的告警页签中能够提供选择是否使能通知服务,只有对应集群开关开启以后
单击“SQL运维”,可查看如下SQL诊断结果: 在“概览”页面,可查看历史任务的整体运行状况,包括:查询分段耗时分布图、查询用户分布图、SQL提交总数、SQL执行成功率、SQL平均响应时间、查询个数、平均执行耗时、平均等待耗时。
配置并导入Manager样例工程 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程文件夹“manager-examples”到本地。 在应用开发环境中,导入样例工程到IntelliJ IDEA开发环境。 打开IntelliJ IDEA,选择
计费项 MRS集群的计费项由MRS服务管理费用和IaaS基础设施资源费用(弹性云服务器、云硬盘)组成。 图1 MRS费用组成 具体内容如表1所示。 表1 MRS集群计费项 计费项 计费项说明 适用的计费模式 计费公式 MRS服务管理费用 计费因子:MRS服务管理,以核为单位计费,每个
Hue的WebUI支持以下功能: 使用编辑器执行Hive、SparkSql的查询语句以及Notebook代码段。需要MRS集群已安装Hive、Spark2x。 使用计划程序提交Workflow任务、计划任务、Bundle任务。
密码失效提前提醒天数 5 表示提醒密码失效到密码真正失效的天数,提前一段时间提醒密码即将失效。设置后,若集群时间和该用户密码失效时间的差小于该值,则说明用户进入密码失效提醒期。用户登录Manager时会提示用户密码即将过期,是否需要修改密码。
rangerobs/hadoop.<系统域名> 系统随机生成 Guardian访问ranger系统管理员用户。
仅对索引列首个字段进行过滤时(支持范围过滤),使用索引可提高查询性能。
二选一 ttl_policy_show命令: 参数 描述 是否必填 table String类型,表名或者库名.表名 否,table和path二选一 path String类型,表的绝对路径 否,table和path二选一 示例 场景: Hudi表是3级别分区,年/月/日,分区字段是
亿级别大表禁止使用select *查询数据,查询时需明确要查询的字段。 使用SQL Block方式禁止select *操作。 如果是高并发点查询,建议开启行存储(Doris 2.x版本支持),并且使用PreparedStatement查询。
端口连接数”监控图表,如果连接数较大;选择“实例 > FE > 图表”,在左侧图表分类中单击“CPU和内存”,查看“FE的CPU使用率”监控图表,如果CPU使用率较高;查看FE审计日志“/var/log/Bigdata/audit/doris/fe/fe.audit.log”的Time字段,
查看该告警的详细信息,查看定位信息中对应的“HostName”字段值,获取该告警产生的主机名。 使用PuTTY工具,以root用户登录告警所在节点。 执行cat /etc/resolv.conf命令,查看是否安装DNS客户端。
MRS集群类型介绍 MRS包含了多种大数据组件,用户可基于企业大数据场景的业务场景、数据类型、可靠性要求以及资源预算等要求合理选择集群类型。 用户可以基于系统预置的集群模板快速购买一个集群,也可自行选择组件列表及高级配置特性,自定义购买集群。 表1 MRS集群类型 集群类型 场景介绍
观察一段时间,检查告警是否清除或者告警无影响后,可在FusionInsight Manager页面,手动清除该告警。 是,操作结束。 否,执行7。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。