检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HostName 产生告警的主机名。 对系统的影响 Coordinator进程GC时间过长,会影响Coordinator进程运行的性能,甚至造成Coordinator进程不可用。 可能原因 该节点Coordinator进程堆内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查GC时间。
Oozie样例程序开发思路 开发流程 工作流配置文件“workflow.xml”(“coordinator.xml”是对工作流进行调度,“bundle.xml”是对一组coordinator进行管理)与“job.properties”。 如果有实现代码,需要开发对应的jar包,例如Java
Oozie样例程序开发思路 开发流程 工作流配置文件“workflow.xml”(“coordinator.xml”是对工作流进行调度,“bundle.xml”是对一组Coordinator进行管理)与“job.properties”。 如果有实现代码,需要开发对应的jar包,例如Java
Oozie样例程序开发思路 开发流程 工作流配置文件“workflow.xml”(“coordinator.xml”是对工作流进行调度,“bundle.xml”是对一组Coordinator进行管理)与“job.properties”。 如果有实现代码,需要开发对应的jar包,例如Java
查看HetuEngine Coordinator和Worker日志 在HetuEngine的WebUI界面,可以通过单击LogUI链接跳转至Yarn WebUI界面查看Coordinator和Worker日志。 使用可访问HetuEngine WebUI界面的用户登录FusionInsight
拼接转换 概述 “拼接转换”算子,将已有字段的值通过连接符拼接,生成新的字段。 输入与输出 输入:需要拼接的字段 输出:拼接后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出字段名 配置拼接后的字段名。 string 是 无 分隔符 配置拼接符,可为空。
Oozie样例程序开发思路 开发流程 工作流配置文件“workflow.xml”(“coordinator.xml”是对工作流进行调度,“bundle.xml”是对一组coordinator进行管理)与“job.properties”。 如果有实现代码,需要开发对应的jar包,例如Java
collector.class=org.apache.hadoop.mapred.nativetask.NativeMapOutputCollectorDelegator命令开启Native Task特性,任务在部分操作系统运行失败,日志中提示错误“version 'GLIBCXX_3.4.20'
(Coordinator)”或“线程数 (Worker)”配置,单击default后的“修改”,将阈值调大(如:增大原数值的20%)。 查看本告警是否恢复。 是,操作结束。 否,执行6。 升级Coordinator规格或扩容Worker节点组。 若Coordinator线程数过多
collector.class=org.apache.hadoop.mapred.nativetask.NativeMapOutputCollectorDelegator命令开启Native Task特性,任务在部分操作系统运行失败,日志中提示错误“version 'GLIBCXX_3.4.20'
inux环境下(和安装了MRS集群的机器是同一个网络)却运行正常。 回答 由于Kerberos认证需要使用UDP协议,而防火墙做了特殊处理关掉了需要使用的UDP端口,导致应用程序在Windows环境下运行的机器与MRS集群的网络不是完全通畅的,需要重新设置防火墙,把需要使用的UD
inux环境下(和安装了MRS集群的机器是同一个网络)却运行正常。 回答 由于Kerberos认证需要使用UDP协议,而防火墙做了特殊处理关掉了需要使用的UDP端口,导致应用程序在Windows环境下运行的机器与MRS集群的网络不是完全通畅的,需要重新设置防火墙,把需要使用的UD
>Presto > resource-groups " 配置资源组。用户可通过"组件管理 > Presto > 服务配置(将“基础配置”切换为“全部配置”) > Coordinator > 自定义 > resourceGroupAlarm " 配置每个资源组的阈值。 告警属性 告警ID 告警级别
拼接转换 概述 “拼接转换”算子,将已有字段的值通过连接符拼接,生成新的字段。 输入与输出 输入:需要拼接的字段 输出:拼接后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出字段名 配置拼接后的字段名。 string 是 无 分隔符 配置拼接符,可为空。
JDBC样例代码,需要使用公网访问Presto。 问题分析 登录MRS Manager上查看Presto全部配置,Coordinator角色配置: PRESTO_COORDINATOR_FLOAT_IP = 内网IP地址 登录Coordinator角色所在主实例节点确认该地址为网卡:eth0:PRESTO。 Pre
长整型时间转换 概述 “长整型时间转换”算子,用于配置长整型数值与日期的转换。 输入与输出 输入:需要转换的字段 输出:转换后的新字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 转换类型 配置长整型时间转换类型: long to date:长整型数值转换为DATE类型。
HostName 产生告警的主机名。 对系统的影响 Coordinator进程GC时间过长,会影响Coordinator进程运行的性能,甚至造成Coordinator进程不可用。 可能原因 该节点Coordinator进程堆内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查GC时间。
转换函数 cast转换函数 HetuEngine会将数字和字符值隐式转换成正确的类型。HetuEngine不会把字符和数字类型相互转换。例如,一个查询期望得到一个varchar类型的值,HetuEngine不会自动将bigint类型的值转换为varchar类型。 如果有必要,可以将值显式转换为指定类型。
取模转换 概述 “取模转换”算子,对整数字段取模,生成新字段。 输入与输出 输入:整数字段 输出:模数字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 取模字段名 配置取模运算信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。 输出字段名:配置输出字段名。
涉及HBase或Hive导入导出时,必须填写。 转换算子 数据转换的中间转换步骤,属于可选类型,各个转换算子可任意搭配使用。转换算子是针对字段而言,必须先使用输入算子,将数据转换成字段。 输出算子 数据转换的最后一步,每次转换有且只能有一种输出算子,用于输出处理后的字段。涉及H