检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
输出字段名:配置输出字段名。 系数:指定取模的数值。 map 是 无 数据处理规则 生成新字段,值为取模后的值。 字段的值须为整数,否则当前行会成为脏数据。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“取模转换”算子,生成两个新字段C和D: 转换后,依次输出A、B、C和D,结果如下:
转换函数 cast转换函数 HetuEngine会将数字和字符值隐式转换成正确的类型。HetuEngine不会把字符和数字类型相互转换。例如,一个查询期望得到一个varchar类型的值,HetuEngine不会自动将bigint类型的值转换为varchar类型。 如果有必要,可以将值显式转换为指定类型。
在概览页签下的“基本信息”区域,单击“HSConsole WebUI”后的链接,进入HSConsole界面。 单击“计算实例”,选择对应租户名下待操作的计算实例。单击“LogUI”列的“Coordinator”或“Worker”,将在Yarn WebUI展示Coordinator和Worker日志。
修改MRS集群Manager路由表对系统的影响 禁用Manager创建的路由信息后,在设置新的路由信息之前,FusionInsight Manager页面无法登录,集群运行不受影响。 修改MRS集群Manager路由表前提条件 已获取待创建路由的相关信息。 禁用系统创建的路由信息步骤 以om
coordinator进程正常启动且状态正常,但查看后台日志coordinator进程未真正启动,只有如下日志: Presto的coordinator未真正启动即被终止了,不再打印其他日志,查看Presto的其他日志也未发现原因。 原因分析 Presto的健康检查脚本的端口检查逻辑中未做好端口的区分。
Coordinator运行的节点范围 默认情况下,Coordinator和Worker节点会随机启动在Yarn的NodeManager节点上,若需要开放端口,需要开放所有NodeManager节点的端口。HetuEngine利用Yarn的资源标签提供了限制Coordinator在指定
Storm”,在“概览”的“Storm WebUI”,单击任意一个UI链接,打开Storm的WebUI。 选择要查看的拓扑。 选择要查看的spout或者bolt。 选择要查看的节点日志文件,再选择JStack或者Heap按钮,其中JStack对应的是堆栈信息,Heap对应的是堆信息: 方式二:通过修改自定义参数查看进程堆栈
coordinator.xml 功能描述 周期性执行workflow类型任务的流程定义文件。 参数解释 “coordinator.xml”中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 frequency 流程定时执行的时间间隔 start 定时流程任务启动时间
coordinator.xml 功能描述 周期性执行workflow类型任务的流程定义文件。 参数解释 “coordinator.xml”中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 frequency 流程定时执行的时间间隔 start 定时流程任务启动时间
配置Spark Native引擎 本章节仅适用于MRS 3.3.0及之后版本。 配置场景 Spark Native引擎是通过使用向量化的C++加速库,实现对Spark算子性能加速的一种技术方案。传统的SparkSQL是基于行式数据,通过JVM的codegen来实现查询加速的,由于JVM
| [GroupCoordinator 2]: Preparing to restabilize group DemoConsumer with old generation 118 | kafka.coordinator.GroupCoordinator (Logging.scala:68)
mapred.nativetask.NativeMapOutputCollectorDelegator命令开启Native Task特性,任务在部分操作系统运行失败,日志中提示错误“version 'GLIBCXX_3.4.20' not found”。该问题原因是操作系统的GLIBC
mapred.nativetask.NativeMapOutputCollectorDelegator命令开启Native Task特性,任务在部分操作系统运行失败,日志中提示错误“version 'GLIBCXX_3.4.20' not found”。该问题原因是操作系统的GLIBC
Presto Coordinator线程数超过阈值 本章节仅适用于MRS 3.1.5及之后版本。 告警解释 系统会检查Presto Coordinator和Worker实例的线程使用情况,默认阈值为1024个。如果Presto Coordinator或Worker的线程数超过阈值,则发出告警。
配置Coordinator定时调度作业 功能描述 周期性执行Workflow类型任务的流程定义文件。 参数解释 “coordinator.xml”中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 frequency 流程定时执行的时间间隔 start 定时流程任务启动时间
配置Coordinator定时调度作业 功能描述 周期性执行Workflow类型任务的流程定义文件。 参数解释 “coordinator.xml”中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 frequency 流程定时执行的时间间隔 start 定时流程任务启动时间
产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Coordinator进程GC时间过长,会影响Coordinator进程运行的性能,甚
产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 Coordinator进程GC时间过长,会影响Coordinator进程运行的性能,甚至造成Coordinator进程不可用。 可能原因 该节点Coordinator进程堆内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。
产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 Coordinator进程GC时间过长,会影响Coordinator进程运行的性能,甚至造成Coordinator进程不可用。 可能原因 该节点Coordinator进
> Coordinator > 自定义 > resourceGroupAlarm”修改每个资源组的阈值。 收集故障信息。 根据故障信息中的HostName登录到集群节点,在presto客户端根据附加信息中的Reource Group查询排队数。 根据故障信息中的HostName登