检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表2 日志级别 级别 描述 FATAL FATAL表示当前事件处理出现严重错误信息,可能导致系统崩溃。 ERROR ERROR表示当前事件处理出现错误信息,系统运行出错。 WARN WARN表示当前事件处理存在异常信息,但认为是正常范围,不会导致系统出错。
操作步骤 登录MRS Manager,在MRS Manager界面选择“系统设置 > 角色管理 > 添加角色”。 填写角色的名称,例如flinkrole。
表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
在“Users”区域,选择系统中已创建的用户,然后单击“Add Users”。 在“Groups”区域,选择系统中已创建的用户组,然后单击“Add Group”。 在“Roles”区域,选择系统中已创建的Role,然后单击“Add Role”。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Worker1进程GC时间过长,会影响Worker1进程运行的性能,甚至造成Worker1进程不可用。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Worker2进程GC时间过长,会影响Worker2进程运行的性能,甚至造成Worker2进程不可用。
用户已经在账号的对象存储服务(OBS)中创建了并行文件系统。 在MRS Manager,单击“系统设置”。 单击“维护”下方的“日志导出”。 “服务”选择服务,“主机”填写服务所部署主机的IP,“开始时间”与“结束时间”选择对应的开始与结束时间。
表2 日志级别 级别 描述 FATAL FATAL表示系统运行的致命错误信息。 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示系统及各事件正常运行状态信息。 DEBUG DEBUG表示系统及系统调试信息。
登录FusionInsight Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。
示例 DROP INDEX if exists productNameIndexTable ON productdb.productSalesTable; 系统响应 二级索引表将被删除,索引信息将在CarbonData表中被清除,删除成功的消息将记录在系统日志中。
选择“系统设置 > 用户组管理 > 添加用户组”,为样例工程创建一个用户组,例如flinkgroup。选择“系统设置 > 用户管理 > 添加用户”,为样例工程创建一个用户。
说明: 系统会根据端口的设置取值,并验证其有效性;如果无效,端口+1,直到取到有效值为止(上限16次,重试次数可以通过配置spark.port.maxRetries改变)。
示例 DROP INDEX if exists productNameIndexTable ON productdb.productSalesTable; 系统响应 二级索引表将被删除,索引信息将在CarbonData表中被清除,删除成功的消息将记录在系统日志中。
本代码样例讲解顺序为: 文件系统初始化 写文件 读文件 开发思路 调用FileSystem中的create接口获取文件系统客户端 调用FileSystem中的crteateFile接口创建文件 调用FileOutStream中的wirte接口写文件 调用FileSystem中的openFile
计算资源 选择“Yarn”,系统将自动在Yarn中以租户名称创建任务队列。计算资源不选择“Yarn”时,系统不会自动创建任务队列。 配置模式 计算资源选择“Yarn”时,“配置模式”可选“基础”或“高级”。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 堆内存溢出可能导致服务崩溃,服务崩溃后无法使用Oozie服务调度任务。 可能原因 该节点Oozie实例堆内存使用率过大,或配置的堆内存不合理,导致使用率超过阈值。
自定义Hive表行分隔符 操作场景 通常情况下,Hive以文本文件存储的表会以回车作为其行分隔符,即在查询过程中,以回车符作为一行表数据的结束符。但某些数据文件并不是以回车分隔的规则文本格式,而是以某些特殊符号分隔其规则文本。 MRS Hive支持指定不同的字符或字符组合作为Hive
窗口函数 窗口函数跨查询结果的行执行计算。它们在HAVING子句之后但在ORDER BY子句之前运行。调用窗口函数需要使用OVER子句来指定窗口的特殊语法。窗口具有三个组成部分: 分区规范,它将输入行分为不同的分区。这类似于GROUP BY子句如何将行分为聚合函数的不同组。 排序规范
自定义Hive表行分隔符 操作场景 通常情况下,Hive以文本文件存储的表会以回车作为其行分隔符,即在查询过程中,以回车符作为一行表数据的结束符。但某些数据文件并不是以回车分隔的规则文本格式,而是以某些特殊符号分隔其规则文本。 MRS Hive支持指定不同的字符或字符组合作为Hive
配置HetuEngine物化视图缓存能力 对于一条SQL,创建了对应的物化视图后,执行这条SQL时,将被改写为通过物化视图查询。如果开启了物化视图的“重写缓存”功能,那么多次执行这条SQL后,改写后的SQL将会保存到缓存中(默认最多保存10000条),在缓存有效时间(默认24小时)