检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Hue提交Oozie HDFS作业 操作场景 该任务指导用户通过Hue界面提交HDFS类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“Fs”按钮,将其拖到操作区中。 在弹出的“Fs”窗口中单击“添加”。 单击“CREATE
ClickHouse容量规划设计 为了能够更好的发挥ClickHouse分布式查询能力,在集群规划阶段需要合理设计集群数据分布存储。 当前ClickHouse能力为单机磁盘容量达到80%后会上报告警信息,磁盘容量达90%后集群会处于只读状态。 出现磁盘告警信息后需要考虑是否是容量
FlinkSQL DWS表开发规则 提前在DWS中创建表 若开发FlinkSQL DWS表作业,需要在DWS中创建数据表。 由于Flink作业在DWS中找不到对应表会报错,所以需要提前在DWS中创建好用于接收数据的空表。 父主题: FlinkSQL Connector开发规范
FlinkSQL DWS表开发建议 FlinkSQL DWS表开发建议 开发FlinkSQL DWS作业,DWS可以作为源表、结果表和维表。 开发FlinkSQL DWS表请参考Flink SQL概述。 父主题: FlinkSQL Connector开发规范
FlinkSQL JDBC表开发规则 提前在对应数据库中创建表 JDBC作为sink表时,需要提前在对应数据库(如MySQL)中创建好用于接收数据的空表。 JDBC作为维表时,需要提前在对应数据库(如MySQL)中创建好维度表。 父主题: FlinkSQL Connector开发规范
FlinkSQL JDBC表开发建议 Flink SQL与JDBC数据类型对应关系 参考表1开发Flink SQL作业。 表1 Flink SQL与JDBC数据类型对应关系 Flink SQL数据类型 MySQL数据类型 Oracle数据类型 PostgreSQL数据类型 SQL
安装补丁前准备 安装补丁前需要手动进行以下相关检查。 检查所有节点管理平面网络是否互通 登录FusionInsight Manager界面,选择“运维 > 告警 > 告警”。 查看当前集群是否存在“ALM-12089 节点间网络互通异常”或“节点故障”等告警。 是,节点间网络不互通,请联系运维人员修复。
回滚补丁 回滚补丁前检查 回滚补丁 回滚补丁后操作 父主题: MRS 3.2.0-LTS.1.10补丁说明
回滚补丁 回滚补丁前检查 回滚补丁 回滚补丁后操作 父主题: MRS 3.3.0-LTS.1.1补丁说明
录会被误隔离。 ClickHouse TTL到期的过期数据未清理。 ClickHouse内存越界导致服务重启。 ClickHouse数据磁盘存在误隔离。 ClickHouse服务健康检查机制优化。 ClickHouse多实例负载不均衡。 未开启Kerberos认证的集群,“/tm
击“更多”,选择“重启服务”。 在FusionInsight Manager界面,选择“集群 > 服务 > 待操作的服务名称”,单击右上角的“更多”,选择“重启服务”。 升级路径不一样重启的服务不一样,详情见如下表格。 表1 重启组件 集群当前补丁版本 目标补丁版本 重启的组件 MRS
ALM-14000 HDFS服务不可用 ALM-14010 NameService服务异常 ALM-14012 Journalnode数据不同步 ALM-16004 Hive服务不可用 ALM-18000 Yarn服务不可用 ALM-19000 HBase服务不可用 ALM-20002
增加常量字段 概述 “增加常量字段”算子,用于直接生成常量字段。 输入与输出 输入:无 输出:常量字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 配置字段 配置常量字段相关信息: 输出字段名:配置字段名。 类型:配置字段类型。 时间格式:字段类型为“DAT
剪切字符串 概述 “剪切字符串”算子,截取已有字段的值,生成新的字段。 输入与输出 输入:需要截取的字段 输出:截取后生成的新字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 被截取的字段 配置被截取字段相关信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。
CarbonData常见问题 为什么对decimal数据类型进行带过滤条件的查询时会出现异常输出? 如何避免对历史数据进行minor compaction? 如何在CarbonData数据加载时修改默认的组名? 为什么INSERT INTO CARBON TABLE失败? 为什么含转义字符的输入数据记录到Bad
配置Flink任务进程参数 操作场景 Flink on YARN模式下,有JobManager和TaskManager两种进程。在任务调度和运行的过程中,JobManager和TaskManager承担了很大的责任。 因而JobManager和TaskManager的参数配置对F
Hue常见问题 使用Hive输入use database语句失效 使用Hue WebUI访问HDFS文件失败 在Hue页面上传大文件失败 Hue WebUI中Oozie编辑器的时区设置问题 访问Hue原生页面时间长,文件浏览器报错Read timed out 父主题: 使用Hue(MRS
当集群数据量达到一定规模后,JVM的默认配置将无法满足集群的业务需求,轻则集群变慢,重则集群服务不可用。所以需要根据实际的业务情况进行合理的JVM参数配置,提高集群性能。 操作步骤 参数入口: HBase角色相关的JVM参数需要配置在安装有HBase服务的节点的“${BIGDATA_HOME}/FusionIns
JobHistory Server和JDBCServer的JVM参数如表3所示。在服务端配置文件“ENV_VARS”中进行配置。JobHistory Server和JDBCServer的日志级别在服务端配置文件“log4j.properties”中设置。 表3 进程的JVM参数2 参数
管理Loader连接(MRS 3.x之前版本) 操作场景 Loader页面支持创建、查看、编辑和删除连接。 本章节适用于MRS 3.x之前版本。 前提条件 已访问Loader页面,参见Loader页面介绍。 创建连接 在Loader页面,单击“管理连接”。 单击“新建连接”,配置连接参数。