检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HBase日志文件过大导致OS盘空间不足 用户问题 OS盘/var/log分区空间不足。 问题现象 “/var/log/Bigdata/hbase/*/hbase-omm-*.out”日志文件过大,造成OS盘/var/log分区空间不足。 原因分析 在HBase长时间运行场景下,操作系统会把JVM创建的“/tmp/
DynamoDB的number在Hive表中用什么类型比较好? 问: DynamoDB的number在Hive表中用什么类型比较好? 答: Hive支持smallint,推荐使用smallint类型。 父主题: 组件配置类
HBase同步数据到CSS为什么没有映射字段? 问: HBase同步数据到CSS为什么没有映射字段? 答: 从MRS的HBase同步数据到CSS服务后,整库没有映射字段,要单表才有映射的字段。 父主题: 周边生态对接类
如何取消MRS集群风险告警的消息通知? 登录MRS服务控制台。 单击集群名称进入集群详情页面。 选择“告警管理 > 消息订阅规则”。 在待修改的规则所在行的“操作”列单击“编辑”,在“订阅规则”中取消对应风险告警。 单击“确定”完成修改。 父主题: 集群管理类
HBase表如何设置和修改数据保留期? 创建表时指定 创建t_task_log表,列族f, TTL设置86400秒过期 create 't_task_log',{NAME => 'f', TTL=>'86400'} 在已有表的基础上指定: alter "t_task_log",NAME=>'data'
MRS节点访问OBS报错408如何处理? 问: MRS节点访问OBS报错408,怎么办? 答: MRS节点访问OBS报错408时,用户需要更换OBS域名。 修改OBS域名为myhuaweicloud.com后缀的域名即可。 父主题: 作业管理类
如何调整MRS集群manager-executor进程内存? 问题现象 MRS服务在集群的Master1和Master2节点上部署了manager-executor进程,该进程主要用于将管控面对集群的操作进行封装,比如作业的提交、心跳上报、部分告警信息上报、集群创扩缩等操作。当客
DistCP作业导入导出数据常见问题 问:DistCP类型作业导入导出数据时,是否会对比数据的一致性? 答:DistCP类型作业导入导出数据时不会对比数据的一致性,只是对数据进行复制,不会修改数据。 问:DistCP类型作业在导出时,遇到OBS里已经存在的文件是如何处理的? 答:
管理CDL ENV变量 操作场景 如果需要将数据抓取至Hudi或者从Hudi抓取数据时,请执行该章节操作创建Hudi环境变量并进行管理。 前提条件 开启Kerberos认证的集群需已参考CDL用户权限管理创建具有CDL管理操作权限的用户。 操作步骤 使用具有CDL管理操作权限的用
Hudi Schema演进及语法说明 ADD COLUMNS ALTER COLUMN DROP COLUMN RENAME SET RENAME COLUMN 父主题: Hudi Schema演进
规划IoTDB容量 IoTDB自身有多副本机制,region(schema region和data region)默认是3副本。ConfigNode上保存region和IoTDBServer的映射关系,IoTDBServer保存region数据,直接使用操作系统自身的文件系统来管理元数据和数据文件。
Loader算子说明 转换流程 Loader读取源端数据,通过输入算子将数据按规则逐一转换成字段,再通过转换算子,对这些字段做清洗或转换,最后通过输出算子将处理后的字段,输出到目标端。 每个作业,如果进行数据转换操作,有且只能有一个输入算子,有且只能有一个输出算子。 不符合转换规则的数据,将成为脏数据跳过。
配置Flink任务进程参数 操作场景 Flink on YARN模式下,有JobManager和TaskManager两种进程。在任务调度和运行的过程中,JobManager和TaskManager承担了很大的责任。 因而JobManager和TaskManager的参数配置对F
Loader常用参数 参数入口 参数入口,请参考修改集群服务配置参数。 参数说明 表1 Loader常用参数 配置参数 说明 默认值 范围 mapreduce.client.submit.file.replication MapReduce任务在运行时依赖的相关job文件在HDF
HetuEngine辅助命令语法 USE SET SESSION RESET SESSION DESCRIBE DESCRIBE FORMATTED COLUMNS DESCRIBE DATABASE| SCHEMA DESCRIBE INPUT DESCRIBE OUTPUT EXPLAIN
回滚补丁 回滚补丁前检查 回滚补丁 卸载补丁后操作 父主题: MRS 3.1.0 运维通道补丁说明
回滚补丁 回滚补丁前检查 回滚补丁 回滚补丁后操作 父主题: MRS 3.1.0.0.16补丁说明
完整迁移Storm业务 操作场景 该任务指导用户通过Storm业务完整迁移的方式转换并运行完整的由Storm API开发的Storm拓扑。 操作步骤 打开Storm业务工程,修改工程的pom文件,增加“flink-storm” 、“flink-core”和“flink-streaming-java_2
如果您需要修改日志级别,请执行如下操作: 请参考修改集群服务配置参数,进入Flume的“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 保存配置,在弹出窗口中单击“确定”使配置生效。 配置完成后即生效,不需要重启服务。 日志格式 Flume的日志格式如下所示:
固定宽度文件输入 概述 “固定宽度文件输入”算子,将文件的每一行,按可配置长度的字符或字节,转换成多个输入字段。 输入与输出 输入:文本文件。 输出:多个字段。 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 换行符 用户根据数据实际情况,填写字符串作为换行符。