正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用CDM服务迁移Hadoop数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云Hadoop集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能
HiveServer进程停止日志 /hiveserver/localtasklog/omm_<日期>_<任务ID>.log Hive本地任务的运行日志 /hiveserver/localtasklog/omm_<日期>_<任务ID>-gc.log.<编号> Hive本地任务的GC日志 /metastore/metastore
快速使用Flume采集节点日志 Flume支持将采集的日志信息导入到Kafka。 使用Flume前提条件 已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。 已配置网络,使日志生成节点与流集群互通。 使用Flume客户端步骤 普通集群不需要执行2-6。
自动续费可以减少手动续费的管理成本,避免因忘记手动续费而导致MRS集群被自动删除。自动续费的规则如下所述: 以MRS集群的到期日计算第一次自动续费日期和计费周期。 MRS集群自动续费周期根据您开通自动续费的途径不同,遵循不同的规则。 在MRS集群到期前均可开通自动续费,到期前7日凌晨3:
dt STRING, `hour` STRING ) PARTITIONED BY (dt, `hour`) WITH ( --根据日期进行文件分区 'connector'='filesystem', 'path'='hdfs:///sql/parquet', 'format'='parquet'
CSV文件输入 概述 “CSV文件输入”算子,用于导入所有能用文本编辑器打开的文件。 输入与输出 输入:文本文件 输出:多个字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 分隔符 CSV文件的列分隔符,用于分隔每行的数据。 string 是 , 换行符 用
将过期。 如果参数值为“never”,则代表永不过期;如果为日期值,则查看是否在15天内过期。 是,执行1.d。 否,执行2。 执行以下命令修改过期设置。 设置ommdba用户过期的期限: chage -E '指定日期' ommdba 设置ommdba密码的有效天数: chage
使用,见最后示例。 true date.day 顺延的天数,匹配导入文件的文件名中的日期。例如命令参数传入的日期是20160202,顺延天数是3,则匹配作业配置的输入路径中包含20160205日期字段的文件。详细使用见schedule-tool工具使用示例。 3 file.date
使用,见最后示例。 true date.day 顺延的天数,匹配导入文件的文件名中的日期。例如命令参数传入的日期是20160202,顺延天数是3,则匹配作业配置的输入路径中包含20160205日期字段的文件。详细使用见schedule-tool工具使用示例。 3 file.date
CSV文件输入 概述 “CSV文件输入”算子,用于导入所有能用文本编辑器打开的文件。 输入与输出 输入:文本文件。 输出:多个字段。 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 分隔符 CSV文件的列分隔符,用于分隔每行的数据。 string 是 , 换行符
统一包年/包月资源的到期日 如果您持有多个到期日不同的MRS集群,或者您的MRS集群和其上挂载的云硬盘到期日不同,可以将到期日统一设置到一个日期,便于日常管理和续费。 图1展示了用户将两个不同时间到期的资源,同时续费一个月,并设置“统一到期日”后的效果对比。 图1 统一到期日 更多
配置“生效日期”、“时间范围”和“节点数量范围”。 例如此处“生效日期”设置为周一、周二和周六,“时间范围”设置为“07:00-13:00”,“节点数量范围”设置为“5~8”。 单击“配置指定时间段的节点数量范围”或者“添加资源计划”按钮配置多条资源计划。 生效日期默认是每日生
MRS 3.1.2-LTS.3版本说明 发布日期 MRS 3.1.2-LTS.3 2022年5月1日 更新内容 首个商用LTS版本上线。 组件版本信息 表1 MRS组件版本信息 组件 版本 CarbonData 2.2.0 ClickHouse 21.3.4.25 DBService
值小于设置的阈值时系统将产生告警。 最大值 最小值 日期 设置规则生效的日期,即哪一天运行规则。 开启“分级告警开关”后,仅支持“每天”。 每天 每周 其他 添加日期 仅在“日期”模式为“其他”时可见,设置规则运行的自定义日期,支持多选。 09-30 阈值设置 设置规则运行的具体时间范围。
MRS 3.2.0-LTS.1版本说明 发布日期 MRS 3.2.0-LTS.1 2023年4月28日 更新内容 服务模块 主要变更点 ClickHouse 升级到22.3.2.2版本。 ClickHouse支持多租户,通过CPU优先级和内存限额分配资源。 Flink 升级到1.15
out外的所有内容 /fe/fe.warn.log “fe.log”的子集,仅记录级别为WARN和ERROR的日志 /fe/fe-omm-<日期>-<PID>-gc.log.<编号> FE进程的GC日志 /fe/preStart.log FE启动前的工作日志 /fe/check_fe_status
功能总览 功能总览 全部 MapReduce服务 集群管理 文件管理 作业管理 运维管理 运营管理 用户权限管理 存算分离 Alluxio组件 CarbonData组件 CDL组件 ClickHouse组件 DBService组件 Doris组件 Flink组件 Flume组件 HBase组件
MRS 3.1.5版本说明 发布日期 MRS 3.1.5 2023年3月28日 更新内容 服务模块 主要变更点 CarbonData 升级到2.2.0版本。 ClickHouse 支持通过FusionInsight Manager备份恢复元数据及业务数据。 Flink 升级到1.12
Json函数和运算符 Cast to JSON SELECT CAST(9223372036854775807 AS JSON); -- JSON '9223372036854775807' Cast from JSON SELECT CAST(JSON '[1,23,456]'
CHAR(5)); _col0 ------- true (1 row) 时间和日期类型 时间和日期类型目前精确到毫秒。 表3 时间和日期类型 名称 描述 存储空间 DATE 日期和时间。仅支持ISO 8601格式:'2020-01-01' 32位 TIME 不带时区的时间(时、分、秒、毫秒)