正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置输入字段列数,大于原始数据实际包含的字段列数,全部数据成为脏数据。 数据类型转换失败,当前行成为脏数据。 Hive输出 如果指定了一个或多个列为分区列,则在“到”页面上,会显示“分割程序”属性,该属性表示使用多少个处理器去对分区数据进行处理。 如果没有指定任何列为分区列,则表示不需要对输入数据进行分区处理,“分割程序”属性默认隐藏。
7976931348623157E308。 TimeStamp 默认格式为“yyyy-MM-dd HH:mm:ss”。 所有Integer类型度量均以BigInt类型进行处理与显示。 父主题: 使用CarbonData(MRS 3.x之前版本)
创建CarbonData表 操作场景 使用CarbonData前需先创建表,才可从表中加载数据和查询数据。 使用自定义列创建表 可通过指定各列及其数据类型来创建表。启用Kerberos认证的分析集群创建CarbonData表时,如果用户需要在默认数据库“default”以外的数据
删除CarbonData表 操作场景 用户根据业务使用情况,可以删除不再使用的CarbonData表。删除表后,其所有的元数据以及表中已加载的数据都会被删除。 操作步骤 运行如下命令删除表。 DROP TABLE [IF EXISTS] [db_name.]table_name;
文件需上传到执行命令的HiveServer并修改权限。建议使用客户端执行命令,可查看客户端连接的HiveServer。例如,Hive客户端显示“0: jdbc:hive2://10.172.0.43:21066/>”,表示当前连接的HiveServer节点IP地址为“10.172
储策略,如果不满足,则进行数据迁移,使目标目录或文件满足设定的存储策略。 本章节适用于MRS 3.x及后续版本。 配置描述 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 dfs.mover.auto.enable
HBase集群容灾高可用 配置HBase主备集群容灾 HBase容灾集群主备倒换 HBase容灾集群业务切换指导 父主题: HBase运维管理
Hudi Schema演进并发说明 建表时需要指定hoodie.cleaner.policy.failed.writes = 'LAZY',否则并发提交时会触发rollback。 DDL并发 表1 支持的DDL并发操作 DDL操作 add rename change type change
Hudi Cleaning操作说明 Cleaning用于清理不再需要的版本数据。 Hudi使用Cleaner后台作业,不断清除不需要的旧得版本的数据。通过配置hoodie.cleaner.policy和hoodie.cleaner.commits.retained可以使用不同的清理策略和保存的commit数量。
Kafka业务规格说明 本章节内容适用于MRS 3.x及后续版本。 支持的Topic上限 支持Topic的个数,受限于进程整体打开的文件句柄数(现场环境一般主要是数据文件和索引文件占用比较多)。 可通过ulimit -n命令查看进程最多打开的文件句柄数; 执行lsof -p <Kafka
compaction&cleaning配置 参数 描述 默认值 hoodie.clean.automatic 是否执行自动clean。 true hoodie.cleaner.policy 要使用的清理策略。Hudi将删除旧版本的parquet文件以回收空间。 任何引用此版本文件
HBase集群容灾高可用 配置HBase主备集群容灾 HBase容灾集群主备倒换 HBase容灾集群业务切换指导 父主题: HBase运维管理
解锁MRS集群用户 解锁MRS集群LDAP用户 解锁MRS集群LDAP管理账户 父主题: 管理MRS集群用户
MRS集群是否支持重装系统? 问: MRS集群是否支持重装系统? 答: MRS集群不支持重装系统。 父主题: 节点管理类
Hive Driver是否支持对接dbcp2? 问:Hive Driver是否支持对接dbcp2? 答:Hive driver不支持对接dbcp2数据库连接池。dbcp2数据库连接池调用isValid方法检查连接是否可用,而Hive对于这个方法的实现就是直接报错。 父主题: 周边生态对接类
MRS集群是否支持对接外部KDC? 问:MRS集群是否支持对接外部KDC? 答:MRS服务只支持使用自带的内部KDC。 父主题: 周边生态对接类
Spark2x开发指南(普通模式) Spark应用开发简介 Spark应用开发流程介绍 准备Spark应用开发环境 开发Spark应用 调测Spark应用 Spark应用开发常见问题
YARN接口介绍 YARN Command介绍 YARN Java API接口介绍 YARN REST API接口介绍 Superior Scheduler REST API接口介绍 父主题: YARN开发指南(普通模式)
Storm开发指南(普通模式) Storm应用开发概述 准备Storm应用开发环境 开发Storm应用 调测Strom应用 Storm应用开发常见问题
YARN开发指南(普通模式) YARN应用开发简介 YARN接口介绍