检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持流式DataFrames或Datasets的schema推断和分区。 流式DataFrames或Datasets上的操作:包括无类型,类似SQL的操作(比如select、where、groupBy),以及有类型的RDD操作(比如map、filter、flatMap)。 支持基于Event Time的聚合计算,支持对迟到数据的处理。
支持流式DataFrames或Datasets的schema推断和分区。 流式DataFrames或Datasets上的操作:包括无类型,类似SQL的操作(比如select、where、groupBy),以及有类型的RDD操作(比如map、filter、flatMap)。 支持基于Event Time的聚合计算,支持对迟到数据的处理。
支持流式DataFrames或Datasets的schema推断和分区。 流式DataFrames或Datasets上的操作:包括无类型,类似SQL的操作(比如select、where、groupBy),以及有类型的RDD操作(比如map、filter、flatMap)。 支持基于Event Time的聚合计算,支持对迟到数据的处理。
记录R有一些更新U。R包含字段F,该字段包含某类数据类型,也就是LONG。U具有相同的字段F,该字段的数据类型是INT。Parquet FS不支持这种不兼容的数据类型转换。 对于此类错误,请从源头数据采集的位置进行有效的数据类型转换。 父主题: 数据写入
支持流式DataFrames或Datasets的schema推断和分区。 流式DataFrames或Datasets上的操作:包括无类型,类似SQL的操作(比如select、where、groupBy),以及有类型的RDD操作(比如map、filter、flatMap)。 支持基于Event Time的聚合计算,支持对迟到数据的处理。
Hive JDBC接口遵循标准的JAVA JDBC驱动标准,详情请参见JDK1.7 API。 Hive作为数据仓库类型数据库,其并不能支持所有的JDBC标准API。 例如事务类型的操作:rollback、setAutoCommit等,执行该类操作会产生“Method not suppo
记录R有一些更新U。R包含字段F,该字段包含某类数据类型,也就是LONG。U具有相同的字段F,该字段的数据类型是INT。Parquet FS不支持这种不兼容的数据类型转换。 对于此类错误,请从源头数据采集的位置进行有效的数据类型转换。 父主题: Hudi常见问题
kafka-0-10_2.12-3.1.1-hw-ei-311001-SNAPSHOT.jar 版本号中包含hw-ei的依赖包请从华为开源镜像站下载。 版本号中不包含hw-ei的依赖包都来自开源仓库,请从Maven中心仓获取。 运行任务 在运行样例程序时需要指定<checkpointDir>
级租户。 父租户与子租户:用来表述租户间上下层级关系的称呼。 非叶子租户资源:创建租户时,选择的租户类型,该类型可以创建子租户。 叶子租户资源:创建租户时,选择的租户类型,该类型不可以创建子租户。 多租户平台: 租户是MRS大数据平台的核心概念,使传统的以用户为核心的大数据平台向
linkSQL对接Hudi。FlinkSQL读写Hudi时,不支持定义TINYINT、SMALLINT和TIME类型。 Flink对Hudi表的COW表、MOR表类型读写支持详情见表1。 表1 Flink对Hudi表的读写支持 Flink SQL COW表 MOR表 批量写 支持
用户自建大数据集群面临成本高、周期长、运维难和不灵活等问题。针对这些问题,MRS支持一键式创建、删除、扩容和缩容集群的能力,用户可以自定义集群的类型,组件范围,各类型的节点数、虚拟机规格、可用区、VPC网络、认证信息,MRS将为用户自动创建一个符合配置的集群,全程无需用户参与。同时支持用户快速创
--hive-delims-replacement 用自定义的字符替换数据中的\r\n等字符 --hive-drop-import-delims 在导入数据到Hive时,去掉\r\n等字符 --map-column-hive 生成Hive表时可以更改字段的数据类型 --hive-partition-key
2-LTS.2.9修复问题列表: MRS Manager 解决重装主机后hetu的worker启动不到该主机上的问题 解决混搭集群,arm镜像证书与X86镜像证书不互信,导致作业提交到该arm节点上运行失败问题 解决获取ECS的临时ak/sk失败告警帮助文档缺失问题 大数据组件 解决Hive
查询WebHCat支持的返回类型列表。 URL http://www.myserver.com/templeton/:version 参数 参数 描述 :version WebHCat版本号(当前必须是v1)。 返回结果 参数 描述 responseTypes WebHCat支持的返回类型列表。 例子
表中的列名称。列名称包含字母,数字和下划线(_)。 changed_column_type 所要更改为的新数据类型。 注意事项 仅在没有数据丢失的情况下支持将Decimal数据类型从较低精度更改为较高精度 例如: 无效场景:将Decimal数据精度从(10,2)更改为(10,5)无效,
添加Hudi数据源 HetuEngine支持查询COW/MOR类型表数据。本章节指导用户在HSConsole界面配置Hudi类型数据源。 HetuEngine不支持Hudi的bootstrap表的读取。 添加Hudi数据源前提条件 创建Hudi数据源的代理用户,该代理用户为人机用户且需拥有hive组。
HetuEngine样例表数据准备 创建具有TINYINT类型数据的表: --创建具有TINYINT类型数据的表。 CREATE TABLE int_type_t1 (IT_COL1 TINYINT) ; --插入TINYINT类型数据 insert into int_type_t1
--hive-delims-replacement 用自定义的字符替换数据中的\r\n等字符 --hive-drop-import-delims 在导入数据到hive时,去掉\r\n等字符 --map-column-hive 生成hive表时可以更改字段的数据类型 --hive-partition-key
表1 创建数据连接信息 参数名称 参数描述 示例 数据连接类型 选择数据连接的类型,包含HDFS、Kafka、Redis。 选择Redis数据连接类型时,需提前准备“分布式缓存服务 Redis版”实例,并确保其“实例类型”为“Cluster集群”、“访问方式”为“免密访问”、同时
表中的列名称。列名称包含字母,数字和下划线(_)。 changed_column_type 所要更改为的新数据类型。 注意事项 仅在没有数据丢失的情况下支持将Decimal数据类型从较低精度更改为较高精度 例如: 无效场景:将Decimal数据精度从(10,2)更改为(10,5)无效,