检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Doris支持多源数据 Doris多源数据能力概述 配置Doris对接Hive数据源 配置Doris对接Hudi数据源 配置Spark读写Doris数据 配置Flink读写Doris数据 通过JDBC Catalog对接MySQL/Doris数据源 父主题: Doris企业级能力增强
如何通过集群外的节点访问MRS集群? 创建集群外Linux操作系统ECS节点访问MRS集群 创建一个集群外ECS节点,具体请参考购买弹性云服务器。 ECS节点的“可用区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 在VPC管理控制台,申请一个弹性IP地址,并与ECS绑定。
CUBE生成的结果集显示了所选列中值的所有组合的聚合。 ROLLUP生成的结果集显示了所选列中值的某一层次结构的聚合。 Grouping:当用CUBE或ROLLUP运算符添加行时,附加的列输出值为1;当所添加的行不是由CUBE或ROLLUP产生时,附加列值为0。 例如,Hive中有一张表“table_test”,表结构如下所示:
CUBE生成的结果集显示了所选列中值的所有组合的聚合。 ROLLUP生成的结果集显示了所选列中值的某一层次结构的聚合。 Grouping:当用CUBE或ROLLUP运算符添加行时,附加的列输出值为1;当所添加的行不是由CUBE或ROLLUP产生时,附加列值为0。 例如,Hive中有一张表“table_test”,表结构如下所示:
使用Alluxio 配置底层存储系统 通过数据应用访问Alluxio Alluxio常用操作
Hive支持ZSTD压缩格式 ZSTD(全称为Zstandard)是一种开源的无损数据压缩算法,其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式,本特性使得Hive支持ZSTD压缩格式的表。Hive支持基于ZSTD压缩的存储格式有常见的ORC,RCFile,TextFi
用最新的非空值替换之前的值,支持所有数据类型。 first_value:第一个值函数检索数据集中的第一个空值,支持所有数据类型。 first_non_null_value:非空第一个值函数选择数据集中的第一个非空值,支持所有数据类型。 使用约束 由于Hudi OCC特性的限制,当前不建议多流并发写Hudi表。
MRS集群是否支持Hive on Spark? 问: MRS集群是否支持Hive on Spark? 答: MRS 1.9.x版本集群支持Hive on Spark。 MRS 3.x及之后版本的集群支持Hive on Spark。 其他版本可使用Hive on Tez替代。 父主题:
Hive查询数据是否支持导出? 问: MRS集群Hive组件的查询数据是否支持导出? 答: Hive查询数据支持导出,请参考如下语句进行导出: insert overwrite local directory "/tmp/out/" row format delimited fields
不同列场景下会出现数据相互覆盖的问题。 通过引入sequence组的概念,Hudi可以很好的解决该问题,实现真正的部分更新。 按建表时按需求,将表中的列切分成不同的sequence组。每一个sequence组包含的列是否更新,由该sequence组的precombine字段决定,不同sequence组相互不影响。
MRS是否支持更换网段? 问: MRS集群内节点是否支持更换网段? 答: MRS集群内节点支持更换网段。 在集群详情页“默认生效子网”右侧单击“切换子网”。 选择当前集群所在VPC下的其他子网,即可实现可用子网IP的扩充。 新增子网不会影响当前已有节点的IP地址和子网。 父主题:
FlinkSQL支持MultiJoin算子使用限制 MultiJoin算子只支持FULL OUTER JOIN和INNER JOIN语法。 MultiJoin算子只支持等值关联。如果有非等值过滤条件,可以使用view提前过滤。 MultiJoin算子多表关联时所有的表关联键要一致。
MRS集群是否支持对接外部KDC? 问: MRS集群是否支持对接外部KDC? 答: MRS服务只支持使用自带的内部KDC。 父主题: 周边生态对接类
ClickHouse支持原子性写入能力,支持事务能力。实现事务的原子性,在事务的某个操作失败后,支持回滚到事务执行之前的状态。 本章节主要介绍如何开启ClickHouse事务。 使用本地表场景进行数据写入性能更优,故推荐本地表的数据增、删、改、查场景的多副本分布式事务支持。 对于使用分
MRS集群上层应用开发是否支持Python? 问: MRS集群上层应用开发是否支持Python语言进行开发? 答: MRS服务中提供的样例工程和直接进行应用开发没有区别,两者都可以选择。 MRS服务支持Python代码,部分提供了Python样例代码的组件样例工程可参考开发指南文档相关章节。
FTP,开源只支持导出文本文件和sequence格式文件 导入(导出)文件时,支持对文件进行转换编码格式,支持的编码格式为jdk支持的所有格式 导入(导出)文件时,支持保持原来文件的目录结构和文件名不变 导入(导出)文件时,支持对文件进行合并,如输入文件为海量个文件,可以合并为n个文件(n值可配)
提交”,添加实例成功。 进入FusionInsight Manager主页,单击集群的名称后的,选择“重启配置过期的实例”,等待重启实例成功。 查看重启后的各实例状态,例如TimelineServer实例的主备显示和运行状态正常。 父主题: 使用Yarn
MRS是否支持Hive on Kudu? 问: MRS是否支持Hive on Kudu? 答: MRS不支持Hive on Kudu。 目前MRS只支持两种方式访问Kudu: 通过Impala表访问Kudu。 通过客户端应用程序访问操作Kudu表。 父主题: 组件配置类
MRS集群中Spark任务支持哪些Python版本? 问: MRS 3.1.0版本的集群,Spark任务支持哪些python版本? 答: MRS 3.1.0版本的集群,Spark任务建议使用python2.7或3.x版本。 父主题: 组件配置类
集群中必须已安装Guardian服务。 OBS表的授权只能针对用户组。 仅支持已启用Kerberos认证的集群的OBS级联授权。 操作场景 开启级联授权功能的集群极大地提升了鉴权易用性,用户只需在Ranger页面上对业务表进行一次授权,系统就会自动细粒度关联数据存储源的权限,不需要感知表的存储路径,无需进行二