检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
读取Phoenix表数据 功能简介 使用Phoenix实现读数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testSelect方法中。 /** * Select Data */
Spark client CLI介绍 Spark CLI详细的使用方法参考官方网站的描述:http://archive.apache.org/dist/spark/docs/3.3.1/quick-start.html。 常用CLI Spark常用的CLI如下所示: spark-shell
读取Phoenix表数据 功能简介 使用Phoenix实现读数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testSelect方法中。 /** * Select Data */
MRS 3.1.5版本说明 发布日期 MRS 3.1.5 2023年3月28日 更新内容 服务模块 主要变更点 CarbonData 升级到2.2.0版本。 ClickHouse 支持通过FusionInsight Manager备份恢复元数据及业务数据。 Flink 升级到1.12
使用Hudi Hudi表概述 使用Spark Shell创建Hudi表 使用Hudi-Cli.sh操作Hudi表 Hudi写操作 Hudi读操作 数据管理维护 Hudi SQL语法参考 Hudi Schema演进 配置Hudi数据列默认值 Hudi常见配置参数 Hudi性能调优 Hudi故障处理
Iceberg常用SQL语法 创建表 删除表 修改表 插入表数据 父主题: 使用Iceberg
insertRecord(); insertTablet(); insertTablets(); insertRecords(); nonQuery(); query(); queryWithTimeout(); rawDataQuery();
CDL故障排除 停止CDL任务时报“403”错误 CDL任务运行一段时间后发生“104”或“143”报错 从ogg同步数据到Hudi时,ogg Source配置的Task值与任务实际运行的Task数量不一致 CDL同步任务名对应的Topic分区过多 执行CDL同步数据到Hudi任务报错当前用户无权限创建表
比较函数和运算符 比较操作 操作 描述 < 小于 > 大于 <= 小于等于 >= 大于等于 = 等于 <> 不等于 != 不等于 范围比较:between between适用于值在一个特定的范围内,如:value BETWEEN min AND max Not between适用于值不在某个特定范围内。
API V2 集群管理接口 作业管理接口 弹性伸缩接口 集群HDFS文件接口 SQL接口 委托管理 数据连接管理 版本元数据查询 IAM同步管理接口 标签管理接口
流式写入Hudi表 HoodieDeltaStreamer流式写入 Hudi自带HoodieDeltaStreamer工具支持流式写入,也可以使用SparkStreaming以微批的方式写入。HoodieDeltaStreamer提供以下功能: 支持Kafka,DFS多种数据源接入
Hive SQL扩展语法说明 Hive SQL支持Hive-3.1.0版本中的所有特性,详情请参见https://cwiki.apache.org/confluence/display/hive/languagemanual。 MRS系统提供的扩展Hive语句如表1所示。 表1 扩展Hive语句
Hive表的HDFS数据目录被误删,但是元数据仍然存在,导致执行任务报错 问题 Hive表HDFS数据目录被误删,但是元数据仍然存在,导致执行任务报错。 回答 这是一种误操作的异常情况,需要手动删除对应表的元数据后重试。 例如: 执行以下命令进入控制台: source ${BIG
Hive表的HDFS目录被误删,但是元数据仍然存在,导致执行任务报错 问题 Hive表HDFS数据目录被误删,但是元数据仍然存在,导致执行任务报错。 回答 这是一种误操作的异常情况,需要手动删除对应表的元数据后重试。 例如: 执行以下命令进入控制台: source ${BIGDA
Hive支持ZSTD压缩格式 ZSTD(全称为Zstandard)是一种开源的无损数据压缩算法,其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式,本特性使得Hive支持ZSTD压缩格式的表。Hive支持基于ZSTD压缩的存储格式有常见的ORC,RCFile,TextFi
读取Phoenix表数据 功能简介 使用Phoenix实现读数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testSelect方法中。 /** * Select Data */
INSERT...SELECT操作调优 操作场景 在以下几种情况下,执行INSERT...SELECT操作可以进行一定的调优操作。 查询的数据是大量的小文件。 查询的数据是较多的大文件。 在beeline/thriftserver模式下使用非spark用户操作。 操作步骤 可对INSERT
12:16:25 Operation=CloseSession Result=SUCCESS Detail= | org.apache.hive.service.cli.thrift.ThriftCLIService.logAuditEvent(ThriftCLIService.java:434)
12:16:25 Operation=CloseSession Result=SUCCESS Detail= | org.apache.hive.service.cli.thrift.ThriftCLIService.logAuditEvent(ThriftCLIService.java:434)
表中所有二级索引表的表名+列名的累积长度*(单位:字符) 3800** * Hive允许的上限值或可用资源的上限值。 ** 二级索引表使用hive注册,并以json格式的值存储在HiveSERDEPROPERTIES中。由hive支持的SERDEPROPERTIES的最大字符数为4000个字符,无法更改。