检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
mapreduce.TableIndexer -Dtablename.to.index=hbase_sample_table -Dindexspecs.to.add='IDX1=>info:[name->String]' -Dindexnames.to.build='IDX1' 然后用户
show_active_instant_detail(table => 'hudi_table1', instant => '20220913144936897'"); 系统响应 可在客户端中查看查询结果。 父主题: Hudi CALL COMMAND语法说明
column1 = 'xxx'); 示例5: delete from columncarbonTable1 where column2 >= 4; 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: DML
1); 注意事项 cleaning操作只有在满足触发条件后才会对分区的老版本数据文件进行清理,不满足触发条件虽然执行命令成功也不会执行清理。 系统响应 可在客户端中查看查询结果。 父主题: Hudi CALL COMMAND语法说明
该文件新增多少bytes的数据 total_errors 指定的instant在更新或者插入过程中的报错 file_size 该文件的大小(bytes) 系统响应 可在客户端中查看查询结果。 父主题: Hudi CALL COMMAND语法说明
WebUI】Hue WebUI页面无法访问 【Hue WebUI】访问Hue WebUI页面报错“Proxy Error” 【Hue WebUI】集群未安装Hive服务时Hue原生页面无法正常显示 【Hue WedUI】Hue(主)无法打开web网页 【Ranger WebUI】新用户修改完密码后无法登录Ranger
此采样方法将表划分为数据的逻辑段,并按此粒度对表进行采样。此采样方法要么从特定数据段中选择所有行,要么跳过它(基于采样百分比与运行时计算的随机值之间的比较)。系统采样中行的选择依赖于使用的connector。例如,如果使用Hive数据源,这将取决于数据在HDFS上的布局。这种采样方法不能保证独立的抽样概率。
tering的表 如果需要对指定分区进行clustering,参考格式:predicate => "dt = '2021-08-28'" 系统响应 可在客户端中查看查询结果。 父主题: Hudi CALL COMMAND语法说明
021-08-28/.*?log.*?', merge => false, limit => 1); 注意事项 仅MOR表会用到此命令。 系统响应 可在客户端中查看查询结果。 父主题: Hudi CALL COMMAND语法说明
mapreduce.TableIndexer -Dtablename.to.index=hbase_sample_table -Dindexspecs.to.add='IDX1=>info:[name->String]' -Dindexnames.to.build='IDX1' 然后用户
采用Hcatalog的方式,参数指定对应的Hive库和表,需要修改SQL语句指定到具体字段(需要修改脚本)。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 原来的脚本: sqoop import --connect 'jdbc:mysql://10
from productdb2.productSalesTable where c = 'aaa'; //可以发现该查询命令使用了索引表 系统响应 通过运行该命令,索引表会被注册到主表。 父主题: CarbonData语法参考
登录后指定loaction到OBS建表失败 Spark shuffle异常处理 Spark多服务场景下,普通用户无法登录Spark客户端 安装使用集群外客户端时,连接集群端口失败 Datasource Avro格式查询异常 通过Spark-sql创建Hudi表或者Hive表,未插入数据前,查询表统计信息为空
9998(ficommon),10003(kafka) 解决办法 MRS Manager界面操作: 登录MRS Manager。 选择“系统设置 > 用户管理”。 在操作用户对应的“操作”列,单击“修改”。 为用户加入kafkaadmin组。 图1 修改用户组 通过命令id查询用户组信息。
在场景示例中可查看本服务更详细的场景SDK使用方法。 图3 场景示例 SDK列表 表1提供了MRS服务支持的SDK列表,您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址 SDK中心地址 参考文档 Java huaweicloud-sdk-java-v3
表的多个分区,如果不指定就一次清除分区表的所有分区。当表属性“auto.purge”采用默认值“false”时,被删除的数据行将保存到文件系统的回收站,否则,当“auto.purge”设置为“true”时,数据行将被直接删除。 限制 目标表必须是管控表(表属性external=false),否则执行语句将报错。
table1 ALTER COLUMN a.b.c AFTER x a.b.c表示嵌套列全路径,嵌套列具体规则见ADD COLUMNS。 系统响应 通过运行DESCRIBE命令,可显示修改的列。 父主题: Hudi Schema演进及语法说明
ILES_BY_DAYS时,该参数可以设置保留多少天以内的归档文件,默认值30(天)。 注意事项 归档文件,没有备份,删除之后无法恢复。 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Hudi DML语法说明
名称配额(名称配额是对当前目录树中的文件和目录名称数量的硬性限制) space_quota 空间配额(空间配额是对当前目录树中的文件所使用的字节数量的硬性限制) 系统响应 可在客户端中查看查询结果。 父主题: Hudi CALL COMMAND语法说明
from productdb2.productSalesTable where c = 'aaa'; //可以发现该查询命令使用了索引表 系统响应 通过运行该命令,索引表会被注册到主表。 父主题: DDL