检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark on OBS性能调优 配置场景 Spark on OBS在小批量频繁请求OBS的场景下,可以通过关闭OBS监控提升性能。 配置描述 在Spark客户端的“core-site.xml”配置文件中修改配置。 表1 参数介绍 参数 描述 默认值 fs.obs.metrics
savepoint的rollback与commit rollback相同,都必须从最新的instant逐个向前rollback。 MRS 3.1.2版本:MoR表暂时不支持savepoint。 父主题: Hudi数据管理维护
读取Hudi mor表视图 mor表同步给Hive后,会在Hive表中同步出:“表名+后缀_rt”和“表名+后缀_ro”两张表。其中后缀为rt表代表实时视图,后缀为ro的表代表读优化视图。例如:同步给Hive的hudi表名为${table_name}, 同步Hive后hive表中
查看Kafka数据生产消费详情 操作场景 用户可以通过KafkaUI查看Topic详情、修改Topic Configs、增加Topic分区个数、删除Topic,并可实时查看不同时段的生产数据条数。 安全模式下,KafkaUI对查看Topic详情操作不作鉴权处理,即任何用户都可以查询Topic信息;对于修改Topic
创建IoTDB用户自定义函数(UDF) IoTDB UDF概述 运行IoTDB UDF样例程序 父主题: 使用IoTDB
调整HetuEngine动态过滤 HetuEngine提供了动态过滤的功能,在Join场景中开启动态过滤往往有较大的性能提升。本章节介绍如何开启动态过滤功能。 使用可访问HetuEngine WebUI界面的用户登录FusionInsight Manager,选择“集群 > 服务
Hudi CALL COMMAND语法说明 CHANGE_TABLE CLEAN_FILE SHOW_TIME_LINE SHOW_HOODIE_PROPERTIES SAVE_POINT ROLL_BACK CLUSTERING Cleaning Compaction SHOW_COMMIT_FILES
HBase集群容灾高可用 配置HBase主备集群容灾 HBase容灾集群主备倒换 HBase容灾集群业务切换指导 父主题: HBase运维管理
配置Yarn大作业扫描 Yarn大作业扫描功能主要用于监控Hive、HetuEngine、Spark等作业的本地临时文件(例如shuffle文件是否过大)、监控Hive、HetuEngine、Spark的关键HDFS目录(不支持OBS)是否过大。对于占用存储资源(本地磁盘或者关键HDFS目录)过大的作业上报事件。
ALTER TABLE 修改表结构时,针对聚合模型和非聚合模型的修改方式不同;针对Key列和Value列的修改方式也不同。其中: 建表时指定AGGREGATE KEY时,为聚合模型;其他场景为非聚合模型。 建表语句中的关键字'unique key'或'aggregate key'或'duplicate
在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 单击Kafka实例的名称,进入实例的“基本信息”页面。
PGXC_PREPARED_XACTS PGXC_PREPARED_XACTS视图显示当前处于prepared阶段的两阶段事务。 表1 PGXC_PREPARED_XACTS字段 名字 类型 描述 pgxc_prepared_xact text 查看当前处于prepared阶段的两阶段事务。
USER_JOBS USER_JOBS视图为当前用户所属定时任务的详细信息。需要有系统管理员权限才可以访问此系统视图。 表1 USER_JOBS字段 名字 类型 描述 job int4 作业ID。 log_user name not null 创建者的UserName。 priv_user
USER_OBJECTS USER_OBJECTS视图描述了当前用户拥有的数据库对象。 名称 类型 描述 owner name 对象的所有者。 object_name name 对象的名称。 object_id oid 对象的OID。 object_type name 对象的类型。
USER_PART_INDEXES USER_PART_INDEXES视图存储当前用户下分区表索引的信息。 名称 类型 描述 index_owner character varying(64) 分区表索引的所有者名称。 schema character varying(64) 分区表索引的模式。
USER_SEQUENCES USER_SEQUENCES视图存储关于本模式下的序列信息。 名称 类型 描述 sequence_owner character varying(64) 序列的所有者。 sequence_name character varying(64) 序列的名称。
USER_TAB_PARTITIONS USER_TAB_PARTITIONS视图存储当前用户下所有分区的信息。当前用户下每个分区表的每个分区在USER_TAB_PARTITIONS中都会有一条记录。 名称 类型 描述 table_owner character varying(64)
GS_TABLE_CHANGE_STAT GS_TABLE_CHANGE_STAT视图显示当前数据库中所有表格(不包括外表)在当前节点上的变更情况。表示次数的各字段为实例启动以来的累计值。 表1 GS_TABLE_CHANGE_STAT字段 名称 类型 描述 schemaname
GLOBAL_TABLE_CHANGE_STAT GLOBAL_TABLE_CHANGE_STAT视图显示当前数据库中所有表格(不包括外表)变更情况。表示次数的各字段为实例启动以来的累计值。 表1 GLOBAL_TABLE_CHANGE_STAT字段 名称 类型 描述 schemaname
PG_OBJECT PG_OBJECT系统表存储限定类型对象(object_type中存在的类型)的创建用户、创建时间、最后修改时间和最后analyze时间。 表1 PG_OBJECT字段 名称 类型 描述 object_oid oid 对象标识符。 object_type "char"