检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
230 表1 8.2.1.230新增功能/解决问题列表 类别 功能或问题描述 问题原因 问题出现版本 修复建议 新增功能 细粒度备份恢复支持在线DDL:支持在细粒度备份过程期间对表进行DDL操作。 - - - 细粒度表级恢复支持恢复至异构集群:细粒度表级恢复不再受目标集群必须与恢复集群的拓扑结构一致的约束。
死锁是不经常出现的,因此在检查死锁前只需等待一个相对较短的时间。增加这个值就减少了无用的死锁检查浪费的时间,但是会减慢真正的死锁错误报告的速度。在一个负载过重的服务器上,用户可能需要增大它。这个值的设置应该超过事务持续时间,这样就可以减少在锁释放之前就开始死锁检查的问题。 设置l
的函数名。 如果没有该函数,该类型不能参与到二进制输入中。二进制表达转换成内部形式代价更低,然而却更容易移植(例如,标准的整数数据类型使用网络字节序作为外部二进制表达,而内部表达是机器本地的字节序)。receive_function应该执行足够的检查以确保该值是有效的。 接收函数
CN只负责任务的规划及下发,把数据导入的工作交给了DN,释放了CN的资源,使其有能力处理外部请求。 通过让各个DN都参与数据导入,充分利用各个设备的计算能力及网络带宽。 支持导入过程中对数据做预处理。 支持在导入过程中,针对数据格式错误设置导入容错性,并可在导入结束后根据错误信息定位错误数据。 劣势:
该参数会降低集群间的网络带宽,但是会增加集群的CPU负载,用户可以根据实际情况选择是否开启该参数。 为了实现GDS互联互通外表迁移数据时,数据在网络层压缩传输,GDS外表必须支持该参数,用户不仅可以使用互联互通外表进行数据压缩迁移,也可以手动使用GDS外表实现数据在网络层压缩迁移,由于
该参数会降低集群间的网络带宽,但是会增加集群的CPU负载,用户可以根据实际情况选择是否开启该参数。 为了实现GDS互联互通外表迁移数据时,数据在网络层压缩传输,GDS外表必须支持该参数,用户不仅可以使用互联互通外表进行数据压缩迁移,也可以手动使用GDS外表实现数据在网络层压缩迁移,由于
的函数名。 如果没有该函数,该类型不能参与到二进制输入中。二进制表达转换成内部形式代价更低,然而却更容易移植(例如,标准的整数数据类型使用网络字节序作为外部二进制表达,而内部表达是机器本地的字节序)。receive_function应该执行足够的检查以确保该值是有效的。 接收函数
的函数名。 如果没有该函数,该类型不能参与到二进制输入中。二进制表达转换成内部形式代价更低,然而却更容易移植(例如,标准的整数数据类型使用网络字节序作为外部二进制表达,而内部表达是机器本地的字节序)。receive_function应该执行足够的检查以确保该值是有效的。 接收函数
外表的导出目录,不能用于多个外表,并且其他组件不能向此目录写入其他文件。 示例1 在HDFS通过HIVE导入TPC-H benchmark测试数据表part表及region表。part表的文件路径为/user/hive/warehouse/partition.db/part_4,
时间范围过滤的列,指定为分区列。 点查返回数据量超过10W/dn的场景,索引扫描的性能提升有限,建议针对这种情况使用guc参数enable_seqscan对比测试,灵活选择。 参数说明 IF NOT EXISTS 指定IF NOT EXISTS时,若不存在同名表,则可以成功创建表。若已存在同名表,创
_colupdate控制是否开启,默认关闭。 列存轻量化UPDATE在以下场景不能使用:更新索引列,更新主键列,更新分区列,更新PCK列和在线扩容,会自动转化为普通UPDATE方式。 列存轻量化UPDATE与后台列存AUTOVACUUM并发会小概率报错,可以通过ALTER TAB
node_net_stat 节点网络信息 ctime Timestamp 采集时间。 virtual_cluster_id Integer 集群虚拟ID。 host_id Integer 采集上报的节点ID。 interface String 网络接口。 rxpps Float 收包数/s。
S文件系统上,从而提高整体导出性能。 准备环境 已创建DWS集群,需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内,确保集群网络互通。 创建MRS分析集群 登录华为云控制台,选择“大数据 > MapReduce服务”,单击“购买集群”,选择“自定义购买”,填写软件配置参数,单击“下一步”。
ALL来代替UNION。 【建议】如果过滤条件只有OR表达式,可以将OR表达式转化为UNION ALL,以提升性能。使用OR的SQL语句经常无法优化,导致执行速度慢。例如, 1 2 SELECT * FROM scdc.pub_menu WHERE (cdp= 300 AND inline=301)
终进入数据仓库。 数据仓库主要用于支撑企业决策分析,所涉及的数据操作主要是数据查询。因此数据仓库通过表结构优化、存储方式优化等方式提高查询速度、降低开销。 表1 数据仓库与数据库的对比 维度 数据仓库 数据库 应用场景 OLAP OLTP 数据来源 多数据源 单数据源 数据标准化
ALL来代替UNION。 【建议】如果过滤条件只有OR表达式,可以将OR表达式转化为UNION ALL以提升性能。使用OR的SQL语句经常无法优化,导致执行速度慢。例如,将下面语句 1 2 SELECT * FROM scdc.pub_menu WHERE (cdp= 300 AND inline=301)
ALL来代替UNION。 【建议】如果过滤条件只有OR表达式,可以将OR表达式转化为UNION ALL以提升性能。使用OR的SQL语句经常无法优化,导致执行速度慢。例如,将下面语句 1 2 SELECT * FROM scdc.pub_menu WHERE (cdp= 300 AND inline=301)
常不会影响CN或者DN进程。 FENCED/NOT FENCED模式的选择: 正在开发或者调试的Function使用FENCED模式。开发测试完成,使用NOT FENCED模式执行,减少fork进程以及通信的开销。 复杂的操作系统操作,例:打开文件,信号处理,线程处理等操作,使用
消费的Binlog表名不要带有特殊字符,如.、""等。 如果多个任务消费同一张表的Binlog数据,需要保证每个任务的binlogSlotName唯一。 为了达到最高的消费速度,建议将任务的并发度和DWS集群DN数设置一致。 使用dws-connector-flink的Sink能力来写入Binlog数据的话,需要注意以下几点:
消费的Binlog表名不要带有特殊字符,如.、""等。 如果多个任务消费同一张表的Binlog数据,需要保证每个任务的binlogSlotName唯一。 为了达到最高的消费速度,建议将任务的并发度和DWS集群DN数设置一致。 使用dws-connector-flink的Sink能力来写入Binlog数据的话,需要注意以下几点: