检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
步骤四:并发执行迁移作业:创建一个job,用于并发执行多个transformation任务,达到并发迁移多张表的目的。 步骤五:优化迁移作业:通过调整Kettle内存大小和Job的任务数量,提高迁移效率。 迁移前准备 已经购买了GaussDB(DWS)集群,并已绑定弹性公网IP,并已规划创建好目标数据库dws_vd。
value too long for type nvarchar2(6) CONTEXT: referenced column: b 调整插入数据长度后向表t3插入数据成功。 1 2 3 4 5 6 7 INSERT INTO t3 values('产品','产品名abc');
value too long for type nvarchar2(6) CONTEXT: referenced column: b 调整插入数据长度后向表t3插入数据成功。 1 2 3 4 5 6 7 INSERT INTO t3 values('产品','产品名abc');
1及以上集群版本新增GUC参数resource_track_subsql_duration(默认值为180秒),可以通过执行时间过滤需要归档的子语句,用户可以按需调整该值大小。 由于规格限制,对于未下盘的主语句,TopSQL历史表中的记录会有延时,等待下次作业下发时才会显示在TopSQL历史表中。 qu
encoding 'UTF-8' dbcompatibility 'mysql' template template0; 创建CDM集群 登录华为云控制台。 选择“迁移 > 云数据迁移 CDM”进入CDM管理控制台。 单击“购买云数据迁移服务”,按以下参数填写。 表2 CDM集群参数
供您参考。 准备环境 已创建3.0 DWS集群,需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内,确保集群网络互通。 已获取华为云账户的AK和SK。 约束与限制 目前仅支持对接EXTERNAL SCHEMA对应的Hive端数据库的表进行SELECT、INSERT和INSERT
Access权限 创建IAM用户凭证 配置JDBC连接使用IAM认证方式连接集群 授予IAM用户DWS Database Access权限 登录华为云管理控制台,单击“服务列表 > 管理与监管 > 统一身份认证服务”,打开IAM管理控制台。 修改您的IAM用户所属的用户组,给用户组设置策略,授予用户组DWS
NodeTypeElasticVolumeSpecs 参数 参数类型 描述 type String 云盘存储类型。 step String 云盘容量调整步长。 min_size Integer 云盘支持的最小容量。 max_size Integer 云盘支持的最大容量。 请求示例 GET
准备环境 已创建DWS集群,需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内,确保集群网络互通。 创建MRS分析集群 登录华为云控制台,选择“大数据 > MapReduce服务”,单击“购买集群”,选择“自定义购买”,填写软件配置参数,单击“下一步”。 表1 软件配置
TRUNCATE 参数说明 CONSTRAINT 可选项,指定此参数将创建约束触发器,即触发器作为约束来使用。除了可以使用SET CONSTRAINTS调整触发器触发的时间之外,这与常规触发器相同。 约束触发器必须是AFTER ROW触发器。 trigger_name 触发器名称,该名称不能限
异常项包括:执行计划不下推、CPU超过10万秒、Not in子查询、时长超过1小时、内存使用超过10GB、下盘超50G、Streaming数量超50。 针对不同集群可调整各类异常项的阈值,请联系技术支持人员设置。异常诊断规则基于GaussDB(DWS)集群历史TopSQL字段灵活配置。 历史查询详情:可以浏
数据仓库的多维度查询分析的能力。 GaussDB(DWS) 已预先将样例数据上传到OBS桶的“retail-data”文件夹中,并给所有华为云用户赋予了该OBS桶的只读访问权限。 操作流程 本实践预计时长60分钟,基本流程如下: 准备工作 步骤一:导入零售业百货公司样例数据 步骤二:经营状况分析
-Xms120m 有关详情,请参见Java文档。 不适用 -Xms40m -Xmx Data Studio消耗的最大堆空间。可根据可用的RAM空间调整该值。在值的末尾加上字母k或K可表示千字节,加上m或M表示可表示兆字节,g或G可表示千兆字节。例如: -Xmx1200m -Xmx1000m
默认命名规则为:集群名称.dws.myhuaweicloud.com。 说明: 如果集群名称不符合域名规范,默认的访问域名前缀会相应做一些调整。 不支持负载均衡能力。 单击“修改”可以修改内网访问域名。访问域名由字母、数字、中划线组成,以大小写字母开头,长度为4~63个字符。 更
xc_node_id desc; 其中xc_node_id对应DN,一般来说,不同DN的数据量相差5%以上即可视为倾斜,如果相差10%以上就必须要调整分布列。 一般不建议用户新增一列专门用作分布列,尤其不建议用户新增一列,然后用SEQUENCE的值来填充作为分布列。因为SEQUENCE可能会带来性能瓶颈和不必要的维护成本。
常不能达到性能提升的效果,甚至可能引起性能劣化。 SMP相关参数配置建议 如果要打开SMP自适应功能,要设置query_dop=0,需同步调整以下相关参数值,以获取更佳的dop选择: comm_usable_memory 当系统内存较大时,max_process_memory设置
无 binlogSyncPointSize 增量读取binlog同步点区间的大小(增量读取binlog时,如果数据量过大可能涉及下盘,可通过调整该参数控制)。 该参数仅9.1.0.200及以上版本支持。 Integer 5000 数据同步示例 GaussDB(DWS)侧: 新建bi
LIMIT 10 OFFSET 0; 通过ANALYZE收集全局统计信息,通常会改善查询性能。 如果遇到性能问题:可以使用plan hint来调整到之前的查询计划,详情请参见使用Plan Hint进行调优。 父主题: SQL调优进阶
b=1,其中b=1次序-1,a=3次序4,c=1次序1,则使用c=1作为负载识别的query_band,此设计可提供负载管理员对负载调度调整能力。 query_band应用与配置 pg_workload_action跨库系统表用于存储query_band行为和次序,详见PG_WORKLOAD_ACTION。
常不能达到性能提升的效果,甚至可能引起性能劣化。 SMP相关参数配置建议 如果要打开SMP自适应功能,要设置query_dop=0,需同步调整以下相关参数值,以获取更佳的dop选择: comm_usable_memory 当系统内存较大时,max_process_memory设置