检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
License类商品是指将服务商提供的部署在华为云基础设施资源(华为云IaaS)上的商用软件(包括镜像、SaaS等)对应的授权许可作为商品,包括商业操作系统、数据库中间件、应用软件等license。 SaaS类商品是指将服务商提供的部署在华为云基础设施资源(华为云IaaS)上的在线应用软件作为商品。用
与表命名规范检查一样,可以添加需要监控的对象后配置需要采集信息的数据库、表,用户可根据需要修改/新增附加字段规范。同样,本功能模块需要运行探源工具获取检查结果。 图9 附件字段检查 源系统和SDI层数据一致性检测 在数据治理过程中,从源数据库实时/定时抽取指定表的数据到目的数据库中的指定位置时,会存在数据抽取问题:
order_mgmt.t_trade_order 本实践需要采集客户源端系统的MySQL数据库数据结构(含门店基本信息表和订单表),因此需要准备好该数据库的连接地址、端口、账号信息以及需要采集的数据库名、表名等。 目标端系统连接信息 MRS Hudi: 门店DB:store_mgmt、dwi_store_mgmt
(必选) 分布式 √ 数据库集群或主备。使用华为云数据库服务的分布式或主备模式,也可以使用ECS自建分布式、主备数据库,自建时架构图ECS图标需文字体现部署的是什么数据库,并体现集群或主备关系。 主备 √ 数据备份 √ √ 华为云数据库开启自动备份策略,自建时需体现数据备份存储位置。 应用高可用
例如,本最佳实践需要对两个MySQL数据库进行数据调研,则可将本探源工具放入准备好的某台linux服务器中,只需保证该服务器网络可访问到这两个MySQL数据库即可。 将5中下载的配置文件application.properties放入该远端服务器中。注意,需要和jar包在同一个目录下。
结果。 集成用例步骤的设计思路,需要体现您系统的业务流和数据流与所集成测试的云服务的连通性。 以RDS数据库云服务举例说明,假如您的系统有使用到RDS数据库。 第一步:进入华为云RDS的控制台,查看云服务。预期结果:华为云控制台可以看到已购买RDS云服务。 第二步:登录您的系统,
探源工具通过查询指定数据库的系统表获取相关信息,对数据库压力较小,但为了保证不影响业务,建议将探源工具的定时任务设置在凌晨等压力较小的时间段进行。 查看监控对象数据调研结果。 数据调研结果可在线上报或离线导入:如果运行探源工具的服务器可访问公网,则支持在线上报;否则需要离线导入。 在线上报
图4 从数据调研导入 从SDI层导入 DWI层物理模型支持从SDI层导入数据,前提:DWI层的数据库类型和SDI层数据库类型一致。 在物理模型的列表界面选择导入,从SDI层导入,选择源分层、需要导入的物理模型,可选择是否导入关系和布局图形以及全部导入或导入部分表。 图5 从SDI层导入
义的图标,如果使用自定义图标,需要对图标说明是“XX自建服务”。 华为云的服务器不能使用默认的“弹性云服务器”或者“ECS”来命名,需要在命名中体现服务器的用途,比如服务器上部署了一个自建mysql数据库,则可以将服务器命名为“自建mysql数据库”;如使用到自建的redis,k
代码错误、死循环、数据库发生死锁、与数据库连接错误或通讯错误,未考虑异常操作,功能错误等; 严重:业务阻塞,系统主要功能部分丧失、业务阻塞,数据不能保存,系统的次要功能完全丧失,问题局限在本模块,导致模块功能失效或异常退出;如致命的错误声明、程序接口错误、数据库的表、业务规范、缺省值未加完整性等约束条件;
个自建mysql数据库,则可以将服务器命名为“自建mysql数据库”;如使用到自建的redis,kafka,nginx等中间件,也需要在服务器的命名中体现出来。 可靠性要求的安全服务, 比如HSS、Anti-ddos、堡垒机、Waf等也需要在架构图中体现;每台ECS都需要配置一个
t_user_store_info 订单表: order_mgmt.t_trade_order 本实践需要采集客户源端系统的MySQL数据库数据结构(含门店基本信息表和订单表),因此需要准备好该数据库的连接地址、端口、账号信息以及需要采集的数据库名、表名等。 目标端系统连接信息 MRS Hudi: 门店DB:st
逻辑实体配置-图形化 若实际应用中需要配置的属性较多,可下载逻辑模型导入模板,在模板中批量填写后导入。 图16 导入逻辑模型 物理模型设计 物理模型是对真实数据库的描述,即根据逻辑模型对应到具体的数据模型的机器实现。 新建SDI层物理模型。 本实践需要将源端MySQL数据同步至云上MRS(S
能否复用报告的评估的维度可以参考下表中的维度,以下条件都满足方可报告复用。 表1 报告复用评估表 类型 版本变化项 说明 是否需重新评估与集成验证 架构 数据库、中间件类型变化 不同数据库、中间件类型的替换,如数据库由RDS for MySQL变为GaussDB for MySQL,中间件由消息队列Kafk
入湖清单管理 对于探源到的数据,可将需要的数据配置生成入湖清单,后续基于入湖清单可直接生成CDM迁移作业。 新增入湖清单 新增入湖清单 图1 新增入湖清单 编辑入湖清单。支持批量入湖清单的更新方式、入湖方式等属性。 图2 编辑入湖清单 设置完成后确认导入并且查看导入结果 图3 查看结果
在右侧弹出的属性编辑窗口可修改面板名称为“园区(端)”。 图13 修改图元属性 替换图元 已完成连接的图元如果需要替换为其他图元,如RDS替换为RDS for MySQL,可通过替换图元的功能进行替换,替换后该图元相关的连接线将会保持不变。选中图元-鼠标右键-选择替换图元-搜索图元-选择要替换的图元即可。
MERGE:加载数据时,插入目标表中不存在的数据,更新目标表中存在的数据 源模型 需要进行ETL映射的源端物理模型,需要在物理模型设计中先完成设计 目标模型 需要进行ETL映射的目标端物理模型,需要在物理模型设计中先完成设计 目标表 选择目标模型中配置的表 是否删除数据 选择是否删除目标模型中的表数据
填写项目的基本信息。 表1 项目基本信息参数说明 参数 说明 交付场景 必填。下拉选择项目的交付场景,标识交付项目的类型,包含数据使能、迁移上云和解决方案。如果您需要进行数据实施开发,可选择“数据使能”场景。 项目名称 必填。自定义项目名称。 所属行业 必填。下拉选择该项目的所属行业,支持多选。
单击左上角【创建集成架构】按钮开始新建集成架构。 填写架构名称后,选择加速场架构模板。 在选择模板处通过搜索关键字,如:迁移,选择合适的加速场架构模板后点击确定。您也可以点击该架构的“详情”进入该架构详情页进行查看,确认是否是您需要引用的架构。 图4 通过加速场模板创建集成架构 创建成功后,画布上自动加载您引用的架
解决方案工作台-验证中心提供解决方案验证全流程管理、自动化测试、报告自动生成等能力,助力用户快速完成方案验证。 用户可以通过需求管理模块管理需要进行验证的需求。 测试需求提交与测试用例设计、测试用例执行、测试资源开通等流程并行,即,只要提交了测试需求,即可进行后续流程,但必须在提交报告审核前完成需求审核。