检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Mapping脚本。参考ETL映射设计。 该账号下已开通DataArts Studio服务。 已在该DataArts Studio服务中创建相应的数据连接,以便基于数据连接同步作业以及后续在DataArts Studio中执行脚本。 步骤: 添加DataArts Studio作业,选择对应的Region、实例和空间信息。
则需要为您使用该功能的IAM用户配置权限。 系统角色/策略名称 描述 策略类别 CDM CommonOperations 拥有CDM作业和连接的操作权限。 系统策略 DAYU User 数据治理中心DataArts Studio普通用户,拥有被授予的工作空间的指定角色的权限。 系统角色
名称生成的默认规则:xxx公司-方案名称-xxx测试报告, 其他类型测试报告名称生成的默认规则是:方案名称-需求名称-测试报告,中间以横杠连接。支持在生成报告时修改报告名称。 图1 报告预览 父主题: 验证中心
的数据实施。 图4 创建数据连接 在本实践中,需要将客户源端的MySQL数据迁移至云上MRS,如下图所示为本实践配置的数据连接,分别是源端的两个MySQL连接和目标端的一个MRS Hudi连接。 图5 数据连接清单 添加监控对象,配置想要采集的数据连接的库表信息,以及所需采集的空值字段的表名和表字段名。
资源准备 准备项 资源内容 说明 源端系统连接信息 MySQL数据库 门店基本信息表: store_mgmt.t_user_store_info 订单表: order_mgmt.t_trade_order 本实践需要采集客户源端系统的MySQL数据库数据结构(含门店基本信息表和订单表
集群中,以便后续可在CDM集群中执行作业。 图5 一键同步作业 要同步CDM作业,请确保CDM集群实例中有相应的数据连接且数据连接名称与解决方案工作台上的数据连接名称相同。 您可以点击【更多】-【同步历史】,查看同步结果。 图6 查看同步历史 您也可以进入CDM集群中查看作业并运行作业。
管理应用系统和数据连接 在数据调研作业界面点击【管理应用系统和数据连接】进入配置页面。 此模块用于创建应用系统列表和数据连接列表。 应用系统列表用于展示公司的组织架构信息,后续的数据连接即监控等按照组织架构进行划分。 图2 创建组织架构信息 连接管理是根据对应的应用系统和数据库连接类型管理
图1 表命名规范检查 操作步骤: 参考管理应用系统和数据连接,创建需要进行检查的数据连接; 点击【规则配置】,可查看到解决方案工作台预置的表命名规范检查规则,用户可根据需要修改或新增。 添加监控对象,选择要监控的数据连接类型和连接名称。 图2 添加监控对象 添加采集信息,对需要进行规
ETL映射设计 ETL映射设计用于将数据从源系统抽取出来,经过清洗、转换、加载等一系列操作后,将数据加载到目标系统的过程。解决方案工作台支持SDI、DWI和DWR层物理表、支持多种数据库、支持生成脚本等。 新建ETL映射 图1 新建ETL映射 参数 说明 映射名称 自定义 数据库数据类型
助性的云服务比如“Web应用防火墙 WAF”、“云堡垒机 CBH”等云服务,不能调整核心云服务比如数据库由RDS for Mysql变为了GaussDB for Mysql,中间件由消息队列kafka变为了消息队列rabbitMQ等等。 提交审核 架构设计完成后提交审核。 提交审
助性的云服务比如“Web应用防火墙 WAF”、“云堡垒机 CBH”等云服务,不能调整核心云服务比如数据库由RDS for Mysql变为了GaussDB for Mysql,中间件由消息队列kafka变为了消息队列rabbitMQ等等。 提交审核 架构设计完成后提交审核。 提交审
资源准备 准备项 资源内容 说明 源端系统连接信息 MySQL数据库 门店基本信息表: store_mgmt.t_user_store_info 订单表: order_mgmt.t_trade_order 本实践需要采集客户源端系统的MySQL数据库数据结构(含门店基本信息表和订单表
致命:系统不可用,造成系统或应用程序崩溃、死机、系统挂起,或造成数据丢失,主要功能完全丧失,导致本模块或相关模块异常等,如代码错误、死循环、数据库发生死锁、与数据库连接错误或通讯错误,未考虑异常操作,功能错误等; 严重:业务阻塞,系统主要功能部分丧失、业务阻塞,数据不能保存,系统的次要功能完全丧失,问题局
资源栏,展示所有可被拖动设计的资源。各资源按照其所属的服务进行分类。 您可以把想要编排的资源拖动到设计台画布,并运用其生成的连接点进行逻辑关系的定义与关联。 3 设计台,用户设计模板的主要操作画布,用于连接资源之间的关系。 4 属性栏,释放一个拖动资源或选中一个拖动资源时,属性编辑面板会展示您所选中资源所
逻辑实体与实体之间通过关系连接。解决方案工作台支持创建1:1、1:n、n:n关系类型。 创建实体后,切换至“图形化”界面。 画板上展示的是当前选中的L1主题域分组的实体,您可以通过已下两种方式创建实体 鼠标移动到实体属性会出现连线,选中连线拖动到待连接实体属性上。 在空白画布界面
可通过直线、折线将有集成关系的图元连接起来,支持在辅助图元中选择直线、箭头、曲线、折线,或者将鼠标移动到图元上、从图元拖动出折线进行图元连接。 如下图,鼠标移动到图元上,可以看到该图元四周的连接节点,鼠标移动需要连接的点、按住鼠标左键不放即可拖动出连接线,将连接线拖动到要连接到的图元即可。 图15
版本变化项 说明 是否需重新评估与集成验证 架构 数据库、中间件类型变化 不同数据库、中间件类型的替换,如数据库由RDS for MySQL变为GaussDB for MySQL,中间件由消息队列Kafka变为消息队列RabbitMQ。如自建数据库、中间件、K8S使用云服务替代可不需要重新集成验证。
以RDS数据库云服务举例说明,假如您的系统有使用到RDS数据库。 第一步:进入华为云RDS的控制台,查看云服务。预期结果:华为云控制台可以看到已购买RDS云服务。 第二步:登录您的系统,创建一个表单。预期结果为:表单创建成功。 第三步:通过华为云控制台登录华为云RDS数据库,
致命:系统不可用,造成系统或应用程序崩溃、死机、系统挂起,或造成数据丢失,主要功能完全丧失,导致本模块或相关模块异常等,如代码错误、死循环、数据库发生死锁、与数据库连接错误或通讯错误,未考虑异常操作,功能错误等; 严重:业务阻塞,系统主要功能部分丧失、业务阻塞,数据不能保存,系统的次要功能完全丧失,问题局
导入逻辑模型 物理模型设计 物理模型是对真实数据库的描述,即根据逻辑模型对应到具体的数据模型的机器实现。 新建SDI层物理模型。 本实践需要将源端MySQL数据同步至云上MRS(SDI层),本步骤对该目标端进行建模。(目标端为MRS Hudi,在新建物理模型时数据库类型选择“MRS SPARK”即可。)