检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在创建表/文件迁移作业的字段映射界面,可新建字段转换器,如下图所示。 图1 新建字段转换器 CDM可以在迁移过程中对字段进行转换,目前支持以下字段转换器: 脱敏 去前后空格 字符串反转 字符串替换 去换行 表达式转换 约束限制 作业源端开启“使用SQL语句”参数时不支持配置转换器。 如果在字段映射界面,
是否支持字段转换? 支持,CDM支持以下字段转换器: 脱敏 去前后空格 字符串反转 字符串替换 表达式转换 在创建表/文件迁移作业的字段映射界面,可新建字段转换器,如下图所示。 图1 新建字段转换器 脱敏 隐藏字符串中的关键信息,例如要将“12345678910”转换为“123****8910”,则配置如下:
转换逻辑模型为物理模型 功能介绍 转换逻辑模型为物理模型,转换成功则显示转换后的目标模型信息。 异常:目标模型信息的“id”等属性为null时,则需要调用《获取操作结果》接口查看具体报错信息:GET https://{endpoint}/v1/{project_id}/design/operation-results
在创建表/文件迁移作业的字段映射界面,可新建字段转换器,如下图所示。 图1 新建字段转换器 CDM可以在迁移过程中对字段进行转换,目前支持以下字段转换器: 脱敏 去前后空格 字符串反转 字符串替换 去换行 表达式转换 约束限制 作业源端开启“使用SQL语句”参数时不支持配置转换器。 如果在字段映射界面,
在创建表/文件迁移作业的字段映射界面,可新建字段转换器,如图1所示。 图1 新建字段转换器 在迁移过程中可以对字段进行转换,目前支持以下字段转换器: 脱敏 去前后空格 字符串反转 字符串替换 去换行 表达式转换 约束限制 作业源端开启“使用SQL语句”参数时不支持配置转换器。 如果在字段映射界面,通
不支持数据类型转换规避指导 操作场景 CDM在配置字段映射时提示字段的数据类型不支持,要求删除该字段。如果需要使用该字段,可在源端作业配置中使用SQL语句对字段类型进行转换,转换成CDM支持的类型,达到迁移数据的目的。 操作步骤 修改CDM迁移作业,通过使用SQL语句的方式迁移。
不支持数据类型转换规避指导 操作场景 CDM在配置字段映射时提示字段的数据类型不支持,要求删除该字段。如果需要使用该字段,可在源端作业配置中使用SQL语句对字段类型进行转换,转换成CDM支持的类型,达到迁移数据的目的。 操作步骤 修改CDM迁移作业,通过使用SQL语句的方式迁移。
0/24),其余参数可参考购买公网NAT网关。 图8 配置公网NAT网关 为公网NAT网关添加SNAT规则。 为新建的NAT网关添加SNAT规则,才能实现资源组网段下的主机与Internet互相访问。请单击新建的公网NAT网关名称进入配置界面,选择“SNAT规则”页签,单击“添加SNAT规则”。 图9
0/24),其余参数可参考购买公网NAT网关。 图8 配置公网NAT网关 为公网NAT网关添加SNAT规则。 为新建的NAT网关添加SNAT规则,才能实现资源组网段下的主机与Internet互相访问。请单击新建的公网NAT网关名称进入配置界面,选择“SNAT规则”页签,单击“添加SNAT规则”。 图9
人。 上级流程 选择所属的上级流程。 描述 流程的描述信息。 依次新建更多的流程或子流程。一般需要设计L1~L3三层流程。第一层标识为L1层,第二层标识为L2层,第三层标识为L3。 示例如下: 图3 流程设计示例 导出流程 您可以将数据架构中已创建的流程导出到文件中。 在数据架构
DataArts Studio和ROMA有什么差异? 从数据运营方案(数据中台)的数据集成、数据治理以及数据开放三层结构来看,DataArts Studio和ROMA主要差别在于数据治理方面: ROMA作为连接各个系统的管道,对接入数据没有治理和规划的功能。 DataArts S
在运作上实现数据治理团队的快速构建和能力导入,捆绑业务、IT开发和数据团队利用已有人员熟悉度快速切入重点工作。 在工作内容和责任上具体到三层的工作组织: 图1 数据治理工作组织 父主题: 数据治理组织架构
华为数据治理实践 华为数据治理的规范流程建设,完成了从数据产生、数据整合、数据分析与数据消费全价值流的规则制定。华为数据治理组织实践,建立实体化的数据管理组织,向公司数据管理部汇报,同时组建了跨领域数据联合作战团队。华为已建立统一的数据分类管理框架,指导各领域进行分类管理。华为信
CDM通过DES(数据快递服务)迁移1个月前的历史数据,迁移路径如下: CDH → DES → CDM(华为云) → OBS → CDM(华为云) → MRS DES适用场景:数据量大,用户私有云与华为云无专线打通,用户私有云网络到公网带宽有限。 优点:传输可靠性高,受专线以及网络质量影响较小。 缺点:迁移方式耗时较长。
IP),记录下CDM集群所在的VPC和子网。 创建NAT网关,注意选择和CDM集群相同的VPC、子网。 创建完NAT网关后,回到NAT网关控制台列表,单击创建好的网关名称,然后选择“添加SNAT规则”。 图1 添加SNAT规则 选择子网和弹性IP,如果没有弹性IP,需要先申请一个。
format(${timestamp()},"yyyy-MM-dd HH:mm:ss")表达式获取当前时间,更多表达式设置方式可以参考表达式转换。 父主题: 数据集成(CDM作业)
实体、属性、属性约束、关系等要素转换为数据库软件所能够识别的表关系图(Table Relationship Diagram)的一种物理描述。 在关系建模中,您可以新建SDI层和DWI层两个模型,模型最终是通过物理建模进行落地的。除了将逻辑模型转换外为物理模型外,您也可以参考本章节直接新建一个物理模型。
在总览图中找到所需要的逻辑模型,将光标移动到该卡片上,单击该模型的转换按钮。逻辑模型只支持转换为关系建模的模型。 图8 逻辑模型转化为物理模型 在“转换为物理模型”对话框中,配置如下参数,然后单击“确定”。 图9 转换为物理模型 逻辑模型转换为物理模型时,系统会先校验是否有前缀。 表6 参数描述
华为数据治理思考 华为在发展中也遇到了如下的数据问题: 数据管理责任不清晰,造成数据问题无人决策解决; 数据多源头,造成数据不一致,不可信; 数据大量搬家造成IT重复投资; 数据无定义造成难于理解、难于使用; 各部门发布报告,统计口径不一致,困扰业务决策; 数据形态多样化,数据量迅猛增长,数据处理逻辑复杂,投资大;
数据治理,通过交易核算自动化、ERP优化、数据调度优化、数据质量监控以及提升数据分析平台的性能,华为实现了全球核算实时可视,过程可跟踪、可管理。 图1 华为数据治理实践 父主题: 华为数据治理案例