检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Network请求中，寻找Name形如“09318f28-939f-4ab6-a374-9e621096652c”的长字符串。 图3 寻找长字符串 单击该字符串，弹出具体请求的弹窗。在Request URL中，可以确认该字符串即为该资产的guid。 图4 获取guid 父主题： 使用前必读
与来源库同名：数据将同步至与来源SQLServer Schema名相同的Hudi库中。 自定义：数据将同步至自行指定的Hudi库中。 表匹配策略。 与来源表同名：数据将同步至与来源SQLServer Schema名相同的Hudi表中。 自定义：数据将同步至自行指定的Hudi表中。 图7 整库场景下源库表和目标匹配策略
如何降低CDM使用成本？ 如果是迁移公网的数据上云，可以使用NAT网关服务，实现CDM服务与子网中的其他弹性云服务器共享弹性IP，可以更经济、更方便的通过Internet迁移本地数据中心或第三方云上的数据。 具体操作如下： 假设已经创建好了CDM集群（无需为CDM集群绑定专用弹性
业务指标用于指导技术指标，而技术指标是对业务指标的具体实现。 原子指标：原子指标中的度量和属性来源于多维模型中的维度表和事实表，与多维模型所属的业务对象保持一致，与多维模型中的最细数据粒度保持一致。 原子指标中仅含有唯一度量，所含其它所有与该度量、该业务对象相关的属性，旨在用于支撑指标的敏捷自助消费。
ration任务中的连接信息，避免任务连接失败后的自动重试导致数据库账号被锁定，影响使用。 不同链路、数据库、权限要求不同，可参考以下链接，选择对应链路查看使用须知：使用教程。 连接准备 准备DataArts Studio管理中心数据连接。 说明： 数据连接配置中必须勾选数据集成选项。
String 质量ID，ID字符串。 show_control Integer 是否要显示正则表达式。 data_quality_name String 质量名称。 alert_conf String 告警配置。 expression String 正则相关校验规则中正则配置。 extend_info
在目的端作业参数中开启“使用包围符”，这样数据库中如果字段包含了字段分隔符，在导出到CSV文件的时候，CDM会使用包围符将该字段括起来，使之作为一个字段的值写入CSV文件。 数据库的数据包含换行符 场景：使用CDM先将MySQL中的某张表（表的某个字段值中包含了换行符\n）导出到CSV格式的文件中，然后
下数据源的元数据： 关系型数据库，如MySQL/PostgreSQL等（可使用RDS类型连接，采集其元数据） 云搜索服务CSS 图引擎服务GES 对象存储服务OBS MRS Hudi组件（MRS Hudi作为一种数据格式，元数据存放在Hive中，操作通过Spark进行。在Hudi
源。 使用流程 您可通过图1了解统一权限治理的使用流程。 图1 统一权限治理使用流程图 统一权限治理支持数据权限管控、服务资源管控和Ranger权限管理，流程介绍如下： 数据权限管控流程 授权dlg_agency委托 由于数据安全使用委托时，所需的云服务权限更高。因此在使用数据安
该链路目前需申请白名单后才能使用。如需使用该链路，请联系客服或技术支持人员。 SQLServer同步到MRS Hudi作业配置 PostgreSQL 数据仓库：DWS 说明： 该链路目前需申请白名单后才能使用。如需使用该链路，请联系客服或技术支持人员。 PostgreSQL同步到DWS作业配置
三方云上的数据库服务。 从这些数据源导出数据时，CDM使用JDBC接口抽取数据，源端作业参数相同，详细请参见配置PostgreSQL/SQL Server源端参数。 MySQL 支持从MySQL导出数据。 参见配置MySQL源端参数。 Oracle 支持从Oracle导出数据。 参见配置Oracle源端参数。
如果SQL脚本的内容有变化，补数据作业运行的是最新版本的脚本。 使用补数据功能时，如SQL中变量是DATE，脚本中就写${DATE}，在作业参数中会自动增加脚本参数DATE，脚本参数DATE的值支持使用EL表达式。如果是变量时间的话，需要使用DateUtil内嵌对象的表达式，平台会自动转换成历
与来源库同名：数据将同步至与来源PostgreSQL库名相同的DWS Schema中。 自定义：数据将同步至自行指定的DWS Schema中。 表匹配策略。 与来源表同名：数据将同步至与来源PostgreSQL表名相同的DWS表中。 自定义：数据将同步至自行指定的DWS表中。 图5 整库场景下源库表和目标匹配策略
您可以将表1数据保存在HDFS的CSV文件中，然后通过HIVE SQL创建Hive外表关联这个CSV文件，然后将HIVE外表查询的结果作为数据集。MRS创建外表请参见创建表。 本例以方式1进行说明，将表1中的数据导入到DLI表（Table_List）中。您可以在DataArts Studio数据开发模块中，新建DLI
授权用户使用DataArts Studio 创建IAM用户并授予DataArts Studio权限 （可选）自定义工作空间角色 添加工作空间成员和角色
使用APP认证调用API 认证前准备 Java Go Python C# JavaScript PHP C++ C Android curl 其他编程语言 父主题： 数据服务SDK参考
CDM可以跨账户使用吗？ CDM不支持跨账户使用，可以通过授权给同一账户IAM子用户使用。 IAM用户授权操作步骤如下： 创建用户组并授权 在IAM控制台创建用户组，并授予CDM集群只读权限“CDM ReadOnlyAccess”。 创建用户并加入用户组 在IAM控制台创建用户，并将其加入1中创建的用户组。
您可以将表1数据保存在HDFS的CSV文件中，然后通过HIVE SQL创建Hive外表关联这个CSV文件，然后将HIVE外表查询的结果作为数据集。MRS创建外表请参见创建表。 本例以方式1进行说明，将表1中的数据导入到DLI表（Table_List）中。您可以在DataArts Studio数据开发模块中，新建DLI
时间宏变量使用解析 在创建表/文件迁移作业时，CDM支持在源端和目的端的以下参数中配置时间宏变量： 源端的源目录或文件 源端的表名 “通配符”过滤类型中的目录过滤器和文件过滤器 “时间过滤”中的起始时间和终止时间 分区过滤条件和Where子句 目的端的写入目录 目的端的表名 支持
时间宏变量使用解析 在创建表/文件迁移作业时，CDM支持在源端和目的端的以下参数中配置时间宏变量： 源端的源目录或文件 源端的表名 “通配符”过滤类型中的目录过滤器和文件过滤器 “时间过滤”中的起始时间和终止时间 分区过滤条件和Where子句 目的端的写入目录 目的端的表名 支持
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
