检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据目录如何可视化展示数据血缘？ 数据血缘在数据目录中展示，首先要完成元数据采集任务，其次数据开发作业中要包含支持自动血缘解析的节点类型和场景，或者在作业节点中已自定义血缘关系的输入表和输出表。当存在运行成功的数据开发作业调度任务时，系统会生成作业中的血缘关系，并在数据目录中进行可视化展示。 数据血缘的生成和展示，详情请参见节点数据血缘。
当系统内置规则模板不足以满足您的需求，您可根据实际需要创建规则。目前创建规则的方式包括自定义模板和自定义规则： 自定义规则模板是很多用户可能都要使用的数据，不能随意进行修改，开发者只有查询权限，如果要修改规则模板，请联系管理员进行修改。 自定义模板：在“数据质量监控 > 规则模板”处，新建规则模板。新建的
简易变量集参考 简易变量集提供了一系列自定义的变量，自定义参数会根据任务调度的业务日期、计划时间及参数的取值格式自动替换为具体的值，实现在任务调度时间内参数的动态替换。 当前系统支持业务日期、计划时间、业务id三类参数的自定义。 业务日期是指在调度时间内，任务预期调度运行时间的前
张表。 增量数据迁移 支持文件增量迁移、关系型数据库增量迁移、HBase/CloudTable增量迁移，以及使用Where条件配合时间变量函数实现增量数据迁移。 事务模式迁移 支持当CDM作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。 字段转换 支持去隐
单表、整库、增量、周期性数据集成。 数据架构 作为数据治理的一个核心模块，承担数据治理过程中的数据加工并业务化的功能，提供智能数据规划、自定义主题数据模型、统一数据标准、可视化数据建模、标注数据标签等功能，有利于改善数据质量，有效支撑经营决策。 数据开发 大数据开发环境，降低用户
则需要使用账号给当前用户添加“查看委托列表”的权限。 先创建自定义策略（查询指定条件下的委托列表），再通过给用户组授予自定义策略来进行精细的访问控制。 登录华为云控制台。 在控制台页面，鼠标移动至右上方的账号名，在下拉列表中选择“统一身份认证”。 在左侧导航窗格中，单击“角色授权”>“创建自定义策略”。 输入“策略名称”。
返回的数据信息。 请求示例 创建当前工作空间下的数据标准模板自定义项。 POST https://{endpoint}/v2/{project_id}/design/standards/templates { "fd_name" : "自定义项三", "fd_name_en" : "CustomField3"
输出表。输入和输出表的所属数据源支持DLI、DWS、Hive、CSS、OBS和CUSTOM。CUSTOM即自定义类型，在手动配置血缘时，对于不支持的数据源，您可以添加为自定义类型。 图1 手动配置血缘关系示例 例如，当需要配置数据开发Pipeline作业中MRS Spark节点的血缘关系时，由于MRS
码不会立即生效且作业会运行失败。 表1 达梦数据库 DM连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 dm_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的DWS、RDS等实例列表。
本后，系统会对应产生发布任务。开发者确认发包后，需要部署者审批通过，才能将修改后的作业同步到生产环境。 自定义角色：如果预置角色不能满足您的需求，您也可以创建自定义角色。自定义角色的权限可自由配置，实现业务操作权限最小化。 父主题： 咨询与计费
抽取并发数只能设置为1。 HDFS 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明： SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如
勾选需要删除的原子指标，单击上方“更多 > 删除”，系统弹出“删除”对话框。 单击“是”。 函数说明 新建原子指标时，需要按照函数设定表达式。以聚合函数的部分函数为例，函数说明如表3所示： 表3 聚合函数说明 函数名 表达式 函数说明 avg(col) avg() 求平均值。 corr(col1, col2)
管理资源 用户可以通过资源管理功能，上传自定义代码或文本文件作为资源，在节点运行时调用。可调用资源的节点包含DLI Spark、MRS Spark、MRS MapReduce和DLI Flink Job。 创建资源后，配置资源关联的文件。在作业中可以直接引用资源。当资源文件变更，
业务指标监控中的指标、规则、业务场景等数据均不支持导入导出，如有涉及，请您进行手动配置同步。 系统支持将自定义的规则模板批量导出，一次最多可导出200个规则模板。 系统支持将自定义的规则模板批量导入，一次最大可导入4MB数据的文件。 系统支持批量导出质量作业，一次最多可导出200个
MySQL到DMS Kafka参数调优 源端优化 MySQL抽取优化 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental
有原子指标； 当该空间下不超过5000条原子指标数据时可以全部导出。 函数说明 新建原子指标时，需要按照函数设定表达式。以聚合函数的部分函数为例，函数说明如表3所示： 表3 聚合函数说明 函数名 表达式 函数说明 avg(col) avg() 求平均值。 corr(col1, col2)
“_”、“-”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 作业类型 是 选择 Flink SQL作业 Flink 自定义作业 脚本路径 是 选择Flink SQL作业时，可配置此参数。 选择需要执行的Flink SQL脚本。如果脚本未创建，请参考新建脚本和开发SQL脚本先创建和开发Flink
方式，如果选择其他脱敏方式则脱敏不生效。 MRS Hive数据源的“SM3”、“自定义/保留前x后y”和“自定义/掩盖前x后y”这几种脱敏规则非MRS Ranger组件提供，而是通过UDF自定义函数实现的算法。因此如果使用这几种脱敏规则之一，则会上传算法依赖的JAR包到MRS集群
简易变量集提供了一系列自定义的变量，实现在任务调度时间内参数的动态替换。 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。 单击“默认项设置”，可设置“是否使用简易变量集”配置项。 是：支持使用简易变量集。通过简易变量集提供的一系列自定义的变量，自定义参数会根据任务调度的
只允许除\、<、>、%、"、'、;及换行符以外的字符。 *英文名称 只能包含英文字母、数字、下划线，且以英文字母开头。 *编码 逻辑属性的编码，当逻辑实体为自定义编码时，逻辑属性可以自定义编码，也可以自动编码。 数据类型 设置属性的数据类型。如果在下拉列表中未找到所需要的数据类型，您可以参考字段类型添加数据类型。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
