检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在逻辑实体列表中，选择需要编辑的逻辑实体，单击“操作”列的“编辑”，进入编辑页面进行编辑。 发布历史 在逻辑实体列表中，选择需要查看发布历史的逻辑实体，单击“操作”列的“更多 > 发布历史”，进入后可查看逻辑实体的发布历史和版本对比。 浏览SQL 在逻辑实体列表中，选择需要预览SQL的逻辑实体，单击“操作”列的“更多
质量作业可将规则模板或自定义规则应用到表中，进行数据质量监控。 对账作业 对账作业可将创建的规则应用到两张表中进行质量监控，并输出对账结果。 运维管理 运维管理用于查看规则运行状态，处理运维问题。 质量报告 系统根据作业的结果，会自动生成质量报告。 父主题： 数据质量监控
管理码表 建立好码表后，可以对码表进行查找、编辑、下线或发布等操作。 在数据架构控制台，单击左侧导航树中的“码表管理”，进入码表管理页面。您可以对码表进行管理。 普通空间均可查询到“公共层空间”目录下创建的码表，“公共层空间”无法反向查询到普通空间目录下创建的码表。 普通空间仅
保存并提交作业版本，单击“测试运行”，执行数据开发作业。 数据开发作业执行成功后，单击右上角的“前往监控”，进入“作业监控”页面，查看生成的任务或实例是否符合需求，如图6所示。 图6 查看运行结果
f:3 } } } 将拆成三个字段 [a.b.c], [a.b.d.e], [a.b.d.f]。 否 是 过滤条件 对源数据进行过滤，使用ES查询的参数q语法。 否 last_name:Smith 抽取元字段 是否抽取索引的元字段，目前只支持（_index、_type、_id、_score）。
定义识别规则组 通过定义敏感数据识别规则及规则组，来有效识别数据库内的敏感数据。 敏感数据发现 创建并运行敏感数据识别任务。 敏感数据分布 查看敏感数据识别任务识别出的敏感数据。 父主题： 敏感数据治理
动运行，每日数据将自动导入到GES图中。 您如果需要及时了解作业的执行结果是成功还是失败，可以通过数据开发的运维调度界面进行查看，如图9所示。 图9 查看作业执行情况 父主题： 图数据自动化构建与分析
业务ID参数获取说明 方法 说明 $job_id 数据开发作业id。获取该ID请参考查询作业详情。 $instance_id 作业实例id（单节点作业测试运行不生成实例id，不支持）。获取该ID请参考查询作业实例列表。 父主题： 数据开发
编辑API工作流：在API工作流列表页面，单击对应工作流操作栏中的“编辑”，即可进入API工作流编排页面，重新进行工作流编排或修改。 查看API工作流授权：在API工作流列表页面，单击对应工作流操作栏中的“查看授权”，即可进入API完整信息界面，并对工作流进行授权。 注意，当入口API的安全认证方式为APP认证
02:00:00" 或 "${dateformat(yyyy-MM-dd HH:mm:ss, -1, DAY)}" 开始 RowKey 填写需要查询的RowKey。 否 0001 结束 RowKey 填写需要结束的RowKey。 否 0100 父主题： 配置作业源端参数
费组。 当迁移作业消费DMS Kafka集群某一Topic的消息后，在Kafka集群的“消费组管理”可以看到此处配置的消费组ID、在“消息查询”可以查到消费属性group.id。因为Kafka把消费消息的一方称为消费者(Consumer)，多个消费者组成一个消费组(Consumer
选择需要开机/关机的具体对象，例如开启某个CDM集群。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间（秒） 是 设置轮询时间（1~60秒），每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 失败重试
配置OBS目的端参数 作业中目的连接为OBS连接时，即导入数据到云服务OBS时，目的端作业参数如表1所示。 高级属性里的参数为可选参数，默认隐藏，单击界面上的“显示高级属性”后显示。 表1 OBS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 桶名 写入数据的OBS桶名。
选择“全部”时，将数据库中的所有的表都导入。 选择“部分”时，请选择需要导入的表。 单击“确定”开始执行逆向数据库操作。等待操作执行完成，即可在“上次逆向”中查看结果或者执行重新逆向操作。 父主题： 通用操作
将根据父作业的环境变量读取替换。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间（秒） 是 设置轮询时间（1~60秒），每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 失败重试
）注入暗水印，水印内容不可见，需要进行水印提取。 对非结构化数据文件（docx、pptx、xlsx和pdf）注入明水印，可在本地打开文件，查看水印内容。 动态水印 在数据安全组件开启数据开发动态水印功能并创建动态水印策略后，当策略中指定的用户组或角色在数据开发组件中转储或下载敏感
当换行符处理方式选择为替换时，指定替换的字符串。 - 执行Analyze语句 数据全部写入完成后会异步执行ANALYZE TABLE语句，用于优化Hive表查询速度，执行的SQL如下： 非分区表：ANALYZE TABLE tablename COMPUTE STATISTICS 分区表：ANALYZE
首先在数据目录组件完成元数据采集任务，当数据开发作业满足自动血缘解析要求或已手动配置血缘，然后成功完成作业调度后，则可以在数据目录模块可视化查看数据血缘关系。 父主题： 节点数据血缘
实例时，需要向后找，向后查找时，只依赖最近的一个实例。 通过图表进一步进行原理解释： “先向前找上游依赖实例，依赖上游一整个区间内的实例” 解释如下： 图1 先向前找上游依赖实例，依赖上游一整个区间内的实例 “向前未找到依赖的实例时，需要向后找，向后查找时，只依赖最近的一个实例”
OBS上存储脏数据的目录，只有在配置了脏数据目录的情况下才会记录脏数据。 用户可以进入脏数据目录，查看作业执行过程中处理失败的数据或者被清洗过滤掉的数据，针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 /user/dirtydir 单个分片的最大错误记录数 当“是否写入脏数据”为“是”才显示该参数。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
