检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业编排完成后，单击，测试运行作业。 如果作业测试运行正常，单击右侧的“调度配置”，配置作业的调度策略。 图10 调度配置 说明： 调度方式：本示例中选择“周期调度”。 调度属性：2022/02/09至2022/02/28，每天1点执行一次作业。 依赖属性：可以配置为依赖其他作业运行，本例不涉及，无需配置。
下线及删除原子指标的前提是无依赖引用，即无衍生指标引用。 删除 勾选需要删除的原子指标，单击上方“更多 > 删除”，系统弹出“删除”对话框。 单击“是”。 导入 可通过导入的方式将原子指标批量快速的导入到系统中。 在原子指标列表上方，单击“更多 > 导入”，进入“导入配置”页签。 图3 导入原子指标 下载原子指标导入模板，编辑完成后保存至本地。
换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 TBL_2 导入前清空数据 选择目的端表中数据的处理方式： 是：任务启动前会清除目标表中数据。 否：导入前不清空目标表中的数据，如果选“否”且表中有数据，则数据会追加到已有的表中。 是 自动创表
文件，将“Add password here”替换为对应连接的正确密码，再执行导入操作。 文本导入：无法正确上传本地JSON文件时可选择该方式。将作业的JSON文本直接粘贴到输入框即可。 当前导入时不支持覆盖已有作业。 父主题： 在CDM集群中创建作业
SQL脚本先创建和开发脚本。关联的SQL脚本如果使用了参数，此处显示参数名称，请在参数名称后的输入框配置参数值。 说明： 若选择SQL语句方式，数据开发模块将无法解析您输入SQL语句中携带的参数。 数据连接 是 选择数据连接。 数据库 是 填写数据库名称，该数据库已创建好，建议不要使用默认数据库。
分析数据 通过DLI直接对OBS数据进行贸易统计分析。 前提条件 DLI创建OBS外表，对OBS表数据存储格式有所要求： 使用DataSource语法创建OBS表时，支持orc，parquet，json，csv，carbon，avro类型。 使用Hive语法创建OBS表时，支持TEXTFILE
单击“下一步”，配置订阅信息，如下图所示。 勾选触发告警表示作业报警时发送通知到对应的smn主题，勾选运行成功表示不报警时发送通知到SMN主题。 单击“下一步”，配置调度方式，如下图所示。 单次调度表示需要手动触发运行，周期性调度表示会按照配置定期触发作业运行。此处以当天配置为例，设置每15分钟触发运行一次对账作业为例的配置。
取决于源端数据源的性能。 如需优化，请参见源端数据源的相关说明文档。 网络带宽 CDM集群与数据源之间可以通过内网、公网VPN、NAT或专线等方式互通。 通过内网互通时，网络带宽是根据不同的CDM实例规格的带宽限制的。 cdm.large实例规格CDM集群网卡的基准/最大带宽为0.8/3
技术资产中的数据血缘关系更新依赖于作业调度，数据血缘关系是基于最新的作业调度实例产生的。需要注意的是，数据血缘关系删除需要通过删除作业或删除作业元数据的方式进行，仅将作业停止调度不会触发血缘关系的删除。 前提条件 已在数据架构组件中定义并发布过的逻辑实体与数据表、业务指标。 已配置元数据采集任
操作流程概述 流程介绍 使用CDM+OBS+DLI进行贸易统计分析的操作过程主要包括2个步骤： 使用CDM上传数据到OBS 通过CDM将H公司存量数据上传到对象存储服务OBS。 通过CDM作业的定时任务，每天自动上传增量数据到OBS。 使用DLI分析数据 通过DLI直接分析OBS
l）、选择字段类型、填写字段值。 用户可同时添加多个附加字段。 自动建表：单击“自动建表”为列表中的表按照已配置规则自动建表。成功后表建立方式会显示为使用已有表。 分库分表场景 对于不同库上表可以聚合为一个表，同步时会被统一写入一个目标表中，匹配的分库分表需要保证结构的一致性。 源端配置。
名称：用户自定义连接名称，例如“obslink”。 OBS服务器、端口：配置为OBS实际的地址信息。 访问标识（AK）、密钥（SK）：登录OBS的AK、SK。 您可以通过如下方式获取访问密钥。 登录控制台，在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面，选择“访问密钥 > 新增访问密钥”，如图4所示。 图4
通过工具自动生成JSON格式的消息：单击“生成JSON消息”，在弹出的对话框中填写“消息”和选择“协议”。 模板消息：按模板格式发送的消息，即固定格式的消息，可以通过tag的方式来处理变量的部分。 手动输入模板格式的消息：在“消息内容”直接输入。 通过工具自动生成模板格式的消息：单击“生成模板消息”，在弹出的对话框
再次更新数据血缘关系。如需更新，需要等待冷却期结束或将数据开发作业再次提交版本后调度。 数据血缘关系删除需要通过删除作业或删除作业元数据的方式进行，仅将作业停止调度不会触发血缘关系的删除。 新建并运行元数据采集任务 请参见配置元数据采集任务，新建并运行元数据采集任务，注意任务中需要选择待查看血缘关系的数据表。
述。 删除分类：在数据分类页面，先选择分类目录中需要删除的目录，然后单击分类目录上方的，即可删除分类。 另外，也支持通过编辑数据分类目录的方式删除分类。您可以单击分类目录上方的，在“编辑数据分类目录”页面删除分类。 当父类下有子分类的时候，无法直接删除该父分类，需要先删除子分类。
l）、选择字段类型、填写字段值。 用户可同时添加多个附加字段。 自动建表：单击“自动建表”为列表中的表按照已配置规则自动建表。成功后表建立方式会显示为使用已有表。 父主题： 配置源端和目标端参数
建该表。 说明： 自动建表只同步列注释，表注释不会被同步。 自动建表不支持同步主键。 不自动创建 导入前清空数据 选择目的端表中数据的处理方式： 是：任务启动前会清除目标表中数据。 否：导入前不清空目标表中的数据，如果选“否”且表中有数据，则数据会追加到已有的表中。 是 待清空分区
再次更新数据血缘关系。如需更新，需要等待冷却期结束或将数据开发作业再次提交版本后调度。 数据血缘关系删除需要通过删除作业或删除作业元数据的方式进行，仅将作业停止调度不会触发血缘关系的删除。 新建并运行元数据采集任务 请参见配置元数据采集任务，新建并运行元数据采集任务，注意任务中需要选择待查看血缘关系的数据表。
l）、选择字段类型、填写字段值。 用户可同时添加多个附加字段。 自动建表：单击“自动建表”为列表中的表按照已配置规则自动建表。成功后表建立方式会显示为使用已有表。 分库分表场景 对于不同库上表可以聚合为一个表，同步时会被统一写入一个目标表中，匹配的分库分表需要保证结构的一致性。 源端配置。
用。 在衍生指标列表中，勾选需要删除的衍生指标，单击页面上方“更多 > 删除”，系统弹出“删除”对话框。 单击“是”。 导入 可通过导入的方式将衍生指标批量快速的导入到系统中。 在汇总表上方，单击“更多 > 导入”，进入“导入配置”页签。 图4 导入衍生指标 下载衍生指标导入模板，编辑完成后保存至本地。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
