检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
根据需要配置调度方式,配置完成后单击“提交”,完成采集任务的创建。 图4 调度方式 在采集任务列表中,找到刚才新建的采集任务,单击其所在行的“启动调度”按钮,启动周期采集任务。 图5 启动调度 在左侧导航树中,单击“任务监控”,查看采集任务是否成功。 图6 查看监控任务 当采集任务成功后,在左侧
此外,在建表时已关联的数据标准,在表发布后也会在上图中生成相应的质量规则,您可以在质量作业中进行查看。 字段关联的数据标准生成的质量规则,示例如下: 图12 字段关联的质量规则 字段关联了数据标准,数据标准关联的码表生成的质量规则,示例如下: 图13 码表的质量规则 父主题: 通用操作
获取到导出的xlsx文件。 图3 获取规则模板导出结果 导出质量作业 单击左侧导航上的“质量作业”,进入质量作业列表。 在质量作业列表,选择需要迁移的质量作业,然后单击“导出”。 图4 批量导出质量作业 在弹出的导出窗口中,确认选择无误后单击“导出”,导出质量作业。 图5 质量作业导出确认
页面。 图6 资源迁移 单击“新建导入”,选择导入方式后,配置待导入资源的OBS或本地路径。待导入的资源应为通过导出获取的zip文件。 图7 配置待导入的资源存储路径 单击“新建导入”,上传待导入资源。待导入的资源应为通过导出获取的zip文件 单击“下一步”,勾选导入的资源类型。
开查看血缘的上下链路。 单击血缘图中的某一个节点,可以查看该节点的详情。 进入“作业”页签,单击“编辑”可跳转到数据开发的作业编辑页面。 图4 查看节点血缘 在数据资产搜索结果中,图标为表格的数据资产为表,单击某一表名称,可以查看表的详情。在详情页面,可以查看表的血缘信息。 单击
在“作业监控”里面查看作业执行结果。 图2 查看被依赖作业的执行结果 创建一个周期调度的天任务作业。(每天07:15执行的天任务作业) 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 在作业目录中,右键单击目录名称,选择“新建作业”,创建一个批处理的Pipeline作业,分钟作业的名称为job_3417_kk02。
选择作业名称,在作业的“操作”列,单击“DAG”,系统弹出DAG视图。 图7 DAG视图 DAG视图默认展示当前作业实例及上下游作业实例,并支持如下操作: DAG视图右上角表示恢复DAG图初始状态,表示关闭,单击可以关闭。左侧侧边图标可以拖动改变视图宽度。 单击可以选中某个作业实例: 图8 选中作业实例
查看监控指标”。 在CDM监控页面,可查看所有监控指标的小图。 图1 查看监控指标 单击小图右上角的,可进入大图模式查看。 您可以在左上角选择时长作为监控周期,查看一段时间的指标变化情况。 父主题: 管理并查看CDM监控指标
Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 创建一个DLF批处理作业,作业名称为“topmovie”。 图7 新建作业 图8 配置作业 在作业开发页面,拖动2个CDM Job节点、3个Dummy节点和2个DWS SQL节点到画布中,选中连线图标并拖动,编排图9所示的作业。 图9
单击“新建导入”,选择导入方式后,配置待导入资源的OBS或本地路径。待导入的资源应为通过导出获取的zip文件。 图7 配置待导入的资源存储路径 单击“新建导入”,上传待导入资源。待导入的资源应为通过导出获取的zip文件 单击“下一步”,勾选导入的资源类型。 图8 勾选导入的资源类型 如果选择导入数据源,则单击“下一步”需要配置数据连接。
目的连接名称:选择创建DLI连接中的“dlilink”。 资源队列:选择目的表所属的资源队列。 数据库名称:写入数据的数据库名称。 表名:写入数据的目的表。CDM暂不支持在DLI中自动创表,这里的表需要先在DLI中创建好,且该表的字段类型和格式,建议与待迁移数据的字段类型、格式保持一致。
环境变量、作业参数、脚本参数的介绍和使用方式如下: 环境变量中支持定义变量和常量,环境变量的作用范围为当前工作空间。 变量是指不同的空间下取值不同,需要重新配置值,比如“工作空间名称”变量,这个值在不同的空间下配置不一样,导出导入后需要重新进行配置。 常量是指在不同的空间下都是一样的,导入的时候,不需要重新配置值。
迁移”界面。 单击作业列表上方的“导入”按钮,准备导入JSON文件。 图3 批量导入 在弹出的窗口中,选择导出作业获取的JSON文件,上传JSON文件。 图4 选择JSON文件 JSON文件上传成功后,单击“设置密码”,配置数据连接的密码或SK。 图5 进入设置密码 在设置密码弹
Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 创建一个数据开发批处理作业,作业名称为“BI_analysis”。 图7 新建作业 图8 配置作业 然后进入到作业开发页面,拖动两个Dummy节点和两个DLI SQL节点到画布中,选中连线图标并拖动,编排图9所示的作业。 图9 连接和配置节点属性
右键单击作业,创建一个pipeline模式的批处理作业,进入作业开发界面。 选择“MRS_Flink_Job”节点。 “作业类型”选择“Flink SQL作业”,“脚本路径”选择刚创建的Flink SQL脚本。 选择脚本后,脚本里面引用的脚本模板参数及参数值会自动展示出来,如下图所示。 图2 引用fink
在脚本目录顶部,单击,选择“责任人转移”。 图1 责任人转移 分别设置“当前责任人”和“目标责任人”,单击“转移”。 提示转移成功后,单击“关闭”。 相关操作 您可以根据脚本责任人筛选脚本,在脚本目录上方的搜索框输入责任人,单击放大镜图标,如下图所示。 图2 根据脚本责任人筛选脚本 父主题:
Studio数据质量控制台的“质量作业”页面。 图1 质量作业节点 在数据质量页面,单击质量作业名称,可以查看质量作业的基础配置。 图2 质量作业列表 单击左侧导航栏中的“运维管理”,单击操作列的“结果&日志”按钮,可查看质量作业的运行结果。 图3 质量作业运行结果 监控业务指标 业务指标监控模块是对业务指标进行质量管理的工具。
Each循环执行的节点,让CDM子作业循环执行,并配置节点属性参数。 配置MRS Spark SQL节点的属性参数,并关联已创建的脚本maxtime。 图3 配置MRS Spark SQL节点属性参数 配置For Each节点的属性参数,并关联已创建的CDM子作业。 图4 配置For
云服务委托可将相关云服务的操作权限委托给DataArts Studio,让DataArts Studio以您的身份使用这些云服务,代替您进行一些任务调度、资源运维等工作。首次进入DataArts Studio控制台首页时,系统会弹出访问授权的对话框,提示您对未授权的云服务进行访问授权。同意授权后,DataArts
在配置实时同步任务前,您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在华为云,且与Migration资源组不同Region场景下,通过云连接打通网络的方案。 图1 网络示意图 约束限制