华为云用户手册

创建 IAM 用户并加入用户组 在IAM服务控制台中，左侧导航窗格中，选择“用户”，单击右上方的“创建用户”。 图13 创建用户 在“创建用户”页面按照下图配置“用户信息”，完成配置后单击页面右下角的“下一步”。 用户信息：用户名填写为 DataArts Studio -DQC。 访问方式：选择“管理控制台访问”和“编程访问”。 仅当创建IAM用户时的访问方式勾选“编程访问”后，此IAM用户才能通过认证鉴权，从而使用API、SDK等方式访问DataArts Studio。 凭证类型：勾选访问密钥和密码，推荐为用户自定义初始密码。 登录保护：根据需求选择，一般无需开启。 图14 配置用户信息 选择将用户加入到DQC用户组，单击页面右下角的创建用户。 图15 创建用户按钮 创建完成可返回用户列表查看。 图16 创建成功

自定义工作空间角色 使用华为账号登录DataArts Studio管理控制台的首页，单击“角色管理”。 企业模式是否预置部署者角色以及创建自定义角色时的参数，与企业模式是否开启有关。本文以未开启企业模式为例进行说明。 图17 新建自定义角色 在角色管理页面，单击“新建”，弹出“创建自定义角色”对话框。 角色名称：标识自定义角色的唯一标识，此处填写为“Developer_DQC”。 角色描述：补充对该角色的相关说明，此处填写为“基于开发者角色，仅保留数据质量权限”。 角色类型：未开启企业模式，选择任一自定义角色即可。 复用预置角色：选择“开发者”，然后去勾选其他组件的新增、删除、操作、编辑权限，仅为该角色保留数据质量组件的权限和其他组件的查看权限。 图18 创建自定义角色 配置完成后，单击“确定”即可新增自定义角色。

添加工作空间成员并配置角色 使用华为账号登录DataArts Studio管理控制台的首页，单击“空间管理”。 图19 空间管理 选择需要加入的工作空间，单击“编辑”。 图20 编辑工作空间 在空间信息界面，单击“添加”。 图21 添加成员 将新建的IAM用户加入工作空间，单击“确定”。 用户类型：选择“按用户添加”。 成员账号：选择创建IAM用户并加入用户组章节中新建的IAM用户。 设置角色：选择自定义工作空间角色章节中新建的自定义角色。 图22 添加成员 加入到工作空间后，该用户即可拥有DataArts Studio数据质量组件的操作权限，其余组件仅有查看权限但无法编辑。

实践场景及目标 某数据运营工程师专职负责数据质量监控相关工作，仅需要服务数据质量组件的操作权限。 图1 权限体系 服务的权限体系如图1所示。如果项目管理员直接赋予该数据运营工程师IAM账号“DAYU User系统角色+工作空间开发者角色”权限，则会出现如下非必需权限过大的风险： 依赖服务权限过大：服务作为平台型服务，DAYU User系统角色预置了依赖服务（如 MRS 、DWS等相关服务）的管理员权限。当为数据运营工程师IAM账号授予DAYU User系统角色后，会导致其拥有依赖服务的管理员权限。 服务其他组件操作权限不受控制：工作空间开发者角色默认具备该工作空间内所有组件的操作权限。当为数据运营工程师IAM账号授权工作空间开发者角色后，会导致其拥有数据质量组件之外的其他组件操作权限。 为了解决此问题，项目管理员可以按照如下解决方案进行权限最小化配置，这样既能满足实际业务使用，也避免了权限过大的风险。 为数据运营工程师IAM账号授予DAYU User系统角色权限，然后删除IAM账号中的依赖服务权限，再赋予依赖服务的最小权限合集。 在服务内，创建一个仅保留数据质量组件操作权限的自定义角色“Developer_DQC”，然后将数据运营工程师IAM账号添加为工作空间成员并赋予此角色。

操作流程 创建用户组并授予系统角色 User：创建数据运营工程师IAM账号所在的用户组，并授予 User权限。 去除用户组依赖服务权限并配置最小权限合集：为用户组去除默认的依赖服务管理员权限，然后配置最小权限。 创建IAM用户并加入用户组：为数据运营工程师创建IAM账号，并加入到用户组中。 自定义工作空间角色：在角色管理页面，新建自定义角色，仅授权某一组件权限，本案例中以数据质量为例。 添加工作空间成员并配置角色：将新创建的IAM用户加入到工作空间并配置为新建的自定义角色。 用户登录并验证权限：使用新创建的用户登录控制台，验证权限配置是否符合预期。 图2 最小化授权操作流程

创建并执行数据迁移作业 登录DataArts Studio控制台，单击相应工作空间后的“数据集成”。 在“集群管理”页面，单击所创建集群操作列“作业管理”，进入“作业管理”页面。 在表/文件迁移页签中，单击新建作业，创建数据迁移作业。 配置DWS源端作业参数、MRS Hive目的端作业参数，参数说明请参见配置DWS源端参数、配置MRS Hive目的端作业参数。 图4 作业配置 配置作业字段映射及任务配置，单击“保存并运行”，执行 CDM 作业。 在“表/文件迁移”作业列表中，查看作业执行情况。 图5 查看作业运行情况

创建数据迁移连接 登录DataArts Studio控制台，单击相应工作空间后的“数据集成”。 在集群管理页面，单击所创建集群操作列“作业管理”，进入“作业管理”页面。 图1 作业管理页面 在连接管理页签中，单击“新建连接”，创建DWS数据连接，参数说明请参见配置DWS连接。 图2 配置DWS连接 同上述步骤，创建MRS Hive数据连接，参数说明请参见配置MRS Hive连接。 图3 配置MRS Hive连接

创建CDM迁移作业 登录控制台，选择实例，单击“进入控制台”，单击相应工作空间后的“数据集成”。 在集群管理页面，单击集群操作列“作业管理”，进入“作业管理”页面，如图1所示。 图1 集群管理 在“连接管理”页签中，单击“新建连接”，分别创建Oracle数据连接和MRS Hive数据连接，详情请参见新建Oracle数据连接和新建MRS Hive数据连接。 在“表/文件迁移”页签中，单击“新建作业”，创建数据迁移作业。 配置Oracle源端参数、MRS hive目的端参数，并配置传递参数，参数形式为 ${varName}，本示例参数为${cur_date}，如图2所示。 图2 配置作业 不能在CDM迁移作业中配置“作业失败重试”参数，如有需要请在数据开发中的CDM节点配置“失败重试”参数。

新空间导入数据 请您登录控制台首页，选择并进入新工作空间的“数据质量”模块，然后执行如下操作依次导入规则模板、导入质量作业、导入对账作业。 导入规则模板 在数据质量主界面，单击左侧导航上的“规则模板”，进入规则模板列表。 在规则模板列表，单击“导入”。 图10 批量导入规则模板 在弹出的导入窗口中，选择从旧空间导出的规则模板文件，然后选择目录的映射路径，“重名处理策略”默认选择“终止”，最后单击“导入”。 图11 规则模板导入 在导入记录中，可查看导入状态，显示为成功后即成功导入。 图12 查看规则模板导入结果 导入质量作业 单击左侧导航上的“质量作业”，进入质量作业列表。 在质量作业列表，单击“导入”。 图13 批量导入质量作业 在弹出的导入窗口中，选择从旧空间导出的质量作业文件，然后选择数据连接、集群和目录等的映射路径，“重名处理策略”默认选择“终止”，最后单击“导入”。 图14 质量作业导入 在导入记录中，可查看导入状态，显示为成功后即成功导入。 图15 查看质量作业导入结果 导入对账作业 单击左侧导航上的“对账作业”，进入对账作业列表。 在对账作业列表，单击“导入”。 图16 批量导入对账作业 在弹出的导入窗口中，选择从旧空间导出的对账作业文件，然后选择数据连接、集群和目录等的映射路径，“重名处理策略”默认选择“终止”，最后单击“导入”。 图17 对账作业导入 在导入记录中，可查看导入状态，显示为成功后即成功导入。 图18 查看对账作业导入结果

旧空间导出数据 请您登录控制台首页，选择并进入旧工作空间的“数据质量”模块，然后执行如下操作依次导出规则模板、导出质量作业、导出对账作业。 导出规则模板 在数据质量主界面，单击左侧导航上的“规则模板”，进入规则模板列表。 在规则模板列表，选择自定义的规则模板，然后单击“导出”。 图1 批量导出规则模板 在弹出的导出窗口中，确认选择无误后单击“导出”，导出规则模板。 图2 规则模板导出确认 导出成功后，在导出记录中单击“下载”，即可通过浏览器下载地址，获取到导出的xlsx文件。 图3 获取规则模板导出结果 导出质量作业 单击左侧导航上的“质量作业”，进入质量作业列表。 在质量作业列表，选择需要迁移的质量作业，然后单击“导出”。 图4 批量导出质量作业 在弹出的导出窗口中，确认选择无误后单击“导出”，导出质量作业。 图5 质量作业导出确认 导出成功后，在导出记录中单击“下载”，即可通过浏览器下载地址，获取到导出的xlsx文件。 图6 获取质量作业导出结果 导出对账作业 单击左侧导航上的“对账作业”，进入对账作业列表。 在对账作业列表，选择需要迁移的对账作业，然后单击“导出”。 图7 批量导出对账作业 在弹出的导出窗口中，确认选择无误后单击“导出”，导出对账作业。 图8 对账作业导出确认 导出成功后，在导出记录中单击“下载”，即可通过浏览器下载地址，获取到导出的xlsx文件。 图9 获取对账作业导出结果

约束与限制 已完成管理中心数据搬迁。 业务指标监控中的指标、规则、业务场景等数据均不支持导入导出，如有涉及，请您进行手动配置同步。 系统支持将自定义的规则模板批量导出，一次最多可导出200个规则模板。 系统支持将自定义的规则模板批量导入，一次最大可导入4MB数据的文件。 系统支持批量导出质量作业，一次最多可导出200个质量作业。导出作业时，导出的单元格内容最大长度支持65534个字符。 系统支持批量导入质量作业，一次最大可导入4MB数据的文件。导入作业时，导入的单元格内容最大长度支持65534个字符。 系统支持批量导出对账作业，一次最多可导出200个对账作业。导出作业时，导出的单元格内容最大长度支持65534个字符。 系统支持批量导入对账作业，一次最大可导入4M数据的文件。导入作业时，导出的单元格内容最大长度支持65534个字符。

新空间导入数据 请您登录控制台首页，选择并进入新工作空间的“数据开发”模块，然后执行如下操作依次导入资源、导入环境变量、导入脚本、导入作业。 导入资源 在数据开发主界面，单击左侧导航上的“资源管理”，进入资源管理页面。 单击资源目录中的，选择“导入资源”。 图8 选择导入资源 在弹出的导入资源窗口中，“文件位置”选择为“本地”，选择从旧空间导出的资源文件，“重名处理策略”默认选择“覆盖”，单击下一步。 图9 导入资源 资源开始导入，导入成功后系统会显示导入的资源名。 图10 导入资源成功 导入环境变量 单击左侧导航上的“配置”，进入环境变量页面。 单击环境变量配置下的“导入”，导入环境变量。 图11 选择导入环境变量 在弹出的导入环境变量窗口中，“文件位置”选择为“本地”，选择从旧空间导出的环境变量文件，“重名处理策略”默认选择“覆盖”，单击下一步。 图12 导入环境变量 环境变量开始导入，导入前系统会提示是否要修改变量值，确定后环境变量即可导入成功。 图13 导入结果确认 导入脚本 单击左侧导航上的“脚本开发”，进入脚本目录。 单击脚本目录中的，选择“导入脚本”。 图14 选择导入脚本 在弹出的导入脚本窗口中，“文件位置”选择为“本地”，选择从旧空间导出的脚本文件，“重名处理策略”默认选择“覆盖”，单击下一步。 图15 导入脚本 脚本开始导入，导入成功后系统会显示导入的脚本名。 图16 导入脚本成功 导入作业 单击脚本目录树上方的，切换到作业界面。 单击作业目录中的，选择“导入作业”。 图17 选择导入作业 在弹出的导入作业窗口中，“文件位置”选择为“本地”，选择从旧空间导出的作业文件，单击下一步。 图18 导入作业 作业开始导入，导入成功后系统会显示导入的作业名。 图19 导入作业成功

新空间导入作业和连接 请您登录控制台首页，选择并进入新工作空间的“数据集成”模块，然后执行如下操作进行批量导入。 在CDM主界面，单击左侧导航上的“集群管理”，单击集群“操作”列的“作业管理”，进入到“表/文件迁移”界面。 单击作业列表上方的“导入”按钮，准备导入JSON文件。 图3 批量导入 在弹出的窗口中，选择导出作业获取的JSON文件，上传JSON文件。 图4 选择JSON文件 JSON文件上传成功后，单击“设置密码”，配置数据连接的密码或SK。 图5 进入设置密码 在设置密码弹窗中，依次输入各数据连接的密码或SK，完成后单击确认，回到导入作业界面。 图6 设置密码 在导入作业界面，单击确认，开始导入。 图7 开始导入 导入完成后，界面会显示导入情况。如果存在导入失败的情况，请您根据系统报错原因提示，调整后重新导入。

旧空间导出作业和连接 请您登录控制台首页，选择并进入旧工作空间的“数据集成”模块，然后执行如下操作进行批量导出。 在CDM主界面，单击左侧导航上的“集群管理”，单击集群“操作”列的“作业管理”，进入到“表/文件迁移”界面。 单击作业列表上方的“导出”按钮，准备导出连接和作业。 图1 批量导出 在弹出的窗口中，选择“全部作业和连接”，单击“确认”，导出所有作业和连接。 图2 全部导出 导出成功后，通过浏览器下载地址，获取到导出的JSON文件。

旧空间导出资源 请您登录控制台首页，选择并进入旧工作空间的“管理中心”模块，然后执行如下操作进行资源导出。 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts Studio控制台首页，选择对应工作空间的“管理中心”模块，进入管理中心页面。 在管理中心页面，单击“资源迁移”，进入资源迁移页面。 图1 资源迁移 单击“新建导出”，配置文件的OBS存储位置和文件名称。 图2 选择导出文件 单击“下一步”，勾选导出的模块。 图3 勾选导出的模块 单击“下一步”，等待导出完成，资源包导出到所设置的OBS存储位置。 图4 导出完成 导出资源耗时1分钟仍未显示结果则表示导出失败，请重试。如果仍然无法导出，请联系客服或技术支持人员协助解决。 导出完成后可在资源迁移任务列表中，单击对应任务的“下载”按钮，本地获取导出的资源包。 图5 下载导出结果

新空间导入资源 请您登录控制台首页，选择并进入新工作空间的“管理中心”模块，然后执行如下操作进行资源导入。 在管理中心页面，单击“资源迁移”，进入资源迁移页面。 图6 资源迁移 单击“新建导入”，选择导入方式后，配置待导入资源的OBS或本地路径。待导入的资源应为通过导出获取的zip文件。 图7 配置待导入的资源存储路径 单击“新建导入”，上传待导入资源。待导入的资源应为通过导出获取的zip文件 单击“下一步”，勾选导入的资源类型。 图8 勾选导入的资源类型 如果选择导入数据源，则单击“下一步”需要配置数据连接。 图9 配置数据连接 单击“下一步”，等待导入任务下发，导入任务成功下发后系统提示“导入开始”。 图10 导入开始 系统提示“导入开始”后，单击“确定”，可在资源迁移任务列表中查看导入结果。 其中存在子任务失败时，可单击红色子任务名，查看失败原因。 图11 查看导入结果

操作前准备 已创建新的工作空间，新建工作空间的用户需要具备DAYU Administrator或Tenant Administrator权限。 执行数据搬迁的用户，至少应具备新旧两个工作空间的开发者权限。 CDM集群和数据服务专享版集群在工作空间之间相互隔离，建议您在新空间提前准备好对应旧空间的集群。 搬迁依赖于OBS功能，请您提前规划OBS桶和文件夹目录。 DataArts Studio数据搬迁时，依赖各组件的备份或导入导出能力。您可以根据自己的数据需求，自由选择搬迁哪个组件的数据。 管理中心配置数据搬迁 数据集成配置数据搬迁 数据架构配置数据搬迁 数据开发配置数据搬迁 数据质量配置数据搬迁 数据目录配置数据搬迁 数据安全配置数据搬迁 数据服务配置数据搬迁

开发并调度Import GES作业 假设MySQL中的原始数据表是每日更新的，我们希望每天都能将基于原始数据的最新图数据更新到GES中，则需要使用数据开发按如下步骤编排作业，并定期调度。 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 创建一个数据开发批处理作业，作业名称可以命名为“import_ges”。 图2 新建作业 在作业开发页面，拖动1个Dummy节点、8个CDM Job节点、和2个Import GES节点到画布中，选中连线图标并拖动，编排图3所示的作业。 其中Dummy节点不执行任何操作，只作为起始点的标识。CDM Job节点用于调用在创建数据集成作业中创建的数据集成作业。Import GES节点用于将图数据导入GES。 图3 编排作业 分别配置作业中的8个CDM Job节点。调用已创建的数据集成作业，将原始数据标准化为GES点/边数据集，并同步到OBS和MRS Hive中。 图4 配置CDM节点 CDM节点说明： vertex_user_rds2hive（CDM Job节点）：在节点属性中，选择创建数据集成作业中的CDM集群，并关联CDM作业“vertex_user_rds2hive”。 vertex_user_rds2obs（CDM Job节点）：在节点属性中，选择创建数据集成作业中的CDM集群，并关联CDM作业“vertex_user_rds2obs”。 edge_friends_rds2hive（CDM Job节点）：在节点属性中，选择创建数据集成作业中的CDM集群，并关联CDM作业“edge_friends_rds2hive”。 edge_friends_rds2obs（CDM Job节点）：在节点属性中，选择创建数据集成作业中的CDM集群，并关联CDM作业“edge_friends_rds2obs”。 vertex_movie_rds2hive（CDM Job节点）：在节点属性中，选择创建数据集成作业中的CDM集群，并关联CDM作业“vertex_movie_rds2hive”。 vertex_movie_rds2obs（CDM Job节点）：在节点属性中，选择创建数据集成作业中的CDM集群，并关联CDM作业“vertex_movie_rds2obs”。 edge_rate_rds2hive（CDM Job节点）：在节点属性中，选择创建数据集成作业中的CDM集群，并关联CDM作业“edge_rate_rds2hive”。 edge_rate_rds2obs（CDM Job节点）：在节点属性中，选择创建数据集成作业中的CDM集群，并关联CDM作业“edge_rate_rds2obs”。 分别配置作业中的2个Import GES节点。由于1个Import GES节点只能选择一张点表和一张边表，并生成对应的元数据，因此本示例中使用2个Import GES节点依次进行导入。 Import GES节点说明： Import_GES_user-friend：在节点属性中，选择图名称后，边数据集和点数据集分别填写为“edge_friends”边表和“vertex_user”点表。另外，应配置为不允许重复边，否则定期调度后将产生大量重复边。 注意，“元数据来源”需要选择为“新建元数据”，然后单击“元数据”参数后的生成按钮，弹出新建元数据窗口，如图6所示。在新建元数据窗口内，分别选择MRS中的“edge_friends”边表和“vertex_user”点表，输出目录可以设置为OBS点表和边表所在目录，然后单击生成，系统会自动在“元数据”参数处回填已生成的元数据Schema所在的OBS目录。 Import_GES_movie-rate：在节点属性中，选择图名称后，边数据集和点数据集分别填写为“edge_rate”边表和“vertex_movie”点表。另外，应配置为不允许重复边，否则定期调度后将产生大量重复边。 注意，“元数据来源”需要选择为“新建元数据”，然后单击“元数据”参数后的生成按钮，弹出新建元数据窗口，如图6所示。在新建元数据窗口内，分别选择MRS中的“edge_rate”边表和“vertex_movie”点表，输出目录可以设置为OBS点表和边表所在目录，然后单击生成，系统会自动在“元数据”参数处回填已生成的元数据Schema所在的OBS目录。 图5 配置Import GES节点 图6 新建元数据 作业编排完成后，单击，测试运行作业。 图7 测试运行作业 如果作业运行正常，单击“调度配置”，配置作业的调度策略。 图8 调度配置 说明： 2023/04/01 00:00开始，每天00点00分执行一次作业。 依赖属性：可以配置为依赖其他作业运行，本例不涉及，无需配置。 跨周期依赖：可以选择配置为依赖上一周期或者不依赖，此处配置为不依赖即可。 最后保存并提交版本（单击），执行调度作业（单击）。实现作业每天自动运行，每日数据将自动导入到GES图中。 您如果需要及时了解作业的执行结果是成功还是失败，可以通过数据开发的运维调度界面进行查看，如图9所示。 图9 查看作业执行情况

新建MySQL到MRS Hive迁移作业 正式业务流程中，需要将MySQL中的原始样例数据需要导入MRS Hive中，并标准化为点数据集和边数据集。 在DataArts Studio数据集成控制台，进入“集群管理”页面，在集群列表中找到所需要的集群，单击“作业管理”。 在“作业管理”页面，单击“表/文件迁移”，再单击“新建作业”。 图21 表/文件迁移 按照如下步骤将MySQL中的4张原始数据表，依次迁移到MRS Hive中。 配置作业vertex_user_rds2hive。 源端的“表名”选择在新建OBS到MySQL迁移作业中迁移到MySQL的vertex_user，目的端的“表名”选择在创建MRS Hive标准数据表中创建的vertex_user表。其他参数配置如图所示，无需配置高级属性，然后单击“下一步”。 图22 vertex_user_rds2hive作业基础配置 在字段映射中，根据GES图数据的要求，此处需要新增字段label，作为图文件的标签。 vertex_user：label取值为user，并将此字段调整至第2列。 vertex_movie：label取值为movie，并将此字段调整至第2列。 edge_friends：label取值为friends，并将此字段调整至第3列。 edge_rate：label取值为rate，并将此字段调整至第3列。 将原始数据结构根据GES图导入的要求标准化。则点表vertex_user和vertex_movie需要在第二列补充标签label，边表edge_rate和edge_friends需要在第三列补充标签label。 点数据集和边数据集应符合GES图数据格式要求。图数据格式要求简要介绍如下，详情可参见一般图数据格式。 点数据集罗列了各个点的数据信息。一行为一个点的数据。格式如下所示，id是点数据的唯一标识。 id,label,property 1,property 2,property 3,… 边数据集罗列了各个边的数据信息，一行为一条边的数据。GES中图规格是以边的数量进行定义的，如一百万边。格式如下所示，id 1、id 2是一条边的两个端点的id。 id 1, id 2, label, property 1, property 2, … 图23 vertex_user_rds2hive新增字段映射 调整字段顺序，点文件中将label调整至第2列，边文件将label调整至第3列。调整完成后如图25所示，然后单击下一步。 图24 vertex_user_rds2hive调整字段顺序 图25 vertex_user_rds2hive字段映射 任务配置无需修改，直接保存并运行即可。 图26 任务配置 等待作业运行完成后，如果作业成功，则vertex_user表已成功迁移到MRS Hive中。 图27 vertex_user_rds2hive作业运行成功 参考2到4，完成vertex_movie_rds2hive、edge_friends_rds2hive和edge_rate_rds2hive作业的创建，将4张原始表从MySQL标准化到MRS Hive中。

新建MySQL到OBS迁移作业 正式业务流程中，需要将MySQL中的原始样例数据需要导入OBS中，并标准化为点数据集和边数据集。 在DataArts Studio数据集成控制台，进入“集群管理”页面，在集群列表中找到所需要的集群，单击“作业管理”。 在“作业管理”页面，单击“表/文件迁移”，再单击“新建作业”。 图13 表/文件迁移 按照如下步骤将MySQL中的4张原始数据表，依次迁移到OBS桶中。 配置作业vertex_user_rds2obs。 源端的“表名”选择在新建OBS到MySQL迁移作业中迁移到MySQL的vertex_user。目的端的“写入目录”注意选择非原始数据所在目录以避免文件覆盖，“文件格式”按照GES图导入格式要求设置为“ CS V格式”，由于表中有中文字符还需额外配置高级属性“编码类型”为“GBK”。 注意：目的端高级属性需要额外配置“自定义文件名”，取值为“${tableName}”。如果不配置，则迁移到OBS的CSV文件名会带上时间戳等额外字段，导致每次运行迁移作业获取的文件名不一致，无法每次迁移后自动导入GES图数据。 其他高级属性无需配置，单击“下一步”。 图14 vertex_user_rds2obs作业基础配置 图15 vertex_user_rds2obs作业高级配置 在字段映射中，根据GES图数据的要求，此处需要新增字段label，作为图文件的标签。 vertex_user：label取值为user，并将此字段调整至第2列。 vertex_movie：label取值为movie，并将此字段调整至第2列。 edge_friends：label取值为friends，并将此字段调整至第3列。 edge_rate：label取值为rate，并将此字段调整至第3列。 将原始数据结构根据GES图导入的要求标准化。则点表vertex_user和vertex_movie需要在第二列补充标签label，边表edge_rate和edge_friends需要在第三列补充标签label。 点数据集和边数据集应符合GES图数据格式要求。图数据格式要求简要介绍如下，详情可参见一般图数据格式。 点数据集罗列了各个点的数据信息。一行为一个点的数据。格式如下所示，id是点数据的唯一标识。 id,label,property 1,property 2,property 3,… 边数据集罗列了各个边的数据信息，一行为一条边的数据。GES中图规格是以边的数量进行定义的，如一百万边。格式如下所示，id 1、id 2是一条边的两个端点的id。 id 1, id 2, label, property 1, property 2, … 图16 vertex_user_rds2obs新增字段映射 调整字段顺序，点数据集将label调整至第2列，边数据集将label调整至第3列。调整完成后如图18所示，然后单击下一步。 图17 vertex_user_rds2obs调整字段顺序 图18 vertex_user_rds2obs字段映射 任务配置无需修改，直接保存并运行即可。 图19 任务配置 等待作业运行完成后，如果作业成功，则vertex_user.csv表已成功写入到OBS桶中。 图20 vertex_user_rds2obs作业运行成功 参考2到4，完成vertex_movie_rds2obs、edge_friends_rds2obs和edge_rate_rds2obs作业的创建，将4张原始表从MySQL标准化到OBS桶中。

新建OBS到MySQL迁移作业 为方便演示，需要将OBS中的CSV格式的样例数据导入到MySQL数据库中。 在DataArts Studio数据集成控制台，进入“集群管理”页面，在集群列表中找到所需要的集群，单击“作业管理”。 在“作业管理”页面，单击“表/文件迁移”，再单击“新建作业”。 图8 表/文件迁移 按照如下步骤将数据源准备中的4张原始数据表，依次从OBS迁移到MySQL数据库中。 配置作业vertex_user_obs2rds。 源端的“源目录或文件”选择在数据源准备中上传到OBS的vertex_user.csv，由于表中有中文字符还需额外配置高级属性“编码类型”为“GBK”。目的端的“表名”选择在创建MySQL原始数据表中创建的vertex_user表。然后单击“下一步”。 图9 vertex_user_obs2rds作业配置 在字段映射中，检查字段映射顺序是否正确。如果字段映射顺序正确，单击下一步即可。 图10 vertex_user_obs2rds字段映射 任务配置无需修改，直接保存并运行即可。 图11 任务配置 等待作业运行完成后，如果作业成功，则vertex_user表已成功迁移到MySQL数据库中。 图12 vertex_user_obs2rds作业运行成功 参考2到4，完成vertex_movie_obs2rds、edge_friends_obs2rds和edge_rate_obs2rds作业的创建，将4张原始表从OBS迁移到MySQL中。

创建数据表 本例中为了方便演示，我们需要通过数据集成将CSV格式的样例数据导入到MySQL数据库中，之后MySQL数据库即作为案例场景中的原始数据源端。因此在数据导入中，需要在MySQL数据库中预先创建原始数据表。 正式业务流程中，MySQL数据库源端数据需要导入OBS数据库作为点数据集和边数据集，这种到OBS的数据集成场景无需提前创建表。但MySQL数据库源端数据导入到MRS Hive时，需要在MRS Hive数据库中预先创建标准数据表。 因此，本例共涉及MySQL数据库创建原始数据表和在MRS Hive数据库中创建标准数据表。本例以执行SQL方式建表为例进行说明。 创建MySQL原始数据表。在MySQL中选择原始表所在的数据库后，执行如下SQL语句，按照数据源准备中的原始数据结构创建4个原始数据表。 DROP TABLE IF EXISTS `edge_friends`; CREATE TABLE `edge_friends` ( `user1` varchar(32) DEFAULT NULL, `user2` varchar(32) DEFAULT NULL ); DROP TABLE IF EXISTS `edge_rate`; CREATE TABLE `edge_rate` ( `user` varchar(32) DEFAULT NULL, `movie` varchar(64) DEFAULT NULL, `score` int(11) unsigned DEFAULT NULL, `datatime` varchar(32) DEFAULT NULL ); DROP TABLE IF EXISTS `vertex_movie`; CREATE TABLE `vertex_movie` ( `movie` varchar(64) DEFAULT NULL, `year` varchar(32) DEFAULT NULL, `genres` varchar(64) DEFAULT NULL ); DROP TABLE IF EXISTS `vertex_user`; CREATE TABLE `vertex_user` ( `user` varchar(32) DEFAULT NULL, `gender` varchar(32) DEFAULT NULL, `age` varchar(32) DEFAULT NULL, `occupation` varchar(32) DEFAULT NULL, `zip-code` varchar(32) DEFAULT NULL ); 创建MRS Hive标准数据表。 将原始数据结构根据GES图导入的要求标准化。则点表vertex_user和vertex_movie需要在第二列补充标签label，边表edge_rate和edge_friends需要在第三列补充标签label。 点数据集和边数据集应符合GES图数据格式要求。图数据格式要求简要介绍如下，详情可参见一般图数据格式。 点数据集罗列了各个点的数据信息。一行为一个点的数据。格式如下所示，id是点数据的唯一标识。 id,label,property 1,property 2,property 3,… 边数据集罗列了各个边的数据信息，一行为一条边的数据。GES中图规格是以边的数量进行定义的，如一百万边。格式如下所示，id 1、id 2是一条边的两个端点的id。 id 1, id 2, label, property 1, property 2, … 您可以在DataArts Studio数据开发模块，选择在管理中心创建数据连接中创建的MRS Hive数据连接，并选择数据库后，执行如下SQL语句，在MRS Hive数据库中创建一个标准数据表。 图4 创建MRS Hive标准数据表 DROP TABLE IF EXISTS `edge_friends`; CREATE TABLE test_ges.`edge_friends` ( `user1` STRING COMMENT '', `user2` STRING COMMENT '', `label` STRING COMMENT '' ); DROP TABLE IF EXISTS `edge_rate`; CREATE TABLE test_ges.`edge_rate` ( `user` STRING COMMENT '', `movie` STRING COMMENT '', `label` STRING COMMENT '', `score` INT COMMENT '', `datatime` STRING COMMENT '' ); DROP TABLE IF EXISTS `vertex_movie`; CREATE TABLE test_ges.`vertex_movie` ( `movie` STRING COMMENT '', `label` STRING COMMENT '', `year` STRING COMMENT '', `genres` STRING COMMENT '' ); DROP TABLE IF EXISTS `vertex_user`; CREATE TABLE test_ges.`vertex_user` ( `user` STRING COMMENT '', `label` STRING COMMENT '', `gender` STRING COMMENT '', `age` STRING COMMENT '', `occupation` STRING COMMENT '', `zip-code` STRING COMMENT '' );

约束限制 通过Import GES节点自动生成元数据时，有如下约束限制： 生成元数据时，目前仅支持选择单标签（Label）场景的点表和边表。如果点表或边表中存在多个标签，则生成的元数据会存在缺失。 生成元数据xml文件是手动单击“生成元数据”触发的，如果在该节点在后续的作业调度运行中，点表和边表结构发生变化，元数据xml文件并不会随之更新，需要手动进入新建元数据窗口，再次单击“生成元数据”重新生成新的元数据xml文件。 生成的元数据xml文件，属性（Property）中的数据复合类型（Cardinality），目前仅支持填写为“single”类型，不支持自定义。 生成元数据功能本身，支持一次生成多对点表和边表的元数据xml文件。但考虑到Import GES节点的“边数据集”和“点数据集”参数，分别只能选择一张表，建议您在有多对点表和边表的情况下，分拆多个Import GES节点分别导入，以确保导入图数据时，元数据与每对点表和边表能够一一对应。

场景说明 本案例基于某电影网站的用户和评分数据，使用DataArts Studio将MySQL原始数据处理为标准点数据集和边数据集，并同步到OBS和MRS Hive中，然后通过Import GES节点自动生成元数据后，将图数据导入到GES服务中。 图1 业务场景说明 需要额外说明的是，GES图数据格式包含三部分：点数据集、边数据集以及元数据，如果原始数据不符合GES指定的格式，则需要将数据整理为GES支持的格式。 点数据集用于存放点数据。 边数据集用于存放边数据。 元数据用于描述点数据集和边数据集中的数据格式。 GES相关概念和图数据介绍请参见一般图数据格式。

设置依赖作业后的作业运行原理 同周期依赖和跨周期依赖的作业运行原理有所差异。为方便说明，本例中假设“依赖的作业失败后，当前作业处理策略”参数设置为“继续执行”，作业A不判断作业B的实例运行状态；如果该参数设置为“挂起”或“取消执行”，则作业A还会额外判断作业B的实例中是否存在失败实例。 同周期依赖：即作业A与其依赖作业B为相同调度周期，如分钟依赖分钟、小时依赖小时或天依赖天。 同周期依赖的情况下，当作业A的依赖作业配置为作业B后，作业A会在 (作业A执行时间-作业A周期时间, 作业A执行时间] 时间区间内检查是否有作业B的实例运行，只有在此期间作业B的实例运行完成才会运行作业A。 示例1：作业A依赖作业B，均为分钟调度。作业A的开始时间10:00，周期时间20分钟；作业B的开始时间10:00，周期时间10分钟。则会出现如下情况： 表1 示例1：同周期作业依赖情况 时间点 作业B（分钟调度，开始时间10:00，周期时间10分钟） 作业A（分钟调度，开始时间10:00，周期时间20分钟） 10:00 执行 检查 (09:40, 10:00] 区间，有作业B实例运行，待作业B执行完成后，执行作业A 10:10 执行 - 10:20 执行 检查 (10:00, 10:20] 区间，有作业B实例运行，待作业B执行完成后，执行作业A 10:30 执行 - ... ... ... 示例2：作业A依赖作业B，均为天调度。作业A的开始时间为8月1日09:00；作业B的开始时间8月1日10:00。则会出现如下情况： 表2 示例2：同周期作业依赖情况 时间点 作业B（天调度，开始时间为8月1日10:00） 作业A（天调度，开始时间8月1日09:00） 8月1日09:00 - 检查 (7月31日09:00, 8月1日09:00] 区间，无作业B实例运行，不执行作业A 8月1日10:00 执行 - 8月2日09:00 - 检查 (8月1日09:00, 8月2日09:00] 区间，有作业B实例运行，待作业B执行完成后，执行作业A 8月2日10:00 执行 - ... ... ... 天作业依赖天作业，上游作业调度时间早于下游作业，下游作业才能依赖到上游当天的作业。 跨周期依赖：即作业A与其依赖作业B为不同调度周期，如小时依赖分钟、天依赖分钟、天依赖小时或月依赖天。 跨周期依赖的情况下，当作业A的依赖作业配置为作业B后，作业A会在 [上一作业A调度周期的自然起点, 当前作业A调度周期的自然起点) 时间区间内检查是否有作业B的实例运行，只有在此期间作业B的实例运行完成才会运行作业A。 调度周期的自然起点定义如下： 调度周期为小时：上一调度周期的自然起点为上一小时的零分零秒，当前调度周期的自然起点为当前小时的零分零秒。 调度周期为天：上一调度周期的自然起点为昨天的零点零分零秒，当前调度周期的自然起点为今天的零点零分零秒。 调度周期为月：上一调度周期的自然起点为上个月1号的零点零分零秒，当前调度周期的自然起点为当月1号的零点零分零秒。 示例3：作业A依赖作业B，作业A为天调度，作业B为小时调度。作业A的每天02:00执行；作业B的开始时间00:00，间隔时间10小时。则会出现如下情况： 表3 示例3：跨周期作业依赖情况 时间点 作业B（小时调度，开始时间00:00，间隔时间10小时） 作业A（天调度，每天02:00执行） 第1天00:00 执行 - 第1天02:00 - 检查 [第0天00:00:00, 第1天00:00:00) 区间，无作业B实例运行，不执行 第1天10:00 执行 - 第1天20:00 执行 - 第2天00:00 执行 - 第2天02:00 - 检查 [第1天00:00:00, 第2天00:00:00) 区间，有作业B实例运行完成，执行作业A 第2天10:00 执行 - 第2天20:00 执行 - ... ... ... 示例4：作业A依赖作业B，作业A为月调度，作业B为天调度。作业A的每月1号、2号的02:00执行；作业B在8月1日00:00开始执行。则会出现如下情况： 表4 示例4：跨周期作业依赖情况 时间点 作业B（天调度，8月1日00:00执行） 作业A（月调度，每月1号、2号的02:00执行） 8月1日00:00 执行 - 8月1日02:00 - 检查 [7月1日00:00:00, 8月1日00:00:00) 区间，无作业B实例运行，不执行 8月2日00:00 执行 - 8月2日02:00 - 检查 [7月1日00:00:00, 8月1日00:00:00) 区间，无作业B实例运行，不执行 ... - ... 9月1日00:00 执行 - 9月1日02:00 - 检查 [8月1日00:00:00, 9月1日00:00:00) 区间，有作业B实例运行完成，执行作业A 9月2日00:00 执行 - 9月2日02:00 - 检查 [8月1日00:00:00, 9月1日00:00:00) 区间，有作业B实例运行完成，执行作业A ... ... ...

设置依赖作业的条件 当前周期调度作业的调度周期包括分钟、小时、天、周、月这五种周期，周期调度作业A如果要配置依赖作业为周期调度作业B，则调度周期必须符合以下要求： 作业A的调度周期不能比依赖作业B小。例如，作业A和作业B同为分钟/小时调度，A的间隔时间小于B的间隔时间，则作业A不能设置作业B为依赖作业；作业A为分钟调度，作业B为小时调度，则作业A不能设置作业B为依赖作业。 作业A和依赖作业B中不能有任一调度周期为周。例如，作业A的调度周期为周或作业B的调度周期为周，则作业A不能设置作业B为依赖作业。 调度周期为月的作业只能依赖调度周期为天的作业。例如，作业A的调度周期为月，则作业A只能设置调度周期为天的作业为依赖作业。 不同调度周期的作业，其允许配置的依赖作业调度周期总结如图2所示。 图2 作业依赖关系全景图

解释说明 周期调度作业支持设置调度周期符合条件的作业为依赖作业。设置依赖作业的操作详情请参考配置作业调度任务（批处理作业）章节。 例如周期调度作业A，可设置其依赖作业为作业B，如图1所示进行配置。则仅当其依赖的作业B在某段时间内所有实例运行完成、且不存在失败实例时，才开始执行作业A。 依赖的作业B的“某段时间”，计算方法如下，详见后文设置依赖作业后的作业运行原理。 同周期依赖，如分钟依赖分钟、小时依赖小时或天依赖天时，“某段时间”为 (作业A执行时间-作业A周期时间, 作业A执行时间] 。 跨周期依赖：如小时依赖分钟、天依赖分钟、天依赖小时或月依赖天时，“某段时间”为 [上一作业A调度周期的自然起点, 当前作业A调度周期的自然起点) 。 作业A是否判断其依赖的作业B的实例状态，与“依赖的作业失败后，当前作业处理策略”参数有关，具体如下： “依赖的作业失败后，当前作业处理策略”参数配置为“挂起”或“取消执行”后，当其依赖的作业B在某段时间内存在运行失败实例，则作业A“挂起”或“取消执行”。 “依赖的作业失败后，当前作业处理策略”参数配置为“继续执行”，只要其依赖的作业B在某段时间内所有实例跑完（不判断其状态），则作业A就继续执行。 图1 作业依赖属性

使用 DLI SQL脚本开发构建告警报表脚本 我们需要通过SQL脚本在DLI中新建OBS表来存放数据表，然后再构建一个SQL脚本来统计告警信息。 在DataArts Studio管理中心模块创建一个到DLI的连接，数据连接名称为“dli”。 进入数据开发模块，在DLI中创建一个数据库，用于存放数据表，数据库名称为“dlitest”。 创建一个DLI SQL脚本，通过SQL语句来创建数据表alarm_info，alarm_count_info。 其中，alarm_info、alarm_count_info都为OBS表，数据存储在OBS中，分别用于存放原始告警表、告警统计报表。 图9 创建数据表 关键操作说明： 图9中的脚本开发区为临时调试区，关闭脚本页签后，开发区的内容将丢失。如需保留该SQL脚本，请单击，将脚本保存至指定的目录中。 关键参数说明： 数据连接：1中创建的DLI数据连接。 数据库：2中创建的数据库。 资源队列：使用DLI提供的默认资源队列“default”。 SQL语句：如下所示。 create table alarm_info(alarm_time string, alarm_id string, alarm_type int ) using csv options(path 'obs://dlfexample/alarm_info') partitioned by(alarm_time); create table alarm_count_info(alarm_time string, alarm_type int, alarm_count int) using csv options(path 'obs://dlfexample/alarm_count_info'); 单击运行脚本，创建alarm_info、alarm_count_info数据表。 清空编辑器中4的SQL语句，重新输入SQL语句。 ALTER TABLE alarm_info ADD PARTITION (alarm_time = ${dayParam}) LOCATION 'obs://dlfexample/alarm_info/${obsPathYear}'; insert into alarm_count_info select alarm_time,alarm_type,count(alarm_type) from alarm_info where alarm_time = ${dayParam} group by alarm_time,alarm_type; SQL语句实现的功能： 在OBS的“obs://dlfexample/alarm_info”目录下，根据日期新建DLI分区。假设当前日期为2018/10/10，那么在“obs://dlfexample/alarm_info”目录下新建“2018/10/09”的DLI分区，用于存放前一天的数据表。 按照告警分区时间和告警类别进行统计，将统计结果插入alarm_count_info数据表。 关键参数说明： ${dayParam}：dayParam是指alarm_info表分区值，在脚本编辑器下方输入具体的参数值“$getCurrentTime(@@yyyyMMdd@@,-24*60*60)”。 ${obsPathYear}：obsPathYear是指OBS分区目录路径，在脚本编辑器下方输入具体的参数值“$getCurrentTime(@@yyyy/MM/dd@@,-24*60*60)”。 脚本调试无误后，我们需要保存该脚本，脚本名称为“dli_partition_count”。在后续的作业中设置为定期执行该脚本（使用DLF作业开发和作业调度每天定时输出告警统计报表），实现定期输出告警统计报表。

环境准备 已开通 对象存储服务 （OBS），并创建桶，例如“obs://dlfexample/alarm_info”、“obs://dlfexample/alarm_count_info”，分别用于存放原始告警表和告警统计报表。 已开通 数据治理中心 DataArts Studio，并具备CDM集群“cdm-alarm”，用于创建CDM作业。 已开通 数据湖探索 服务（DLI）。 已开通 消息通知 服务（ SMN ）。

创建CDM作业 方案的最后一步需要将OBS中的告警统计报表迁移到RDS MySQL中，我们选择使用CDM来实现该功能。 关键参数说明： 作业名称：obs_rds，在后续的作业中设置为定期执行该作业（使用DLF作业开发和作业调度每天定时输出告警统计报表），实现定期迁移数据。 源端：存储告警统计报表的OBS目录，源连接“obs_link”需要提前在CDM中创建好。 目的端：即将存储告警统计报表的RDS MySQL空间，目的连接“mysql_link”需要提前在CDM中创建好。