检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择导入作业 在弹出的导入作业窗口中,“文件位置”选择为“本地”,选择从旧空间导出的作业文件,单击下一步。 图18 导入作业 作业开始导入,导入成功后系统会显示导入的作业名。 图19 导入作业成功 搬迁后验证 在新空间的脚本、作业、环境变量、资源数据导入完成后,您可以在新空间查看并
上表中非云服务的数据源,例如MySQL,既可以支持用户本地数据中心自建的MySQL,也可以是用户在ECS上自建的MySQL,还可以是第三方云的MySQL服务。 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线迁移场景,不适用于在线实时迁移。
输出数据源搭配组成同步链路进行数据同步。详情请参见支持的数据源。 复杂网络环境下的数据同步 支持云数据库、本地IDC、ECS自建数据库等多种环境下的数据同步。在配置同步任务前,您可以根据数据库所在网络环境,选择合适的同步解决方案来确保数据集成资源组与您将同步的数据来源端与目标端网
数据架构师(Data Architects):数据架构师是领域数据治理工作在IT层面的代表。 开发和维护本领域的数据系统或子系统,确保数据在系统中得以记录,数据标准、数据质量规则、数据安全、主/参考数据管理、数据服务在系统中得以实施。 提供数据系统的数据相关信息(元数据、数据字典、数据血缘)。
系建模页面。 在页面的中间栏位的最上方,选择一个需要导入的物理模型。 单击列表上方的“导入”按钮,在弹出的导入窗口中,选择并上传需要导入的表文件。 图23 导入关系建模表 上传文件后系统开始自动导入,导入成功后系统会显示导入的情况。 图24 导入关系建模表成功 在主题树上方,依次
基于MRS Hive表构建图数据并自动导入GES 在DataArts Studio中,您可以将原始数据表按照GES数据导入要求处理为标准点数据集和边数据集,并通过自动生成元数据功能,将图数据(点数据集、边数据集和元数据)定期导入到GES服务中,在GES中对最新数据进行可视化图形分析。 案例
是否支持字段转换? 支持,CDM支持以下字段转换器: 脱敏 去前后空格 字符串反转 字符串替换 表达式转换 在创建表/文件迁移作业的字段映射界面,可新建字段转换器,如下图所示。 图1 新建字段转换器 脱敏 隐藏字符串中的关键信息,例如要将“12345678910”转换为“123****8910”,则配置如下:
在数据质量主界面,单击左侧导航上的“规则模板”,进入规则模板列表。 在规则模板列表,选择自定义的规则模板,然后单击“导出”。 图1 批量导出规则模板 在弹出的导出窗口中,确认选择无误后单击“导出”,导出规则模板。 图2 规则模板导出确认 导出成功后,在导出记录中单击“下载”,即可通过浏览器下载地址,获取到导出的xlsx文件。
上表中非云服务的数据源,例如MySQL,既可以支持用户本地数据中心自建的MySQL,也可以是用户在ECS上自建的MySQL,还可以是第三方云的MySQL服务。 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线迁移场景,不适用于在线实时迁移。
回到导入作业界面。 图6 设置密码 在导入作业界面,单击确认,开始导入。 图7 开始导入 导入完成后,界面会显示导入情况。如果存在导入失败的情况,请您根据系统报错原因提示,调整后重新导入。 搬迁后验证 在新空间的作业和连接导入完成后,您可以在新空间查看并验证作业和连接是否与旧空间一致,以确保导入成功。
对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。 数据集成配置 访问标识(AK) 是 适用组件勾选数据集成后,呈现此参数。
分库分表同步适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于多库多表同步场景。 支持分库分表同步的数据源如下所示: 源端为RDS(MySQL)时支持分库分表同步。 整库同步支持的数据源类型 整库同步适用于将本地数据中心或在ECS上自建的数据库,同步到云
环境变量中支持定义变量和常量,环境变量的作用范围为当前工作空间。 变量是指不同的空间下取值不同,需要重新配置值,比如“工作空间名称”变量,这个值在不同的空间下配置不一样,导出导入后需要重新进行配置。 常量是指在不同的空间下都是一样的,导入的时候,不需要重新配置值。 图1 环境变量 作业
使用Token前请确保Token离过期有足够的时间,防止调用API的过程中Token过期导致调用API失败。 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。 Toke
如果导入的作业在系统中有重名时,需要确保系统中该作业状态为“停止”时,才能导入成功。 在作业目录中导入一个或多个作业 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 单击作业目录中的 > 导入作业,选择已上传至OBS或者本地中的作业文件,以及重名处理策略。 在硬锁策略下
枚举值: ONE: 表示每条子(父)逻辑实体数据在父(子)逻辑实体中有且只有一条数据与之对应。 ZERO_OR_ONE: 表示每条子(父)逻辑实体数据在父(子)逻辑实体中最多有一条数据与之对应。 ZERO_OR_N: 表示每条子(父)逻辑实体数据在父(子)逻辑实体中可能有多条数据与之对应。
枚举值: ONE: 表示每条子(父)逻辑实体数据在父(子)逻辑实体中有且只有一条数据与之对应。 ZERO_OR_ONE: 表示每条子(父)逻辑实体数据在父(子)逻辑实体中最多有一条数据与之对应。 ZERO_OR_N: 表示每条子(父)逻辑实体数据在父(子)逻辑实体中可能有多条数据与之对应。
表关联作业算子列表(邀测) 查询表相关的作业算子列表,该接口功能处于邀测阶段,后续将随功能公测将逐步开放。 产出信息(邀测) 查询表相关的作业算子运行实例信息,该接口功能处于邀测阶段,后续将随功能公测将逐步开放。 批量打标签(邀测) 批量给资产打标签。 父主题: API概览
Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 在脚本目录中,双击已开发完成的脚本名称,进入脚本开发页面。 提交脚本后在脚本编辑器上方单击“解
本更新。 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择专享版,进入总览页。 进入“开发API > API管理”页面。确保待更新版本的API为已发布状态后,在API服务列表操作列中,选择“编辑”。 在API编辑