检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),没有字段映射这一步骤。 整库迁移没有配置字段映射关系这一步骤。
表2 数据库账号权限 类型名称 权限要求 源数据库连接账号 Oracle 库需要开启归档日志,同时需表查询权限和日志解析权限,开通对应权限详情请参考Oracle数据源如何开通归档日志、查询权限和日志解析权限?。
数据复制服务 DRS 支持主流数据库到华为云的入云和出云迁移 数据库在线迁移 数据库实时同步 与CDM的区别: 数据库迁移使用DRS;到大数据系统的迁移使用CDM。
表3 同步对象范围 类型名称 使用须知 同步对象范围 支持完整同步Kafka Topic所有消息内容,但不支持对Kafka Topic消息进行解析重组后同步。 注意事项 除了数据源版本、连接账号权限及同步对象范围外,您还需要注意的事项请参见下表。
整库同步支持的数据源类型 整库同步适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线同步场景,不适用于在线实时同步。
否:表示在线导入,相对离线导入,在线导入速度略慢,但导入过程中图并未锁定,可读不可写。 重复边忽略Label 否 重复边的定义,是否忽略Label。取值为是或者否,默认取是。 是:表示重复边定义不包含Label,即用<源点,终点>标记一条边,不包含Label。
数据管理 脚本开发 脚本开发功能提供如下能力: 提供在线脚本编辑器,支持多人协作进行SQL、Shell等脚本在线代码开发和调测。 支持使用变量和函数。 支持脚本的版本管理能力。
mysql.bool.type.transform:配置mysql读取时,是否将tinyint(1)解析成boolean类型,默认为true。 引用符号 否 配置引用符号,例如"。 数据库包围标识符。对某些数据库意味着大小写敏感,如不需用请置空。
通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台,借助DLF的在线脚本编辑、周期调度CDM的迁移作业,也可以实现增量数据迁移。
填写参数值,单击“开始测试”,即可在线发送API请求,在右侧可以看到API请求详情及返回内容。 测试过程中,如果数据服务API查询及返回数据的总时长超过默认60秒,会报超时错误。 如果测试失败,请查看错误提示并做相应的修改重新测试。
${}格式:识别脚本中${}格式的定义,解析其中的字段为变量名,如${xxx},识别为变量名:xxx。
云数据库 RDS 华为云RDS是一种基于云计算平台的即开即用、稳定可靠、弹性伸缩、便捷管理的在线关系型数据库服务。 MySQL MySQL是目前最受欢迎的开源数据库之一,其性能卓越,架构成熟稳定,支持流行应用程序,适用于多领域多行业,支持各种WEB应用,成本低,中小企业首选。
运行需要解析样本文件的静态脱敏任务时,样本文件大小建议不超过10MB,否则静态脱敏任务可能会失败。另外,OBS样本文件只能用于DLI引擎的静态脱敏任务,HDFS样本文件只能用于MRS引擎的静态脱敏任务。静态脱敏场景与引擎之间的对应关系请参考参考:静态脱敏场景介绍。
指标应用场景 描述该指标重要的应用场景,包括在线报表、例行报告、汇报材料等。 备注 在指标描述之外还需要补充的信息,有助于正确理解和使用该指标。 度量对象 衡量该指标的度量字段,如果不涉及可以不填写。
支持单击“自动解析依赖”对作业依赖关系进行自动识别。 说明: 跨工作空间的作业依赖规则,请参见作业依赖规则。 数据开发当前支持两种调度依赖策略:传统周期调度依赖和自然周期调度依赖。这两种周期调度依赖只能选择其中一种。
整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线迁移场景,不适用于在线实时迁移。 数据集成支持整库迁移的数据源如表2所示。
整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线迁移场景,不适用于在线实时迁移。 数据集成支持整库迁移的数据源如表2所示。
填写参数值,单击“开始测试”,即可在线发送API请求,在右侧可以看到API请求详情及返回内容。 测试过程中,如果数据服务API查询及返回数据的总时长超过默认60秒,会报超时错误。 如果测试失败,请查看错误提示并做相应的修改重新测试。
表8 SQL脚本支持查看/下载/转储规格 SQL类型 在线查看最大结果条数 下载最大结果 转储最大结果 DLI 1000 1000条且少于3MB 无限制 Hive 1000 1000条且少于3MB 10000条或3MB DWS 1000 1000条且少于3MB 10000条或3MB