检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
} ] } 连接参数 FTP和SFTP的连接参数相同。 参数 是否必选 类型 说明 linkConfig.server 是 String FTP或SFTP服务器的地址。 linkConfig.port 是 String FTP或SFTP服务器端口号。 linkConfig
fromJobConfig.inputFormat 是 枚举 传输数据时所用的文件格式，目前支持以下文件格式： CSV_FILE：CSV格式，用于迁移文件到数据表的场景。 JSON_FILE：JSON格式，一般都是用于迁移文件到数据表的场景。 BINARY_FILE：二进制格式，不解析文件
如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 /ftp/a.csv|/ftp/b.txt 文件格式 指CDM以哪种格式解析数据，可选择以下格式： CSV格式：
org 端口 FTP或SFTP服务器的端口，FTP默认值为21；SFTP默认值为22。 21 用户名 登录FTP或SFTP服务器的用户名。 cdm 密码 登录FTP或SFTP服务器的密码。 - FTP文件名编码 FTP时显示该参数。 ftp-client的controlEncodi
配置FTP/SFTP源端参数 表1 FTP/SFTP作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源目录或文件 要传输的目录或单个文件路径。 FROM_DIRECTORY/ or FROM_DIRECTORY/example.csv 文件格式 传输数据时使用的格式。
SFTP/FTP数据连接参数说明 表1 SFTP/FTP数据连接 参数 是否必选 说明 数据连接类型 是 SFTP/FTP连接固定选择为SFTP/FTP。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。
数据加密 管理密钥（高级特性） 文件加密（高级特性） 外部接口（高级特性） 父主题： 敏感数据保护
文件加密任务在单Region内，加密中的任务限制在200个，超出该数量的任务，将状态置为加密失败。 创建文件加密任务 在DataArts Studio控制台首页，选择对应工作空间的“数据安全”模块，进入数据安全页面。 单击数据安全左侧导航树中的“数据加密”，在密钥管理页面选择“文件加密”页签，进入文件加密页签。
数据质量 质量作业和对账作业有什么区别？ 如何确认质量作业或对账作业已经阻塞？ 如何手工重启阻塞的质量作业或对账作业？ 怎样查看质量规则模板关联的作业？ 用户在执行质量作业时提示无MRS权限怎么办？
MD5校验文件一致性 CDM数据迁移以抽取-写入模式进行，CDM首先从源端抽取数据，然后将数据写入到目的端。在迁移文件到OBS时，迁移模式如图1所示。 图1 迁移文件到OBS 在这个过程中，CDM支持使用MD5检验文件一致性。 抽取时 该功能支持源端为OBS、HDFS、FTP、SFTP、HT
MD5校验文件一致性 CDM数据迁移以抽取-写入模式进行，CDM首先从源端抽取数据，然后将数据写入到目的端。在迁移文件到OBS时，迁移模式如图1所示。 图1 迁移文件到OBS 在这个过程中，CDM支持使用MD5检验文件一致性。 抽取时 该功能支持源端为OBS、HDFS、FTP、SFTP、HT
数据开发概述 数据开发是一个一站式的大数据协同开发平台，提供全托管的大数据调度能力。它可管理多种大数据服务，极大降低用户使用大数据的门槛，帮助您快速构建大数据处理中心。 数据开发模块曾被称为数据湖工厂（Data Lake Factory，后简称DLF）服务，因此在本文中，“数据湖
开放功能和数据。 相对于数据共享交换或其他数据开放形式，使用数据服务进行数据开放具备如下优势： 统一接口标准，减少上层应用对接工作量。 将数据逻辑沉淀至数据平台，实现应用逻辑与数据逻辑解耦，在减少数据模型的重复开发的同时，避免数据逻辑调整带来的“散弹式修改”。 将数据逻辑相关的存
avg_rating desc limit 10 图2 脚本（top_rating_movie） 关键参数说明： 数据连接：步骤4中创建的DWS数据连接。 数据库：步骤6中创建的数据库。 脚本调试无误后，单击“保存并提交版本”提交该脚本，脚本名称为“top_rating_movie”。在后续开发并调度作业引用该脚本。
新建数据标准 数据标准是用于描述公司层面需共同遵守的数据含义和业务规则，它描述了公司层面对某个数据的共同理解，这些理解一旦确定下来，就应作为企业层面的标准在企业内被共同遵守。 数据标准，也称数据元，由一组属性规定其定义、标识、表示和允许值的数据单元，是不可再分的最小数据单元。您可
离，避免数据泄漏，同时保证VPC内不同云服务间数据迁移时的传输安全。用户还可以使用VPN网络将本地数据中心的数据迁移到云服务，具有高度的安全性。 CDM数据迁移以抽取-写入模式进行。CDM首先从源端抽取数据然后将数据写入到目的端，数据访问操作均由CDM主动发起，对于数据源（如RD
外部接口用于对接第三方平台的接口，当前支持加密接口和通知接口。 加密类型：主要用于在数据开发导入数据文件时，根据数据入湖检测规则实时发现敏感数据后，调用外部接口所对接的的第三方平台加密算法对文件数据进行加密处理。 消息通知类型：主要用于配置权限到期提醒时，通过选择外部接口，将权限到期提醒消息发送给外
管理密钥用于存储密钥的信息。 密钥可用于如下场景： 数据集成（离线作业）进行表数据迁移时，在“敏感数据检测”发现敏感数据后，如果需要通过转换器进行加密，则要从数据安全获取密钥信息，详见配置离线处理集成作业。 在数据安全进行文件加密时，需要获取密钥信息，详见文件加密（高级特性）。 在新版本模式下仅当
据库，同步到云上的数据库服务或大数据服务中，适用于数据库离线迁移场景，不适用于在线实时迁移。 数据集成支持整库迁移的数据源如表2所示。 表2 整库迁移支持的数据源 数据源分类 数据源 读取 写入 说明 数据仓库 数据仓库服务（DWS） 支持 支持 - Hadoop （仅支持本地存
数据服务 数据服务简介 共享版与专享版数据服务的对比 开发数据服务API 调用数据服务API 查看API访问日志 配置数据服务审核中心
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
