检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据传输安全 用户个人敏感数据(包括密码)将通过TLS 1.2、TLS1.3进行传输中加密,所有DataArts Studio的API调用都支持 HTTPS 来对传输中的数据进行加密。 父主题: 安全
索引 待写入数据的Elasticsearch的索引,类似关系数据库中的数据库名称。CDM支持自动创建索引和类型,索引和类型名称只能全部小写,不能有大写。 index 类型 待写入数据的Elasticsearch的类型,类似关系数据库中的表名称。类型名称只能全部小写,不能有大写。 说明:
Studio数据连接。 对于Serverless服务(例如DLI),DataArts Studio通过管理中心的环境隔离来配置生产环境和开发环境数据湖服务的对应关系,在开发和生产流程中自动切换对应的数据湖。因此您需要在Serverless数据湖服务中准备两套队列、数据库资源,建议通过名称后缀进行区分,详细操作请参见配置DataArts
自定义迁移后文件的存储路径,支持时间宏变量。 说明: 源端为关系型数据库数据源时,目录层次为源端表名+自定义目录,其他场景下为自定义目录。 ${dateformat(yyyy-MM-dd HH:mm:ss, -1, DAY)} 自定义文件名 从关系型数据库导出数据到OBS,且“文件格式”为“CSV格式”时,才有该参数。
1024 编码类型 文件编码类型,例如:“UTF-8”或“GBK”。“文件格式”为“二进制格式”时该参数值无效。 GBK 首行为标题行 从关系型数据库导出数据到OBS,“文件格式”为“CSV格式”时,才有该参数。 在迁移表到CSV文件时,CDM默认是不迁移表的标题行,如果该参数选
索引 待写入数据的Elasticsearch的索引,类似关系数据库中的数据库名称。CDM支持自动创建索引和类型,索引和类型名称只能全部小写,不能有大写。 index 类型 待写入数据的Elasticsearch的类型,类似关系数据库中的表名称。类型名称只能全部小写,不能有大写。 说明:
se8两种驱动类名。 - 引用符号 可选参数,连接引用表名或列名时的分隔符号,参考对应数据库的产品文档进行配置。 " 驱动版本 不同类型的关系数据库,需要适配不同的驱动,更多详情请参见如何获取驱动。 - 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数
Studio数据连接。 对于Serverless服务(例如DLI),DataArts Studio通过管理中心的环境隔离来配置生产环境和开发环境数据湖服务的对应关系,在开发和生产流程中自动切换对应的数据湖。因此您需要在Serverless数据湖服务中准备两套队列、数据库资源,建议通过名称后缀进行区分,详细操作请参见配置DataArts
据连接。 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 IP或域名 是 关系型数据库数据源的访问地址,可填写为IP或域名。 “IP或域名”如果手动填写,必须写内网IP,端口必须为对资源组网段放开的端口(如需设置请参
密级。除此之外的静态脱敏、动态脱敏时的密级信息来源于敏感数据发现任务,因此不会展示默认密级。 被引用的数据密级无法直接删除,需要先解除引用关系后才能删除。 创建密级 在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 单击数据安全左
Hudi暂不支持2.x版本,建议使用的版本: 1.2.X 3.1.X 对象存储 OBS 支持 支持 - 文件系统 FTP、SFTP 支持 不支持 - 关系型数据库 RDS(MySQL)、RDS(PostgreSQL)、RDS(SQL Server)、Oracle、RDS(SAP HANA)、GBASE8A
配置Doris源端参数 Doris源端参数列表 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。
停用时间必须选择在API发布后的最低保留期限时间之后。选择停用时间后,停用操作会通知已授权用户。如果所有已授权用户均完成审核中心通知列表消息处理,或在应用中解绑与API的绑定关系,API就会直接停用;否则会以待停用状态,等待达到停用时间,再强制停用。 恢复API 在DataArts Studio控制台首页,选择对应
('WANG', '97'), ('FENG', '83'), ('CEHN', '99'); 新建MRS Hive SQL节点调用的Hive SQL脚本。新建Hive SQL脚本,选择Hive连接和数据库后,粘贴如下SQL语句并提交版本,脚本命名为count95。 -
HANA作为源端作业参数如表1所示。 表1 SAP HANA作源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。
是第三方云上的数据库服务。 表1 SQLServer作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。
配置SAP HANA源端参数 表1 SAP HANA作源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。
配置GBase源端参数 表1 GBase作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,作业将根据该语句导出数据。
定则抽取整表。如果要迁移的表中没有Where子句的字段,则会迁移失败。 该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“
DLF.0136 This API can be called only for batch jobs. 只有批作业才支持这个接口调用。 请检查接口调用作业。 400 DLF.0137 The job instance does not exist. 作业实例不存在。 请检查作业实例是否存在。