检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
您可以通过以下两种方式开通自动续费: 登录DataArts Studio控制台,在购买DataArts Studio实例的页面中,勾选“自动续费”选项。 如果您已购买DataArts Studio实例,请进入续费管理页面,在实例列表中查找所需续费的DataArts Studio实例,单击其所在行的“
数据源接口 获取数据连接信息 父主题: 数据架构API
“使用SQL语句”选择“否”时,显示该参数,表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 说明: 该参数支持配置通配符(*),实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如:
网关管理接口 获取网关实例(专享版) 获取网关分组 父主题: 数据服务API
定义识别规则分组 定义敏感数据识别规则组,可以将多个零散的规则组合成为一个有业务逻辑的规则组,该操作是用户后续进行敏感数据发现任务操作的前提 。 前提条件 识别规则创建完成,请参考定义识别规则。 约束与限制 敏感数据识别过程中,当某个字段同时匹配到识别规则组中的多个识别规则时,此
如果指定了该参数,程序在抽取数据时将读取第一行作为标题行。 否 编码类型 文件格式为CSV格式或JSON格式时支持此参数。 文件编码类型。 只有文本文件可以设置编码类型,否则设置无效。 支持的文件编码类型有UTF-8 、 GBK。 UTF-8 压缩格式 压缩格式。 默认无。支持的压缩格式有GZIP,ZIP及TAR
用来分隔关系数据库的表和列名。 _ 值分隔符 以STRING方式存储,列之间的分隔符。 存储类型为列表时字串分割成数组的字符。 ; key值有效期 设置统一的生存时间。单位:秒。 3600 父主题: 配置作业目的端参数
数据开发API(V1) 脚本开发API 资源管理API 作业开发API 连接管理API(待下线)
配置PostgreSQL源端参数 支持从云端的数据库服务导出数据。 这些非云服务的数据库,既可以是用户在本地数据中心自建的数据库,也可以是用户在ECS上部署的,还可以是第三方云上的数据库服务。 表1 PostgreSQL作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数
RDS(MySQL)、RDS(PostgreSQL)、RDS(SQL Server)、Oracle、RDS(SAP HANA)、GBASE8A 说明: 创建数据连接时也支持用户使用自建的数据库,如MySQL、PostgreSQL、SQL Server、达梦数据库DM、SAP HANA,在选择界面对应的RDS
如果是导入到数据仓库服务(DWS),则还需在目的字段中选择分布列,建议按如下顺序选取分布列: 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景,建议设置所有主键作为分布列。 在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。 脱敏 隐藏字符串中的关
下,您可以参考本文档,将原有工作空间的数据(包含管理中心数据连接、数据集成连接和作业、数据架构表、数据开发脚本、数据开发作业、数据质量作业等),搬迁到新建的工作空间中。 操作前准备 已创建新的工作空间,新建工作空间的用户需要具备DAYU Administrator或Tenant Administrator权限。
数据集成API 集群管理 作业管理 连接管理 附:公共数据结构
配置SQLServer源端参数 支持从云端的数据库服务导出数据。 这些非云服务的数据库,既可以是用户在本地数据中心自建的数据库,也可以是用户在ECS上部署的,还可以是第三方云上的数据库服务。 表1 SQLServer作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数
TRUNCATE方式:清空DLI表分区。 INSERT_OVERWRITE方式:使用分区覆盖的方式写入数据。 INSERT_OVERWRITE 空字符串作为null 如果设置为true,空字符串将作为null。 否 自动建表模式 选择建表模式:一键建表,作业配置过程中一键建表,表生成后继续配置作业。 一键建表 分区
运维管理接口 获取任务执行结果列表 获取实例结果 数据质量运维管理操作处理&记录 父主题: 数据质量API
使用前必读 概述 调用说明 基本概念 终端节点Endpoint 项目ID和账号ID 实例ID和工作空间ID 数据资产guid 约束与限制
附:公共数据结构 连接参数说明 源端作业参数说明 目的端作业参数说明 作业任务参数说明 父主题: 数据集成API
40 获取实例结果 获取实例结果。 300 40 数据质量运维管理操作处理&记录 该接口用于数据质量监控实例的问题处理,在控制台上可通过“更多>处理&记录”进入问题处理界面。 300 40 质量报告接口 表7 质量报告接口 API 说明 API流量限制(次/10s) 用户流量限制(次/10s)
查询集群详情 删除集群 查询所有可用区 查询支持的版本 查询版本规格 查询规格详情 查询所有集群的企业项目ID 查询集群的企业项目ID 查询集群实例信息 修改集群 重启集群 启动集群 停止集群(待下线) 创建集群 查询集群列表 父主题: 数据集成API