检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
填写数据库名称,该数据库已创建好,建议不要使用默认数据库。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试
定时批写时间间隔:数据定时入库的间隔时间,时间1-1000, 单位为秒。 高级配置:通过设置以下参数配置数据写入的高级属性。 sink.buffer-flush.max-size:根据作业配置内存和数据大小设置批写最大内存,单位:Mb。 sink.case-sensitive:是否对字段大
“使用SQL语句”选择“否”时,显示该参数,表示待抽取数据的模式或表空间名称。 单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 该参数支持配置正则表达式,实现导出满足规则的所有数据库。 SCHEMA_EXAMPLE
下划线,且以英文字母开头。 数据长度 设置数据长度: 可以为空。数据长度为空时,对数据长度不做限制。 选择可以设置为具体的数值。输入1~10000之间的数值。 选择可以设置为一个范围。输入数据范围的临界值,输入值范围1~10000。 如果设置了数据长度标准,当数据类型为STRIN
入SQL语句中携带的参数。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试
用于指导其进行数据管理和开发工作,提高工作效率。 在DataArts Studio中,元数据是数据的描述数据,可以为数据说明其属性(数据连接、类型、名称、大小等),或其相关数据(位于拥有者、标签、分类、密级等)。 元数据按用途的不同,可以分为两类:技术元数据(Technical
workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 X-Auth-Token 否 String 使用Token认证时该字段必选,用户Token的长度要求如下: 最小长度:0 最大长度:4096
["\"01\""]];[['\'00\''],['\'01\'']] 子作业并发数 是 循环产生的子作业可以并发执行,您可设置并发数。 说明: 如果子作业中包含CDM Job节点,子作业并发数需要设置为1。 子作业实例名称后缀 否 For循环生成的子任务名称:For循环节点名称 + 下划线 + 后缀。
作业开发API 创建补数据实例 查询补数据实例 停止补数据实例 修改作业名称 查询发布包列表 查询指定发布包详情 设置作业标签 查询告警通知记录 发布任务包 撤销任务包 查询实例运行状态 查询任务完成情况 查询指定作业的实例列表 父主题: 数据开发API(V2)
已提交版本。 前提条件 已完成脚本开发任务。 提交脚本版本 “提交”会将当前开发态的最新脚本保存并提交为版本,并覆盖之前的脚本版本。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择
Spark作业。 约束限制 该功能依赖于OBS服务或MRS HDFS服务。 新建目录(可选) 如果已存在可用的目录,可以不用新建目录。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择
“使用SQL语句”选择“否”时,显示该参数,表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 该参数支持配置正则表达式,实现导出满足规则的所有数据库。 SCHEMA_E
定时批写时间间隔:数据定时入库的间隔时间,时间1-1000, 单位为秒。 高级配置:通过设置以下参数配置数据写入的高级属性。 sink.buffer-flush.max-size:根据作业配置内存和数据大小设置批写最大内存,单位:Mb。 sink.case-sensitive:是否对字段大
数据源接口 获取数据连接信息 父主题: 数据架构API
网关管理接口 获取网关实例(专享版) 获取网关分组 父主题: 数据服务API
在创建数据连接前,请确保待连接的数据湖与DataArts Studio实例之间网络互通。 如果数据湖为云下的数据库,则需要通过公网或者专线打通网络,确保数据源所在的主机可以访问公网,并且防火墙规则已开放连接端口。 如果数据湖为云上服务(如DWS、MRS等),则网络互通需满足如下条件: DataArts Studio实例(指DataArts
保障任务在承诺时间前运行完成 可以将任务添加至基线上,并设置基线承诺时间,当系统预测到基线上任务无法在承诺时间前完成,或上游任务有出错或变慢的情况,将发送报警信息,用户可以根据报警信息及时处理问题,保障任务在承诺时间前运行完成。 相关概念 基线:用户将重要任务加到基线上并设置承诺时间后,系统将根据任务运行
数据开发API(V1) 脚本开发API 资源管理API 作业开发API 连接管理API(待下线)
指定HetuEngine服务所需数据连接。 Schema 是 String 使用HetuEngine服务所要访问的数据源schema名称。 Database 是 String 使用HetuEngine服务所要访问的数据源database名称。 Queue 否 String 使用HetuEngine服务所需资源队列名称。
息,支持对预览数据根据配置脱敏策略的设置进行实时脱敏。 数据预览支持的数据源类型:DWS、DLI、Hive、MySQL。 列的分类信息支持在新建采集任务时自动设置和在数据分类菜单中手动添加两种方式。其中仅DWS、DLI支持新建采集任务时自动设置分类。 在“变更记录”页签,查看数据表变更详情。