-
调用说明 - 数据治理中心 DataArts Studio
调用说明 数据治理中心提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用,调用方法请参见如何调用API。 父主题: 使用前必读
-
SDK概述 - 数据治理中心 DataArts Studio
通过调用此SDK包提供的代码样例,即可通过API接口对数据治理中心的各组件进行相关操作。 数据集成(注册在云数据迁移CDM服务) 数据开发 管理中心 数据架构 数据质量 数据目录 数据服务 Java Python Go Github代码仓,详见SDK列表。 数据服务SDK包 数据服务SDK是基于DataArts
-
与其他云服务的关系 - 数据治理中心 DataArts Studio
Insight,简称DLI)作为数据湖底座,进行数据集成、开发、治理与开放。 MapReduce服务 DataArts Studio支持将MapReduce服务(简称MRS)作为数据湖底座,进行数据集成、开发与治理。 云数据仓库服务 DataArts Studio支持将云数据仓库服务(Gaus
-
已购买包年包月的CDM套餐包,为什么还会产生按需计费的费用? - 数据治理中心 DataArts Studio
如果您先购买按需计费增量包,再购买套餐包,则在购买套餐包之前已经产生的费用以按需计费结算,购买套餐包之后的费用按套餐包计时。 父主题: 数据集成
-
提交调度后的作业执行失败,报depend job [XXX] is not running or pause怎么办? - 数据治理中心 DataArts Studio
该问题是由于上游依赖作业不在运行状态而造成。 解决方案 查看上游依赖作业,如果上游依赖的作业不在运行状态中,将这些作业重新执行调度即可。 父主题: 数据开发
-
自然周期调度之同周期依赖原理 - 数据治理中心 DataArts Studio
自然周期调度之同周期依赖原理 解释说明 即作业A依赖于作业B的相同调度周期的运行实例。周期单位包括分钟、小时、天、周、月这五种,不同调度周期的作业,其允许配置的依赖作业调度周期总结如图1所示。 图1 同周期作业依赖关系全景图 分钟依赖分钟 规则:分钟是最小调度粒度,没有自然分钟周
-
错误码 - 数据治理中心 DataArts Studio
错误码 数据集成API错误码 数据开发错误码 父主题: 附录
-
最新动态 - 数据治理中心 DataArts Studio
布,欢迎体验。 2022年4月 序号 功能名称 功能描述 阶段 相关文档 1 数据服务 新增支持API全量导出。 数据服务脚本脚本模式API支持返回别名。 开放数据服务API接口,支持通过API进行数据服务开发。 商用
-
使用python调用执行脚本的api报错:The request parameter invalid,如何处理? - 数据治理中心 DataArts Studio
文字符集。 处理方法:修改参数 Content-Type的参数类型 修改参数Content-Type的参数类型后可以执行成功。 父主题: 数据开发
-
应用示例 - 数据治理中心 DataArts Studio
应用示例 数据集成应用示例 数据开发应用示例
-
在作业监控页面里的“上次实例状态”只有运行成功、运行失败,这是为什么? - 数据治理中心 DataArts Studio
上次实例状态是作业已经执行完成,只有成功、失败;实例监控里面状态有取消、暂停等好几种,是因为展示了作业的所有状态,另外作业运行异常和错误都会是作业失败的状态。 父主题: 数据开发
-
约束与限制 - 数据治理中心 DataArts Studio
仅当创建IAM用户时的访问方式勾选“编程访问”后,此IAM用户才能通过认证鉴权,从而使用API、SDK等方式访问DataArts Studio。 数据集成API的约束如下: CDM的作业数据量太多,会造成数据库压力,建议定时清理不需要的作业。 短时间内下发大量作业,可能会导致集群资源耗尽异常等,您调用API时需要注意。
-
监控安全风险 - 数据治理中心 DataArts Studio
监控安全风险 DataArts Studio提供基于云监控服务CES的资源监控能力,帮助用户监控账号下的DataArts Studio数据集成模块中的CDM集群,执行自动实时监控、告警和通知操作。用户可以实时掌握集群运行中所产生的网络流入速率、网络流出速率、CPU使用率、内存使用率、磁盘利用率、失败作业率等信息。
-
附录 - 数据治理中心 DataArts Studio
附录 公共消息头 解析响应消息体中的流 状态码 错误码
-
如何处理CDM连接器报错“配置项 [linkConfig.iamAuth] 不存在”? - 数据治理中心 DataArts Studio
如何处理CDM连接器报错“配置项 [linkConfig.iamAuth] 不存在”? 客户证书过期,需要完成更新证书操作,完成后重新配置连接器即可。 父主题: 数据集成
-
可以免费试用DataArts Studio吗? - 数据治理中心 DataArts Studio
费详情可参见CDM用户指南。 免费版不支持购买增量包,例如无法购买批量数据迁移增量包或作业节点调度次数/天增量包。 免费版数据开发组件的脚本数和作业数的配额限制分别为20。 免费版仅用于试用场景,在业务负荷大的场景下,无法保证免费版实例上业务的正常运行。 免费版不支持通过API调用的方式使用,仅支持控制台方式使用。
-
自然周期调度之上一周期依赖原理 - 数据治理中心 DataArts Studio
自然周期调度之上一周期依赖原理 自然周期调度的概念 自然周期调度作业的调度周期包括分钟、小时、天、周、月这五种周期,不同调度周期的作业,其允许配置的依赖作业调度周期总结如图1所示。 图1 上一周期作业依赖关系全景图 即作业A的调度依赖于作业B的上一调度周期,包含以下场景: 分钟依赖分钟
-
正则表达式分隔半结构化文本 - 数据治理中心 DataArts Studio
正则表达式分隔半结构化文本 在创建表/文件迁移作业时,对简单CSV格式的文件,CDM可以使用字段分隔符进行字段分隔。但是对于一些复杂的半结构化文本,由于字段值也包含了分隔符,所以无法使用分隔符进行字段分隔,此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置,要求源连
-
如何查看审计日志 - 数据治理中心 DataArts Studio
其中,DataArts Studio的相关事件在“事件来源”中包含如下分类: CDM:数据集成组件的事件。 DLF:数据开发组件的事件。 DLG:管理中心、数据架构、数据质量、数据目录和数据服务组件的事件。 图1 CDM操作事件 在需要查看的事件左侧,单击事件名称左侧箭头,展开该记录的详细信息。
-
月周期的作业依赖天周期的作业,为什么天周期作业还未跑完,月周期的作业已经开始运行? - 数据治理中心 DataArts Studio
运行完成,而不是由当月的天周期作业决定。 例如在11月中,11月的月周期作业是否运行取决于10月的天周期作业是否全部运行完成。 父主题: 数据开发