-
(可选)修改作业日志存储路径 - 数据治理中心 DataArts Studio
(可选)修改作业日志存储路径 作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中,您也可以自定义日志和DLI脏数据存储路径,支持基于工作区全局配置OBS桶。 约束限制 该功能依赖于OBS服务。 OBS路径仅支持OBS桶,不支持并行文件系统。
-
如何选择版本 - 数据治理中心 DataArts Studio
aArts Studio版本。 购买版本后,无法直接降级版本。如已购买企业版,无法直接降级到初级版,您需要采取先备份数据,然后退订原有实例,购买新实例,最后迁移备份数据到新实例的方式来实现版本降级。 如果您的业务量不断增长,已购版本无法满足您的业务需求,您可以选择升级版本。登录DataArts
-
通过CDM节点批量创建分表迁移作业 - 数据治理中心 DataArts Studio
由于源表有三个,分别为mail001、mail002、mail003,因此需要将作业JSON中的“fromJobConfig.tableName”属性值配置为“mail${num}”,即源表名是通过参数配置。如下图所示: 图7 编辑JSON 由于数据迁移作业名不能重复,因此修改JSO
-
DataArts Studio是否支持版本升级? - 数据治理中心 DataArts Studio
Studio是否支持版本升级? 支持。如果您的业务量不断增长,已购版本无法满足您的业务需求,建议您升级版本。 您可以登录DataArts Studio控制台,找到需要升级的DataArts Studio实例卡片,单击“升级”,然后根据页面提示购买更高规格的套餐。 升级时,已经产生的费用按天结算。
-
DataArts Studio执行调度时,报错提示“作业中节点XXX关联的脚本没有提交的版本”怎么办? - 数据治理中心 DataArts Studio
DataArts Studio执行调度时,报错提示“作业中节点XXX关联的脚本没有提交的版本”怎么办? 问题描述 DataArts Studio执行调度时报错:作业中节点XXX关联的脚本没有提交的版本。 原因分析 该作业内的脚本还没有提交版本,就开始执行调度,导致执行调度报错。作
-
DWS数据连接可视化建表,报错提示“表已存在”,但是展开数据连接看不到该表? - 数据治理中心 DataArts Studio
DWS数据连接可视化建表,报错提示“表已存在”,但是展开数据连接看不到该表? DWS数据连接的用户没有该表的查看与编辑权限,实际上该表已经存在。 父主题: 数据开发
-
迁移时已选择表不存在时自动创表,提示“CDM not support auto create empty table with no column”怎么处理? - 数据治理中心 DataArts Studio
迁移时已选择表不存在时自动创表,提示“CDM not support auto create empty table with no column”怎么处理? 这是由于数据库表名中含有特殊字符导致识别出语法错误,按数据库对象命名规则重新命名后恢复正常。 例如,DWS数据仓库中的数
-
正则表达式分隔半结构化文本 - 数据治理中心 DataArts Studio
分隔符进行字段分隔。但是对于一些复杂的半结构化文本,由于字段值也包含了分隔符,所以无法使用分隔符进行字段分隔,此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置,要求源连接为对象存储或者文件系统,且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移C
-
正则表达式分隔半结构化文本 - 数据治理中心 DataArts Studio
分隔符进行字段分隔。但是对于一些复杂的半结构化文本,由于字段值也包含了分隔符,所以无法使用分隔符进行字段分隔,此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置,要求源连接为对象存储或者文件系统,且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移C
-
数据服务专享版提供的API配额已满怎么解决? - 数据治理中心 DataArts Studio
数据服务专享版提供的API配额已满怎么解决? 如果数据服务专享版提供的API配额已满,无法创建新的API时可修改API配额,具体操作请参考设置API分配配额。 父主题: 数据服务
-
数据集成API错误码 - 数据治理中心 DataArts Studio
Cdm.1104 400 打开表格失败。原因:%s。 打开表格失败。 请根据错误提示进行定位,若无法解决,请联系客服或技术支持人员协助解决。 Cdm.1105 400 作业初始化失败。原因%s。 作业初始化失败。 请根据错误提示进行定位,若无法解决,请联系客服或技术支持人员协助解决。
-
MySQL迁移时报错:invalid input syntax for integer: "true" - 数据治理中心 DataArts Studio
MySQL迁移时报错:invalid input syntax for integer: "true" 问题描述 数据库中存储的是1或0,但没有true和false的数据,但MySQL迁移时读取到的是true或false,提示报错信息:Unable to execute the SQL statement. Cause:
-
查询所有可用区 - 数据治理中心 DataArts Studio
String 默认可用区。 availableZones Array of CdmClusterAvailabilityZone objects 可用区。 表4 CdmClusterAvailabilityZone 参数 参数类型 描述 availableZoneId String
-
获取当前目录下的目录列表(全量) - 数据治理中心 DataArts Studio
public static void main(String[] args) { // The AK and SK used for authentication are hard-coded or stored in plaintext, which has great
-
常见错误码参考 - 数据治理中心 DataArts Studio
表数据配置项。 请按照错误提示进行处理。 Cdm.1121 关闭连接已失败。原因:%s。 请根据错误提示进行定位,若无法解决,请联系客服或技术支持人员协助解决。 Cdm.1201 不能连接到Redis服务器,原因:%s。 请根据错误提示进行定位,若无法解决,请联系客服或技术支持人员协助解决。
-
CDM是否支持集群关机功能? - 数据治理中心 DataArts Studio
CDM是否支持集群关机功能? 从2022年4月开始,CDM已不再支持集群关机功能。当集群关机时,其底层资源可能会被占用,导致集群可能无法正常开机使用。 父主题: 数据集成
-
DataArts Studio数据开发作业告警最佳实践 - 数据治理中心 DataArts Studio
为了解决这些痛点,您可以通过配置各类作业告警,及时发现调度运行问题,提高处理问题的窗口期。 配置作业节点失败重试及配置作业失败告警:通过配置作业节点失败重试及失败告警,尽量减少在集群压力峰值时的作业无法正常运行的情况,即使发生失败也可以及时通知到运维管理人员解决,减少故障升级情况。 配置作业超时告警:通过配
-
查询指定作业的实例列表 - 数据治理中心 DataArts Studio
分页的起始页,默认值为0。取值范围大于等于0。 status 否 String 实例运行状态: waiting:等待运行 running:运行中 success:运行成功 fail:运行失败 running-exception:运行异常 skip-by-depend:跳过 freeze:冻结
-
数据开发 - 数据治理中心 DataArts Studio
创建了2个作业,但是为什么无法建立依赖关系? DataArts Studio执行调度时,报错提示“作业没有可以提交的版本”怎么办? DataArts Studio执行调度时,报错提示“作业中节点XXX关联的脚本没有提交的版本”怎么办? 提交调度后的作业执行失败,报depend job
-
查询API统计数据详情 - 数据治理中心 DataArts Studio
success_num Integer 成功调用量(取数成功)。 fail_num Integer 失败调用量(取数失败)。 legal_num Integer 合法调用量(通过校验)。 illegal_num Integer 非法调用量(无法通过校验)。 cost_time_avg Number