-
修改作业 - 数据治理中心 DataArts Studio
update_rows 否 Integer 增量作业更新行数,已废弃。 group_name 否 String 组名 bytes_read 否 Long 作业读取的字节。由系统生成,用户无需填写。 execute_update_date 否 Long 最近一次执行任务更新时间,单位:毫秒。由系统生成,用户无需填写。
-
导入主题 - 数据治理中心 DataArts Studio
LIST<STRING> 需要执行的动作。 枚举值: start-import: 开始导入 skip-exist 否 Boolean 是否需要覆盖更新已有的主题。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String IAM T
-
数据集成API错误码 - 数据治理中心 DataArts Studio
0318 400 作业已存在,无法重复创建。 作业已存在。 请指定其他作业名再重试。 Cdm.0319 400 无法更新不存在的作业。 无法更新不存在的作业。 请确认待更新的作业是否存在,作业名修改正确后再重试。 Cdm.0320 400 作业%s无效。 作业无效。 请联系客服或技术支持人员协助解决。
-
基线管理 - 数据治理中心 DataArts Studio
若要增加或者删除可选择的责任人,请前往DataArts Studio空间管理进行编辑操作。 基线对应的基线责任人如果有变动(比如,离职),需要及时更新基线责任人,否则可能导致基线运维的告警无法正常发送。 保障作业 选择需要添加到当前基线上进行数据产出保障的任务。 单击“添加”,进入选择保
-
约束与限制 - 数据治理中心 DataArts Studio
Job节点章节。 当所连接的数据源发生变化(如MRS集群扩容等情况)时,您需要重新编辑并保存该连接。 在驱动更新场景下,上传驱动后必须在CDM集群列表中重启集群才能更新生效。 单作业的抽取并发数取值范围为1-300,集群的总抽取并发数取值范围为1-1000。其中集群最大抽取并发
-
开发一个Python作业 - 数据治理中心 DataArts Studio
Company_Name2=sys.argv[2] template='No.:{:0>9s} \t CompanyName: {:s} \t Website: https://www.{:s}.com' context1=template.format('1',Company_Name1,Company_Name1
-
配置MySQL/SQL Server/PostgreSQL目的端参数 - 数据治理中心 DataArts Studio
有字段。 on duplicate key update,当存在主键、唯一性索引冲突时,目的表中约束冲突的行除开唯一约束列的其他数据列将被更新。 insert into 高级参数 先导入阶段表 如果选择“是”,则启用事务模式迁移,CDM会自动创建临时表,先将数据导入到该临时表,导
-
导入模型,关系建模,维度建模,码表,业务指标以及流程架构 - 数据治理中心 DataArts Studio
detable)和数据标准(import_datastandard)时生效,选填。 skip-exist 否 Boolean 是否需要覆盖更新已有的实体。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String IAM T
-
配置MRS ClickHouse连接 - 数据治理中心 DataArts Studio
MRS集群配置“lb_http_port”参数对应的端口,安全模式MRS集群配置“lb_https_port”参数对应的端口。 如果MRS ClickHouse是安全集群,则需配置为https默认端口。 8123 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连
-
创建连接(待下线) - 数据治理中心 DataArts Studio
password 是 String 数据库的访问密码,创建DWS集群的时候输入的密码。 sslEnable 是 boolean 是否使用ssl连接。 kmsKey 是 String KMS密钥名称。 通过KMS管理控制台获取密钥名称: 登录管理控制台。 单击“密钥管理服务”,左侧列表选择密钥管理。
-
查询集群列表 - 数据治理中心 DataArts Studio
集群状态描述:Normal(正常) id String 集群ID isFrozen String 集群是否冻结:0:否 1:是 updated String 集群更新时间,格式为ISO8601:YYYY-MM-DDThh:mm:ssZ status String 集群状态: 100:创建中 200:正常
-
查询单个数据连接信息 - 数据治理中心 DataArts Studio
Number 数据连接创建时间,时间戳。 dw_catagory String 数据连接类别。 update_type Integer 0:创建 1:更新,默认为0。 状态码: 400 表4 响应Body参数 参数 参数类型 描述 error_msg String 返回的错误信息。 error_code
-
关系建模统计信息 - 数据治理中心 DataArts Studio
update_time String 更新时间,只读,格式遵循RFC3339,精确到秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如1970-01-01T00:00:00Z。 create_by String 创建人。 update_by String 更新人。 type String
-
检查集群版本与权限 - 数据治理中心 DataArts Studio
和hive,角色选择Manager_administrator,然后根据页面提示完成用户的创建。 使用新建的用户登录Manager页面,并更新初始密码。 在Manager页面选择“集群 > 服务 > Ranger”,进入Ranger概览页面,单击RangerAdmin进入Ranger
-
配置DWS目的端参数 - 数据治理中心 DataArts Studio
导入数据到DWS时,用户可以指定导入模式: COPY模式,源数据经过管理节点后,复制到DWS的DataNode节点。 UPSERT模式,数据发生主键或唯一约束冲突时,更新除了主键和唯一约束列的其他列数据。 COPY 导入开始前 导入数据前,选择是否清除目的表的数据: 不清除:写入数据前不清除目标表中数据,数据追加写入。
-
配置MRS Hetu数据连接 - 数据治理中心 DataArts Studio
建连接。 仅具备Manager_tenant或Manager_auditor权限,无法创建连接。 使用新建的用户登录Manager页面,并更新初始密码,否则会导致创建连接失败。 同步IAM用户。 登录MRS管理控制台。 选择“集群列表 > 现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。
-
调度作业 - 数据治理中心 DataArts Studio
后面批次的作业实例堆积,从而出现计划时间和开始时间相差大。例如CDM、ETL作业的调度周期至少应在5分钟以上,并根据作业表的数据量、源端表更新频次等调整。 如果通过DataArts Studio数据开发调度CDM迁移作业,CDM迁移作业处也配置了定时任务,则两种调度均会生效。为了
-
通过CDM节点批量创建分表迁移作业 - 数据治理中心 DataArts Studio
CDM节点配置为创建作业时,节点运行会检测是否有同名CDM作业。 如果CDM作业未运行,则按照请求体内容更新同名作业。 如果同名CDM作业正在运行中,则等待作业运行完成。此时该CDM作业可能被其他任务启动,可能会导致数据抽取不符合预期(如作业配置未更新、运行时间宏未替换正确等),因此请注意不要启动或者创建多个同名作业。
-
查询集群详情 - 数据治理中心 DataArts Studio
集群配置状态:In-Sync:配置已同步。Applying:配置中。Sync-Failure:配置失败。 updated String 集群更新时间,格式为 ISO8601:YYYY-MM-DDThh:mm:ssZ status String 集群状态: 100:创建中 200:正常
-
创建识别规则 - 数据治理中心 DataArts Studio
String 策略创建人。 created_at Long 策略创建时间。 updated_by String 策略更新人。 updated_at Long 策略更新时间。 builtin_rule_id String 内置规则ID。 category_id String 分类ID。