检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
指标监控信息。 l1 否 String 主题域分组中文名,只读,创建和更新时无需填写。 l2 否 String 主题域中文名,只读,创建和更新时无需填写。 l3 否 String 业务对象中文名,只读,创建和更新时无需填写。 表4 ApprovalVO 参数 是否必选 参数类型 描述
是否写入脏数据 选择是否记录脏数据,默认不记录脏数据。 是 脏数据写入连接 当“是否写入脏数据”为“是”才显示该参数。 脏数据要写入的连接,目前只支持写入到OBS连接。 obs_link OBS桶 当“脏数据写入连接”为OBS类型的连接时,才显示该参数。 写入脏数据的OBS桶的名称。 dirtydata
TIME_CONDITION: 时间限定 l1 否 String 主题域分组中文名,只读,创建和更新时无需填写。 l2 否 String 主题域中文名,只读,创建和更新时无需填写。 l3 否 String 业务对象中文名,只读,创建和更新时无需填写。 approval_info 否 ApprovalVO object
通过内网互通时,网络带宽是根据不同的CDM实例规格的带宽限制的。 cdm.large实例规格CDM集群网卡的基准/最大带宽为0.8/3 Gbps。 cdm.xlarge实例规格CDM集群网卡的基准/最大带宽为4/10 Gbps。 cdm.4xlarge实例规格CDM集群网卡的基准/最大带宽为36/40
数据开发在跨时区导出导入作业时,需要手动修改expressionTimeZone字段为目标时区。 导出作业 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
写入模式 enum UPSERT DWS的写入模式,可在目的端配置中设置,实时处理集成作业推荐使用COPY MODE。 UPSERT:为批量更新入库模式。 COPY:为DWS专有的高性能批量入库模式。 批写最大数据量 int 50000 DWS单次写入的最大条数,可在目的端配置中设置。
Kafka连接 介绍 通过Kafka连接器可以与开源的Kafka数据源建立连接,并按照用户指定配置将Kafka中的数据迁移到其它数据源。目前仅支持从Kafka导出数据。 连接样例 { "links": [ { "link-config-values":
支持作业的版本管理能力。 作业开发 运维调度 用户可以通过图表的形式查看作业实例的统计数据,目前支持查看以下四种统计数据。 今日作业实例调度情况概览 近七天作业实例调度情况概览 近30天作业实例执行时长排行TOP 10:查看执行时间长的作业实例的详细运行记录。 近30天作业实例运行失败TOP 10:查看运行异常的作业实例的详细运行记录。
Studio实例卡片上的“更多 > 配额使用量”入口查看,其中的“作业节点调度次数/天”总量即为当前实例配额。 表1 DataArts Studio实例并行节点数上限 DataArts Studio实例作业节点调度次数/天配额 DataArts Studio实例并行节点数上限 <=500
updated_by String 策略更新人。 updated_at Long 策略更新时间。 builtin_rule_id String 内置规则ID。 category_id String 分类ID。 instance_id String 实例ID。 match_type String
核人。 工作空间管理员角色的用户,无论是否被添加为审核人,都默认具备审核人权限。 管理审核人 数据服务平台提供管理审核人的功能,您可在审核中心新建和删除审核人,下面以新建审核人为例介绍如何操作。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
Administrator权限的用户审批通过,然后将修改后的脚本同步到生产环境。 管理员导入脚本时,选择导入提交态,会生成对应的待发布项。 管理员导入脚本时,选择导入生产态,则不会生成待发布项。 前提条件 已提交版本,详情请参见提交版本。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts
写入模式 enum UPSERT DWS的写入模式,可在目的端配置中设置,实时处理集成作业推荐使用COPY MODE。 UPSERT:为批量更新入库模式。 COPY:为DWS专有的高性能批量入库模式。 批写最大数据量 int 50000 DWS单次写入的最大条数,可在目的端配置中设置。
String 创建者。 l1 String 主题域分组中文名,只读,创建和更新时无需填写。 l2 String 主题域中文名,只读,创建和更新时无需填写。 l3 String 业务对象中文名,只读,创建和更新时无需填写。 approval_time String 审核时间。 approver
ORACLE数据连接参数说明 DIS数据连接参数说明 主机连接参数说明 OBS数据连接参数说明 Apache HDFS数据连接参数说明 MRS Hudi数据连接参数说明 Elasticsearch数据连接参数说明 Rest Client数据连接参数说明 DMS Kafka数据连接参数说明
只生成当前作业的待发布项,不会生成子作业的待发布项。 前提条件 已提交版本,详情请参见提交版本。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
String 创建者。 l1 String 主题域分组中文名,只读,创建和更新时无需填写。 l2 String 主题域中文名,只读,创建和更新时无需填写。 l3 String 业务对象中文名,只读,创建和更新时无需填写。 approval_time String 审核时间。 approver
String 创建者。 l1 String 主题域分组中文名,只读,创建和更新时无需填写。 l2 String 主题域中文名,只读,创建和更新时无需填写。 l3 String 业务对象中文名,只读,创建和更新时无需填写。 approval_time String 审核时间。 approver
300000 全量阶段连接Mysql的socket超时时间,默认为5分钟。当Mysql负载较高,作业出现SocketTimeout异常时,考虑增大该值。 jdbc.properties.connectTimeout int 60000 全量阶段连接Mysql的连接超时时间,默认为1分
String IAM Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值) 使用Token认证时必选。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Project-Id 否 String