检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业分组:CDM支持对作业进行分组,分组后的作业可以按组显示、按组批量删除作业、按组批量启动作业、按组导出等。 是否定时执行:可选择作业是否定时自动启动。 抽取并发数:可设置同时执行的抽取任务数。 是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面
您可以选择重启CDM服务进程或重启集群VM,选择完成并单击确认后即可完成集群重启操作。 重启CDM服务进程:只重启CDM服务的进程,不会重启集群虚拟机。 重启集群VM:业务进程会中断,并重启集群的虚拟机。 父主题: 创建并管理CDM集群
Hive)。 *数据连接 选择已创建的数据连接。若未创建请参考创建DataArts Studio数据连接新建连接。 *数据库 选择待嵌入水印的数据库和数据表。 单击数据库后的“设置”,设置待嵌入水印的数据库和数据表。 单击“清除”,可对已选择的数据库和数据表进行修改。 *源表名 *水印嵌入列
单线程flush的FileGroup的数量 <= 5,推荐值2。 单线程flush的FileGroup的数量 <= 10,推荐值5。 单线程flush的FileGroup的数量 <= 25,推荐值10。 单线程flush的FileGroup的数量 <= 50,推荐值20。 单线程flush的FileGroup的数量
Python脚本等任务的同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 前提条件 在创建数据连接前,请确保您已创建所要连接的数据湖(如DataArts Studio所支持的数据库、云服务等)。 在创建DWS类型的数据连接前,您需要先在
标端对应类型的字段中。 字段映射配置:选择字段映射关系、设置字段批量映射规则。 字段映射关系 同名映射:对字段名称相同的字段进行映射。使用已有数据进行相同列名的字段自动映射。 同行映射:源表和目标表的字段名称不一致,但字段对应相同行的数据进行映射。查询源端和目的端的字段,再进行相同行的字段自动映射。
这种情况一般是在迁移到DWS时数据有中文,且创建作业时选择了目的端自动建表的情况下。原因是DWS的varchar类型是按字节计算长度,一个中文字符在UTF-8编码下可能要占3个字节。当中文字符的字节超过DWS的varchar的长度时,就会出现错误:value too long for type
为数据库账号密码修改,导致的任务连接失败。 连接源和目标数据库的账号密码修改后,请同步修改管理中心对应的连接信息,避免任务连接失败后自动重试,导致数据库账号被锁定影响使用。 支持的同步对象范围 在使用Migration进行同步时,不同类型的链路,支持的同步对象范围不同,详细情况可参考下表。
源连接名称,即为通过“创建连接”接口创建的连接对应的连接名。 creation-user 否 String 创建作业的用户。由系统生成,用户无需填写。 creation-date 否 Long 作业创建的时间,单位:毫秒。由系统生成,用户无需填写。 update-date 否 Long 作业最后更新的时间,单位:毫秒。由系统生成,用户无需填写。
选择执行Python语句的主机。需确认该主机配有用于执行Python脚本的环境。 须知: Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本的调度频率合理配置MaxSessions的值。
挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。
类型:目的端DWS表字段的类型。 字段值:目的端DWS表字段的取值来源。 表9 字段值的取值方式 类型 示例 手动赋值 任意字符。 源表字段 预设的源表字段:下拉选项中获取或者手动输入的,符合MongoDB字段限制的字段名(参考表4-数据库限制)。 extraColumns:自带的特殊字段名,
中MaxSessions的配置值确定。请根据Shell或Python脚本的调度频率合理配置MaxSessions的值。 连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Shell和Python脚本都是发往ECS主机的/tmp目录下去运行的,需要确保/tmp目录磁盘不被占满。
源连接名称,即为通过“创建连接”接口创建的连接对应的连接名。 creation-user 否 String 创建作业的用户。由系统生成,用户无需填写。 creation-date 否 Long 作业创建的时间,单位:毫秒。由系统生成,用户无需填写。 update-date 否 Long 作业最后更新的时间,单位:毫秒。由系统生成,用户无需填写。
通过内置的正则表达式规则,校验数据表中指定字段的合法情况。 正则表达式校验 通过输入自定义的正则表达式,校验数据表中指定字段的合法情况。 IP地址校验 通过内置的正则表达式规则,校验数据表中指定字段的合法情况。 电话格式校验 通过内置的正则表达式规则,校验数据表中指定字段的合法情况。
源连接名称,即为通过“创建连接”接口创建的连接对应的连接名。 creation-user 否 String 创建作业的用户。由系统生成,用户无需填写。 creation-date 否 Long 作业创建的时间,单位:毫秒。由系统生成,用户无需填写。 update-date 否 Long 作业最后更新的时间,单位:毫秒。由系统生成,用户无需填写。
营安全,以及更广义的安全合规遵从。 租户:负责云服务内部的安全,安全地使用云。华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全
Microsoft SQL Server PostgreSQL 支持从云端的数据库服务导出数据。 这些非云服务的数据库,既可以是用户在本地数据中心自建的数据库,也可以是用户在ECS上部署的,还可以是第三方云上的数据库服务。 从这些数据源导出数据时,CDM使用JDBC接口抽取数据,源
Studio数据服务创建的数据API封装的SDK包。通过调用此SDK包提供的代码样例,即可进行数据服务中数据API的调用,帮助开发者简单、快速地通过数据API获取到开放数据。 数据服务SDK使用场景 数据API是否必须通过数据服务SDK代码才能调用,与数据API的认证方式有关。只有当
响应Body参数 参数 参数类型 描述 data data object data,统一的返回结果的最外层数据结构。 表8 data 参数 参数类型 描述 value Object value,统一的返回结果的外层数据结构。 表9 BizMetricVO 参数 参数类型 描述 id String