检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果大量CDM作业同时执行,当超过当前CDM集群的并发执行作业数时,会导致作业排队,耗时提升。 建议您将迁移作业的运行时间错开,平摊在业务周期内,避免资源紧张导致迁移时间过长。 数据模型 数据迁移时,对于不同的数据结构,迁移速度也会受到一定影响。例如: 对于表迁移,宽表的迁移速度较慢
如果大量CDM作业同时执行,当超过当前CDM集群的并发执行作业数时,会导致作业排队,耗时提升。 建议您将迁移作业的运行时间错开,平摊在业务周期内,避免资源紧张导致迁移时间过长。 调整抽取并发数 对于低任务量场景,调整抽取并发数是性能调优的最佳方式。CDM迁移作业支持设置作业抽取并发数,同时也可以设置集群最大抽取并发数。
根据指定的偏移类型(month/day/hour/minute/second)及偏移量(正数表示增加,负数表示减少),将指定格式的时间转换为一个新时间,例如将“2019-05-21 12:00:00”增加8个小时。 表达式:DateUtils.getCurrentTimeByZone("yyyy-MM-dd
TIME_CONDITION: 时间限定 create_time String 创建时间,只读,格式遵循RFC3339,精确到秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如1970-01-01T00:00:00Z。 update_time String 更新时间,只读,格式遵循R
数据服务操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建API DLMApi createApi
数据集成操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster
TIME_CONDITION: 时间限定 create_time String 创建时间,只读,格式遵循RFC3339,精确到秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如1970-01-01T00:00:00Z。 update_time String 更新时间,只读,格式遵循R
预置规则id。 updated_by String 更新人。 update_at Long 更新时间。 created_by String 创建人。 create_at Long 创建时间。 状态码: 400 表9 响应Body参数 参数 参数类型 描述 error_code String
version 否 Integer 版本。 update_time 否 Number 修改时间。 update_user 否 String 修改人。 create_time 否 Number 创建时间。 create_user 否 String 创建人。 display_text 否 String
获取数据库列表 功能介绍 获取数据库列表。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/{connection_id}/databases 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
管理中心操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建数据连接 dataWarehouse createDataWarehouse
- 数据库类迁移,调研表的个数,最大表的规模 本示例不涉及,本示例需要从OBS文件迁移到数据库 了解数据库迁移的作业规模,了解最大表的迁移时间是否可接受 文件类迁移,文件的个数,有没有单文件超过TB级文件 本示例的CSV文件仅1个,未超过TB级 - 3 数据开发 是否需要作业编排调度?
分类描述。 create_user 否 String 分类创建者。 create_time 否 Number 分类创建时间。 update_time 否 Number 分类更新时间。 update_user 否 String 分类更新者。 guid 否 String 分类的guid标志。 响应参数
出不同的类别。 二者主要区别如下: 表1 标签和分类区别 属性 分类 标签 排他性 有 无 关系 从属 相关(关联) 创建 事前规划 任意时间 代价 高 低 来源 请参见新建数据分类(待下线) 请参见管理资产标签 管理标签 在DataArts Studio控制台首页,选择对应工作
nt分担压力。 数据集成配置 属性配置 否 其他客户端配置属性。 例如: 1. socketTimeout:配置Hive JDBC连接超时时间,单位为秒。 2. fs.defaultFS:配置HDFS元数据的NameNode URI地址。 3. hadoop.user.name:配置访问HDFS时的用户名。
DBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。 常见配置举例如下: socketTimeout:配置JDBC连接超时时间,单位为毫秒。 mysql.bool.type.transform:配置mysql读取时,是否将tinyint(1)解析成boolean类型,默认为true。
规范消息头,即请求消息头列表。包括签名请求中的所有HTTP消息头列表。消息头必须包含X-Sdk-Date,用于校验签名时间,格式为ISO8601标准的UTC时间格式:YYYYMMDDTHHMMSSZ。如果API发布到非RELEASE环境时,需要增加自定义的环境名称。 格式: Ca
标签名称,用作搜索框筛选。 create_user 否 String 创建者,用作搜索框筛选。 start 否 String 开始时间。 end 否 String 结束时间。 offset 否 Integer 页码。 limit 否 Integer 每页大小。 sort_by 否 String
作业算子名称,表关联作业算子列表接口响应体的job_name。 start_time 是 Number 搜索参数时间范围的开始时间,例:1705248000000。 end_time 是 Number 搜索参数时间范围的结束时间,例:1705311669796 offset 是 Integer 分页参数偏移量。
批处理作业:按调度计划定期处理批量数据,主要用于实时性要求低的场景。批作业是由一个或多个节点组成的流水线,以流水线作为一个整体被调度。被调度触发后,任务执行一段时间必须结束,即任务不能无限时间持续运行。 批处理作业可以配置作业级别的调度任务,即以作业为一整体进行调度,具体请参见配置作业调度任务(批处理作业)。 实时