正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
共享版与专享版数据服务的对比 共享版与专享版对比 数据服务当前提供共享版与专享版两种服务方式。其中共享版数据服务即开即用,专享版数据服务需要购买专享版集群增量包,并在实例中管理API。 数据服务共享版仅限于调测使用,受限于服务稳定性和生命周期策略,不可用于生产环境。 专享版数据服
可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而
可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而
DMS Kafka数据连接参数说明 表1 DMS Kafka数据连接 参数 是否必选 说明 数据连接类型 是 DMS Kafka连接固定选择为DMS Kafka。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。
er业务IP和服务端口,即使填写错误也不会提示,因此建议进行人工检查。 已开启对应MRS集群的Ranger鉴权功能,安全模式默认开启Ranger鉴权,普通模式默认关闭Ranger鉴权。详情请参考启用Ranger鉴权。 约束与限制 资源权限策略依赖于MRS集群的Ranger鉴权功能,当前仅支持对MRS资源进行权限控制。
partition策略。 按源端分区投递到对应的Partition:源端消息在第n个分区,则投递到目的端的第n个分区,该策略可以保证消息顺序。 按轮询模式投递到不同的Partition:采用Kafka粘性分区策略均匀的投递到目的端主题的所有分区,该策略无法保证消息顺序。 全部投递到Partition
create_time String 创建时间,只读,格式遵循RFC3339,精确到秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如1970-01-01T00:00:00Z。 update_time String 更新时间,只读,格式遵循RFC3339,精确到秒,UTC时
null_value 否 String 为空时默认值。 comment 否 String 注解。 parse_mode 否 String 解析模式。 join_table 否 String 联表。 响应参数 状态码: 400 表6 响应Body参数 参数 参数类型 描述 error_code
新增字段操作指导 操作场景 作业参数配置完成后,将进行字段映射的配置,您可以通过字段映射界面的可自定义新增字段。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。
置的用户需要HDFS系统的管理员权限。 密码:访问MRS Manager的用户密码。 认证类型:访问MRS的认证类型。 运行模式:选择HDFS连接的运行模式。 创建OBS连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图3所示。
DMIN属性的用户可以查看审计记录;如果开启了三权分立,则只有拥有AUDITADMIN属性的用户才可以查看审计记录。因此需要保证数据连接中的账号或当前用户账号拥有上述权限(未开启细粒度认证前,使用数据连接上的账号查看审计记录;如果开启了细粒度认证,则使用当前IAM用户身份查看审计记录)。
可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而
新增字段操作指导 操作场景 作业参数配置完成后,将进行字段映射的配置,您可以通过字段映射界面的可自定义新增字段。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。
新增字段操作指导 操作场景 作业参数配置完成后,将进行字段映射的配置,您可以通过字段映射界面的可自定义新增字段。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。
添加SNAT规则 选择子网和弹性IP,如果没有弹性IP,需要先申请一个。 完成之后,就可以到CDM控制台,通过Internet迁移公网的数据上云了。例如:迁移本地数据中心FTP服务器上的文件到OBS、迁移第三方云上关系型数据库到云服务RDS。 父主题: 数据集成
HIVE数据源 DWS数据源 DLI数据源 database_name String 数据库名称。 schema_name String 模式名称。 namespace String 命名空间。 table_name String 表名称。 column_name String 列名称。
管理中心API概览 表1 管理中心API类型 类型 说明 工作空间管理 工作空间管理类型接口。 数据源元数据获取 数据源元数据获取类型接口。 实例规格变更 实例规格变更类型接口。 工作空间用户管理 工作空间用户管理类型接口。 实例管理 实例管理类型接口。 购买实例 购买实例类型接口。
数据开发操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建作业 job createJob(api)
可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而
CDM集群ID,获取方法请参见查询集群列表。 agent_name String 代理集群名称,获取方法请参见查询集群列表。 env_type Integer 0:开发模式 1:生产模式,默认为0。 qualified_name String 数据连接限定名称。 dw_id String 数据连接id。 create_user