检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
名,避免无意义的描述。 角色描述:补充对该角色的相关说明,如与预置角色的关键权限差异等。 角色类型:由于简单模式与企业模式下角色权限有所差异,因此需要根据该角色的使用场景来选择角色类型。企业模式的相关介绍请参见企业模式概述。 当该角色在简单模式空间下使用时,选择为“开发&生产模式,自定义角色”。
} 参数说明 参数 是否必选 类型 说明 toJobConfig.index 是 String 写入数据的索引,类似关系数据库中的数据库名称。 toJobConfig.type 是 String 写入数据的类型,类似关系数据库中的表名。 toJobConfig
运行失败。 表1 DMS Kafka连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dms_link 服务类型 选择DMS Kafka版本,目前只有专享版。 专享版 Kafka Broker Kafka专享版实例的地址,格式为
景下显示列名。 SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datatime)。 Hive作为源端数据源时,支持array、map类型的数据读取。 当使用二进制格式进行文件到文件的迁移时,没有字段映射这一步。 如果
据库中的表,但能否更新成功是由底层数仓引擎的支持情况决定的。由于不同类型的数仓支持的更新表的能力不同,在数据架构中所做的表更新操作,如果数仓不支持,则无法确保数据库中的表和数据架构中的表是一致的。例如,DLI类型的表更新操作不支持删除表字段,如果在数据架构的表中删除了表字段,则无法在数据库中相应的删除表字段。
此简单。 优势 数据集成一键式操作 通过在服务界面配置化操作,可实现线上线下数据快速集成到云数据仓库。 支持多种数仓服务类型 根据需求,可以灵活选择数据服务类型,可以选择DWS服务建数仓,也可以选择MRS服务等数据平台。 安全稳定、降低成本 一站式的服务能力和稳定的数仓服务,让云
更换用户,密码不会立即生效且作业会运行失败。 表1 神通(ST)数据库连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 st_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的数据库实例列表。
后通过编辑数据连接的方式重新选择新版本驱动,更新驱动才能生效。 驱动文件 是 “驱动文件来源”选择“本地文件”时配置。不同类型的关系数据库,需要适配不同类型的驱动。 单次请求行数 否 可选参数,指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。默认1000。
tch-actions 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。
表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 id 是 String 分配给当前空间的队列资源id。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 workspace 是 String
"connector-name": "hbase-connector" } ] } 连接参数 参数 是否必选 类型 说明 linkConfig.hbaseType 是 枚举 HBase类型: CloudTable:表示连接CloudTable服务。 MRS:表示连接MRS。 FusionInsight
myhuaweicloud.com,具体如表3所示。 表1 CDM数据集成Endpoint 区域名称 区域ID 终端节点(Endpoint) 协议类型 华北-北京一 cn-north-1 cdm.cn-north-1.myhuaweicloud.com HTTPS 华北-北京二 cn-north-2
选择消息的主题,该主题已在SMN服务中创建好。 消息标题 否 自定义消息的标题,长度必须少于512个字符。 消息类型 是 选择消息的发送格式。 文本消息:按文本格式发送的消息。 JSON消息:按JSON格式发送的消息,用户可对不同的订阅者类型发送不同的消息。 手动输入JSON格式的消息:在“消息内容”直接输入。 通过
"name": "toJobConfig" } ] } 参数说明 参数 是否必选 类型 说明 toJobConfig.streamName 是 String DIS的通道名。 toJobConfig.separator 否 String
任务日调度数:按照当天调度成功的节点进行统计,不区分实时任务和离线任务。 系统默认查看一个月内的任务日调度数和作业数,支持通过时间段筛选进行查看。 任务类型分布 可以直观地查看作业的任务节点类型分布图及数量。 任务表示作业中的算子。 系统会统计已提交的所有作业节点数,含实时作业和批处理作业。 实例运行时长top100
Hudi作业配置 Oracle数据库建议使用版本:10、11、12、19版本。 Hudi建议使用版本:0.11.0。 消息系统 DMS Kafka 对象存储:OBS DMS Kafka同步到OBS作业配置 Kafka集群建议使用版本:2.7、3.x版本。 Apache Kafka Hadoop:MRS
买即可进入DataArts Studio实例创建界面。 图1 试用初级版 试用初级版注意事项: 云产品体验名额有限,领完即止。 符合“参与对象”的同一用户仅能对同一产品申请一次。 试用产品的升级:用户试用过程中,主动进行升配等操作,将按照官网标准价格收费;如果进行降配或切换计费方式等,将不进行退费。
配置SAP HANA源端参数 表1 SAP HANA作源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。
路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 instance_id 是 String projectId。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 workspace 是
创建RDS连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图3所示。 图3 选择连接器类型 连接器类型选择“云数据库 MySQL”后单击“下一步”,配置连接参数: 名称:用户自定义连接名称,例如:“rds_link”。