检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
件(*.*)”,在“文件名”处输入文件名和.csv后缀,选择“UTF-8”编码格式(不能带BOM),则能以CSV格式保存该文件。 将源数据CSV文件上传到OBS服务。 登录控制台,选择“存储 > 对象存储服务 OBS”,进入OBS控制台。 单击“创建桶”,然后根据页面提示配置参数
Boolean 消息通知。 phoneNum 否 String 手机号码,最多填写20个,以英文逗号分隔。 email 否 String 邮箱地址,最多填写20个,以英文逗号分隔。 响应参数 无 请求示例 修改集群配置。 POST /v1.1/1551c7f6c808414d8e
主题域中文名,只读,创建和更新时无需填写。 l3 String 业务对象中文名,只读,创建和更新时无需填写。 approval_time String 审核时间。 approver String 审核人。 email String 审核人邮箱。 msg String 审核信息。 directory_path
h类型,可输入新的类型,CDM支持在目的端自动创建类型。 高级属性里的可选参数一般情况下保持默认即可。 单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如图5所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 如果选择在目的端自动创建类型,这里还需要配置每个类型的字段类型、字段名称。
model WorkspaceVO object 模型信息。 data_format String 数据格式。 obs_bucket String obs桶。 obs_location String 外表路径 configs String 其他配置。 table_type String
理。 对象存储服务(OBS)数据源约束 迁移文件时系统会自动并发,任务配置中的“抽取并发数”无效。 不支持断点续传。CDM传文件失败会产生OBS碎片,需要用户到OBS控制台清理碎片文件避免空间占用。 不支持对象多版本的迁移。 增量迁移时,单个作业的源端目录下的文件数量或对象数量,
参数。 不建议使用MySQL(待下线)连接器,推荐使用RDS连接MySQL数据源。 RDS数据连接方式依赖于OBS。如果没有与DataArts Studio同区域的OBS,则不支持RDS数据连接。 图2 RDS连接配置参数 表1 RDS数据连接 参数 是否必选 说明 数据连接类型
如何将云下内网或第三方云上的私网与CDM连通? 很多企业会把关键数据源建设在内网,例如数据库、文件服务器等。由于CDM运行在云上,如果要通过CDM迁移内网数据到云上的话,可以通过以下几种方式连通内网和CDM的网络: 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通
通过云专线连通网络 在配置实时同步任务前,您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在本地IDC场景下,通过云专线打通网络的方案。 图1 网络示意图
不归档:不对脏数据进行存储,仅记录到任务日志中。 归档到OBS:将脏数据存储到OBS中,并打印到任务日志中。 不归档 脏数据写入连接 “脏数据策略”选择归档到OBS时显示该参数。 脏数据要写入的连接,目前只支持写入到OBS连接。 - 脏数据目录 脏数据写入的OBS目录。 - 脏数据阈值 是否写入脏数据为是时显示该参数。
主题域中文名,只读,创建和更新时无需填写。 l3 否 String 业务对象中文名,只读,创建和更新时无需填写。 approval_time 否 String 审核时间。 approver 否 String 审核人。 email 否 String 审核人邮箱。 msg 否 String 审核信息。 directory_path
Studio数据目录模块中,您可以查看数据地图,详情请参见数据目录章节。数据地图包含业务资产和技术资产,业务资产就是指逻辑实体和业务对象,技术资产就是指数据连接、数据库对象等。 本章节介绍如何在DataArts Studio数据目录中查看业务资产和技术资产。例如,在技术资产的事实表中,您可以
请求服务器返回指定资源。 PUT 请求服务器更新指定资源。 POST 请求服务器新增资源或执行特殊操作。 DELETE 请求服务器删除指定资源,如删除对象等。 HEAD 请求服务器资源头部。 PATCH 请求服务器更新资源的部分内容。 当资源不存在的时候,PATCH可能会去创建一个新的资源。
主题域中文名,只读,创建和更新时无需填写。 l3 否 String 业务对象中文名,只读,创建和更新时无需填写。 approval_time 否 String 审核时间。 approver 否 String 审核人。 email 否 String 审核人邮箱。 msg 否 String 审核信息。 directory_path
Studio的过程中,可能还会产生以下相关服务的费用,敬请知悉: OBS服务:在数据集成或数据开发时,DataArts Studio会将脏数据或日志文件写入到OBS服务中,则会产生对象存储服务费用,收费标准请参见OBS价格详情。 APIG服务:在使用数据服务共享版发布API到API
表名:待迁移数据的表名。 高级属性里的可选参数一般情况下保持默认即可。 目的端作业配置 目的连接名称:选择创建DWS连接中的连接“dwslink”。 模式或表空间:选择待写入数据的DWS数据库。 自动创表:只有当源端和目的端都为关系数据库时,才有该参数。 表名:待写入数据的表名,可以手动
不归档:不对脏数据进行存储,仅记录到任务日志中。 归档到OBS:将脏数据存储到OBS中,并打印到任务日志中。 不归档 脏数据写入连接 “脏数据策略”选择归档到OBS时显示该参数。 脏数据要写入的连接,目前只支持写入到OBS连接。 - 脏数据目录 脏数据写入的OBS目录。 - 脏数据阈值 是否写入脏数据为是时显示该参数。
在创建连接页面,选择“对象存储服务(OBS)”,新建CDM到OBS的连接,数据连接名称为“obs_link”。 表1 OBS连接的参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 obs_link OBS终端节点 终端节点(
主题域中文名,只读,创建和更新时无需填写。 l3 String 业务对象中文名,只读,创建和更新时无需填写。 approval_time String 审核时间。 approver String 审核人。 email String 审核人邮箱。 msg String 审核信息。 directory_path
主题域中文名,只读,创建和更新时无需填写。 l3 否 String 业务对象中文名,只读,创建和更新时无需填写。 approval_time 否 String 审核时间。 approver 否 String 审核人。 email 否 String 审核人邮箱。 msg 否 String 审核信息。 directory_path