检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业名称:用户自定义作业名称。 源连接名称:选择创建OBS连接中的“obslink”。 桶名:待迁移数据所属的桶。 源目录或文件:待迁移数据的具体路径。 文件格式:传输文件到数据表时,这里选择“CSV格式”或“JSON格式”。 高级属性里的可选参数保持默认。 目的连接名称:选择创建DLI连接中的“dlilink”。
能影响作业的时长。 Oracle到DWS迁移时,可能出现目的端写太久导致迁移超时的情况。此时请减少Oracle源端“单次请求行数”参数值的设置。 1000 单次提交行数 可选参数,单击“显示高级属性”后显示。 指定单次批量提交的行数。 10000 连接属性 可选参数,单击“添加”
Gbps,单个实例一天传输数据量的理论极限值在8TB左右。同理,cdm.xlarge实例规格网卡的基准/最大带宽为4/10 Gbps,理论极限值在40TB左右;cdm.4xlarge实例规格网卡的基准/最大带宽为36/40 Gbps,理论极限值在360TB左右。对传输速度有要求的情况下可以使用多个数据集成实例实现。
只有文本文件可以设置编码类型,当“文件格式”选择为“二进制格式”时,该参数值无效。 GBK 压缩格式 选择对应压缩格式的源文件: 无:表示传输所有格式的文件。 GZIP:表示只传输GZIP格式的文件。 ZIP:表示只传输ZIP格式的文件。 TAR.GZ:表示只传输TAR.GZ格式的文件。
FTP/SFTP到搜索的迁移仅支持如CSV等文本文件,不支持二进制文件。 FTP/SFTP到OBS的迁移仅支持二进制文件。 HTTP到OBS的迁移推荐使用obsutil工具,请参见obsutil简介。 SFTP HTTP Hadoop:MRS HDFS 关系型数据库 云数据库 MySQL 数据仓库:数据仓库服务
压缩格式,当文件格式为“CSV_FILE”或“JSON”时此参数有效。选择对应压缩格式的源文件: NONE:表示传输所有格式的文件。 GZIP:表示只传输GZIP格式的文件。 ZIP:表示只传输ZIP格式的文件。 fromJobConfig.splitType 否 枚举 指定任务分片方式,选择按文件或文件大小进行分割。
Manager的密码。 - OBS支持 是否支持OBS存储,如果hudi表数据存储在OBS,需要打开此开关。 是 访问标识(AK) “OBS支持”设置为“是”时,呈现此参数。 AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 您可以通过如下方式获取访问密钥。
CDM部署时通过物理区域划分,为项目级服务,需要在各区域(如华北-北京1)对应的项目(cn-north-1)中设置相关权限,并且该权限仅对此项目生效。如果需要所有区域都生效,则需要在所有项目都设置权限。访问CDM时,需要先切换至授权区域。 权限根据授权精细程度分为角色和策略。 角色:IAM最初
根据企业的业务组织,在您的华为云账号中,给企业中不同职能部门的员工创建IAM用户,让员工拥有唯一安全凭证,并使用CDM资源。 根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将CDM资源委托给更专业、高效的其他华为云账号或者云服务,这些账号或者云服务可以根据权限进行代运维。
elasticsearch-connector:Elasticsearch/云搜索服务连接。 dli-connector:DLI连接。 http-connector:HTTP/HTTPS连接,该连接暂无连接参数。 dms-kafka-connector:DMSKafka连接。 to-config-values
FTP/SFTP连接 介绍 通过FTP或SFTP连接,可以对FTP或SFTP服务器抽取或加载文件,支持CSV、二进制和JSON格式。 连接样例 { "links": [ { "link-config-values": {
配额说明 CDM服务应用的基础设施如下: 弹性云服务器 虚拟私有云 弹性公网IP 消息通知服务 统一身份认证服务 其配额查看及修改请参见关于配额。
ava-5.1.48.jar,然后进行上传。 - 单击“保存”回到连接管理界面。 如果保存时出错,一般是由于MySQL数据库的安全设置问题,需要设置允许CDM集群的EIP访问MySQL数据库。 创建OBS连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 >
search-connector:Elasticsearch/云搜索服务连接。dli-connector:DLI连接。 http-connector:HTTP/HTTPS连接,该连接暂无连接参数。dms-kafka-connector:DMSKafka连接。 update-date
与其他云服务的关系 统一身份认证服务 您注册的云账号对其所拥有的资源及云服务具有完全的访问权限,如果您需要给企业中的员工设置不同的CDM访问权限,以达到不同员工之间的权限隔离,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)进
ava-5.1.48.jar,然后进行上传。 - 单击“保存”回到连接管理界面。 如果保存时出错,一般是由于MySQL数据库的安全设置问题,需要设置允许CDM集群的EIP访问MySQL数据库。 创建OBS连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 >
选择二进制格式。二进制格式传输文件到文件的速率高、性能稳定,且不需要在作业第二步进行字段匹配。 文件传输的目录结构 CDM的文件传输,支持单文件,也支持一次传输目录下所有的文件。传输到目的端后,目录结构会保持原样。 增量迁移文件 使用CDM进行二进制传输文件时,目的端有一个参数“
scheduleOffTime 否 String 定时关机时间。 autoRemind 否 Boolean 消息通知。 phoneNum 否 String 手机号码,最多填写20个,以英文逗号分隔。 email 否 String 邮箱地址,最多填写20个,以英文逗号分隔。 响应参数 无 请求示例 修改集群配置。
的是从元数据里面的第一个字段作为分区字段。 由于客户作业中设置的并发数是8,程序选择IsDef作为分区字段,但是IsDef的类型是bit,不支持min运算所以会报错。 解决方案 通过修改作业json的方式将作业并发数设置为1即可,参数:"throttlingConfig.numExtractors"。
elasticsearch-connector:Elasticsearch/云搜索服务连接。 dli-connector:DLI连接。 http-connector:HTTP/HTTPS连接,该连接暂无连接参数。 dms-kafka-connector:DMSKafka连接。 to-config-values