检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
} ] } 连接参数 FTP和SFTP的连接参数相同。 参数 是否必选 类型 说明 linkConfig.server 是 String FTP或SFTP服务器的地址。 linkConfig.port 是 String FTP或SFTP服务器端口号。 linkConfig
源端为FTP/SFTP JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig
org 端口 FTP或SFTP服务器的端口,FTP默认值为21;SFTP默认值为22。 21 用户名 登录FTP或SFTP服务器的用户名。 cdm 密码 登录FTP或SFTP服务器的密码。 - FTP文件名编码 FTP时显示该参数。 ftp-client的controlEncodi
配置FTP/SFTP源端参数 作业中源连接为FTP/SFTP连接时,源端作业参数如表1所示。 高级属性里的参数为可选参数,默认隐藏,单击界面上的“显示高级属性”后显示。 表1 FTP/SFTP作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源目录或文件 待迁移数
以提供通信代理服务,请选择一个CDM集群,如果没有可用的CDM集群,请参考创建CDM集群进行创建。 数据源认证及其他功能配置 用户名 是 连接SFTP/FTP的用户名。 密码 是 连接SFTP/FTP的密码。 父主题: 配置DataArts Studio数据连接参数
配置FTP/SFTP源端参数 表1 FTP/SFTP作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源目录或文件 要传输的目录或单个文件路径。 FROM_DIRECTORY/ or FROM_DIRECTORY/example.csv 文件格式 传输数据时使用的格式。
创建API时提示代理调用失败,怎么办? 可能原因 数据连接中的CDM代理异常,例如内存占用过高等。 解决方案 短期内建议您在空余时间对CDM集群进行重启,长期措施需降低CDM集群的工作负载。 父主题: 数据服务
创建Oracle关系型数据库迁移作业时,无法获取模式名怎么处理? 问题描述 创建Oracle关系型数据库迁移作业时,无法获取模式名。 原因分析 这是由于可能上传了暂不支持的最新ORACLE_8驱动(如Oracle Database 21c (21.3) drivers)。 解决方案
访问DataArts Studio时,需要先切换至授权区域。 创建用户并加入用户组。 在IAM控制台创建用户,并将其加入步骤1中创建的用户组。 创建用户并加入用户组的具体操作,请参见创建用户并加入用户组。 仅当创建IAM用户时的访问方式勾选“编程访问”后,此IAM用户才能通过认
配配额(即总配额-总分配配额)。 数据服务专享版在每个DataArts Studio实例下具有创建10个专享版API免费试用额度,超出试用配额后会产生数据服务专享版API的费用,所创建的超出试用配额API按每天每个按1元收费。 图2 设置已分配配额 已分配配额设置完成后,单击“空间信息”中的“确定”,完成配置。
创建DWS数据连接时报错提示“The account has been locaked”怎么处理? 问题原因 连接DWS集群输入密码错误的次数达到集群参数failed_login_attempts所设置的值(默认10)时,账户将会被自动锁定。 解决方案 解锁方式参考账号被锁住了,如何解锁?
指定文件名迁移 从FTP/SFTP/OBS导出文件时,CDM支持指定文件名迁移,用户可以单次迁移多个指定的文件(最多50个),导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时,如果源端数据源为FTP/SFTP/OBS,CDM源端的作业参数“源目录或文件”支持输
指定文件名迁移 从FTP/SFTP/OBS导出文件时,CDM支持指定文件名迁移,用户可以单次迁移多个指定的文件(最多50个),导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时,如果源端数据源为FTP/SFTP/OBS,CDM源端的作业参数“源目录或文件”支持输
CDM连接关系数据库前,需要先上传所需关系数据库的JDK8版本.jar格式驱动。 前提条件 已创建集群。 已参见表1下载对应的驱动。 已参见FTP/SFTP连接参数说明创建SFTP连接并将对应的驱动上传至线下文件服务器(可选)。 如何获取驱动 不同类型的关系数据库,需要适配不同类型的驱动。注意,
作业参数配置完成后,将进行字段映射的配置,您可以单击操作列下创建字段转换器。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。 在创建表/文件迁移作业的字段映射界面,可新建字段转换器,如下图所示。
作业参数配置完成后,将进行字段映射的配置,您可以单击操作列下创建字段转换器。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。 在创建表/文件迁移作业的字段映射界面,可新建字段转换器,如下图所示。
作业参数配置完成后,将进行字段映射的配置,您可以单击操作列下创建字段转换器。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。 在创建表/文件迁移作业的字段映射界面,可新建字段转换器,如图1所示。
配置CDM作业字段映射 操作场景 作业参数配置完成后,将进行字段映射的配置,您可以通过字段映射界面的可自定义新增字段,也可单击操作列下创建字段转换器。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。
时间比本地时区时间少8个小时。因此在CDM迁移数据到云搜索服务的时候,如果是通过CDM自动创建的索引和类型(例如图2中,目的端的“date_test”和“test1”在云搜索服务中不存在时,CDM会在云搜索服务中自动创建该索引和类型),则CDM默认会将时间类型字段的格式设置为“yyyy-MM-dd
Hive迁移作业长时间卡顿怎么办? 问题描述 Hive迁移作业长时间卡顿怎么办? 解决方案 为避免Hive迁移作业长时间卡顿,可手动停止迁移作业后,通过编辑Hive连接增加如下属性设置: 属性名称:hive.server2.idle.operation.timeout 值:10m