检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FTP/SFTP连接参数说明 FTP/SFTP连接适用于从线下文件服务器或ECS服务器上迁移文件到数据库。 当前仅支持Linux操作系统的FTP 服务器。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 连接FTP或SFTP服务器时,连接参数相同,如表1所示。
Hive连接适用于用户在本地数据中心或ECS上自建的第三方Hadoop,其中本地数据中心的Hadoop需通过专线连接。 Apache Hive的连接参数如表3所示。 表3 Apache Hive连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。
性IP”,CDM通过EIP访问MRS HDFS。 图1 集群列表 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。 创建MRS HDFS连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面,如图2所示。
迁移HDFS文件,报错无法获取块怎么处理? 问题描述 用户HDFS为线下自建的,往OBS迁移文件建立好连接器后,测试源端和目的端的连通性都是没问题的。 任务启动时报如下错误: Error: java.io.IOException: org.apache.hadoop.hdfs.B
创建MRS数据连接时测试连通性报下载配置文件失败错误怎么处理? 问题描述 创建MRS连接器报如下错误,在Manager检查用户权限是有的,检查网络也都是通的。 解决方案 登录Manager初始化用户后,重新建立数据连接即可。 父主题: 故障处理类
C不一致时,可以通过对等连接打通网络。配置对等连接请参见如何配置对等连接章节。 注:如果配置了VPC对等连接,可能会出现对端VPC子网与CDM管理网重叠,从而无法访问对端VPC中数据源的情况。推荐使用公网做跨VPC数据迁移,或联系管理员在CDM后台为VPC对等连接添加特定路由。
Hive迁移作业长时间卡顿怎么办? 问题描述 Hive迁移作业长时间卡顿怎么办? 解决方案 为避免Hive迁移作业长时间卡顿,可手动停止迁移作业后,通过编辑Hive连接增加如下属性设置: 属性名称:hive.server2.idle.operation.timeout 值:10m
Content 重置内容,服务器处理成功。 206 Partial Content 服务器成功处理了部分GET请求。 300 Multiple Choices 多种选择。请求的资源可包括多个位置,相应可返回一个资源特征与地址的列表用于用户终端(例如:浏览器)选择。 301 Moved
则CDM无法通过弹性IP连接数据源。 前提条件 已创建CDM集群。 已拥有EIP配额,才能绑定EIP。 操作步骤 登录CDM管理控制台。单击左侧导航上的“集群管理”,进入集群管理界面。 或参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。在DataArts
JDBC连接超时。 图1 非索引列 解决方案 优先联系DBA修改表结构,将需要过滤的列配置为索引列,然后重试。 如果由于数据不离散,导致还是失败请参考2~4,通过增大JDBC超时时间解决。 根据作业找到对应的MySQL连接名称,查找连接信息。 图2 连接信息 单击“连接管理”,在“操作”列中,单击“连接”进行编辑。
求被修改。 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面,选择“访问密钥 > 新增访问密钥”,如图1所示。 图1 单击新增访问密钥 单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials
日志提示解析日期格式失败时怎么处理? 问题描述 在使用CDM迁移其他数据源到云搜索服务(Cloud Search Service)的时候,作业执行失败,日志提示“Unparseable date”,如图1所示。 图1 日志提示信息 原因分析 云搜索服务对于时间类型有一个特殊处理:
创建FusionInsight HDFS连接报错get filesystem怎么解决? 问题描述 创建FusionInsight HDFS数据连接时,测试连通性提示获取文件系统失败的问题。 解决方案 客户使用的管理ip有误,正确的ip使用的是集群的一个浮动ip,端口使用HDFS的webui的端口即可解决。
迁移数据到DLI时有数据丢失怎么处理? 创建Oracle数据连接测试连通性成功,连接管理界面中测试连接失败。是什么原因? 作业配置表不存在时自动创建,目的端字段映射不出来怎么处理? 作业从旧集群导出,再导入到新的集群失败怎么解决? 迁移HDFS文件,报错无法获取块怎么处理? 创建MRS数据连接时测试连通性报下载配置文件失败错误怎么处理?
连接参数,如图5所示。 名称:用户自定义连接名称,例如“obslink”。 OBS服务器、端口:配置为OBS实际的地址信息。 访问标识(AK)、密钥(SK):登录OBS的AK、SK。 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面,选择“访问密钥
连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 oracle_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 192.168.0.1 端口 配置为要连接的数据库的端口。 默认端口:1521 数据库连接类型 选择Oracle数据库连接类型: Service Name:通过S
connection:stream closed con:192.168.XX.XX.”。 故障分析 考虑用户数据量大,或连接中断异常导致报错,检查客户连接高级属性配置,是否配置超时时间参数设置及设置情况: 用户连接参数超时时间“6000000”毫秒,已经足够大。进一步排查客户Mysql数据库是否异常
连接参数,如图5所示。 名称:用户自定义连接名称,例如“obslink”。 OBS服务器、端口:配置为OBS实际的地址信息。 访问标识(AK)、密钥(SK):登录OBS的AK、SK。 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面,选择“访问密钥
解决方案 可通过以下两种方式解决问题: 修改目的端建表语句,INT类型为BOOL类型; 源端修改MySql参数,将该"mysql.bool.type.transform"参数设置为"false"。 其中第二种方式可以在CDM的Mysql连接器高级属性中添加: 连接管理-Mysql连接-高级属性-添加参数
连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dm_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的DWS、RDS等实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同,请根据具体情况配置。 数据库名称