检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
连接“CloudTable”时必选,表示CloudTable的ZooKeeper链接地址。 linkConfig.iamAuth 是 Boolean 当选择IAM统一身份认证时,需要输入用户名、AK和SK。 linkConfig.runMode 是 枚举 选择HBase连接的运行模式: EMBEDDED:连
返回结果 请求发送以后,您会收到响应,包含:状态码、响应消息头和响应消息体。 状态码 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于“获取用户Token”接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头
index 是 String 抽取数据的索引,类似关系数据库中的数据库名称。 fromJobConfig.type 是 String 抽取数据的类型,类似关系数据库中的表名。 fromJobConfig.columnList 否 String 需要抽取的字段列表,字段名之间使用“&”
选择是否打开客户端连接Kafka专享版实例时SSL认证的开关。 开启Kafka SASL_SSL,则数据加密传输,安全性更高,但性能会下降。 linkConfig.user 否 String 开启Kafka SASL_SSL时显示该参数,表示连接DMS Kafka的用户名。 linkConfig.password
fromJobConfig.inputFormat 是 枚举 传输数据时所用的文件格式,目前支持以下文件格式: CSV_FILE:CSV格式,用于迁移文件到数据表的场景。 JSON_FILE:JSON格式,一般都是用于迁移文件到数据表的场景。 BINARY_FILE:二进制格式,不解析文件内
写入脏数据的OBS桶的名称。 dirtydata 脏数据目录 “是否写入脏数据”选择为“是”时,该参数才显示。 OBS上存储脏数据的目录,只有在配置了脏数据目录的情况下才会记录脏数据。 用户可以进入脏数据目录,查看作业执行过程中处理失败的数据或者被清洗过滤掉的数据,针对该数据
statement. Cause : 将截断字符串或二进制数据。 原因分析 用户OBS中的数据超出了SQL Server数据库的字段长度限制。 解决方案 在SQL Server数据库中建表时,将数据库字段改大,长度不能小于源端OBS中的数据长度。 父主题: 故障处理类
应用场景 大数据迁移上云 本地数据是指存储在用户自建或者租用的IDC中的数据,或者第三方云环境中的数据,包括关系型数据库、NoSQL数据库、OLAP数据库、文件系统等。 这个场景是用户希望利用云上的计算和存储资源,需要先将本地数据迁移上云。该场景下,需要保证本地网络与云上网络是连通的。
创建MRS数据连接时测试连通性报下载配置文件失败错误怎么处理? 问题描述 创建MRS连接器报如下错误,在Manager检查用户权限是有的,检查网络也都是通的。 解决方案 登录Manager初始化用户后,重新建立数据连接即可。 父主题: 故障处理类
登录CloudTable集群的用户名。 admin AK 登录CloudTable集群的访问标识。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 - SK 登录CloudTable集群的密钥。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 - 是否使用集群配置
配置Redis源端参数 第三方云的Redis服务无法支持作为源端。如果是用户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。 作业中源连接为从本地Redis导出的数据时,源端作业参数如表1所示。 表1 Redis作为源端时的作业参数 参数类型 参数名 说明 取值样例
fromJobConfig.inputFormat 是 枚举 传输数据时所用的文件格式,目前支持以下文件格式: CSV_FILE:CSV格式,用于迁移文件到数据表的场景。 JSON_FILE:JSON格式,一般都是用于迁移文件到数据表的场景。 BINARY_FILE:二进制格式,不解析文件内
CDM任务检查网络连通性,源端数据库连接问题,测试连通性提示如下问题: “请检查IP、主机名、端口填写是否正确,检查网络安全组和防火墙配置是否正确,参考数据库返回消息进行定位。” 故障分析 查询集群信息,获取公网IP,从CDM集群curl源端数据库的地址,如下所示。 从结果看考虑
初始化向量:这里的初始化向量必须与加密时配置的初始化向量一致,否则解密出来的数据会错误,且系统不会提示异常。 这样CDM从HDFS导出加密过的文件时,写入目的端的文件便是解密后的明文文件。 目的端配置加密 创建CDM导入文件到HDFS的作业时,目的端数据源选择HDFS、文件格
CDM通过专线直接迁移近一个月的数据以及备HBase集群的数据: CDH → CDM(华为云) → MRS 使用云专线直接迁移时的优缺点: 优点:数据无需做多次的搬迁,缩短整体搬迁周期。 缺点:在数据大量传输过程中会占用专线带宽,对客户并行进行的业务存在影响,跨越多个交换机设备。
fromJobConfig.table 是 String 需要抽取数据的表名,例如“cdm”。 fromJobConfig.columnFamilies 否 String 抽取数据所属的列族。 fromJobConfig.columns 否 String 需要抽取的列,列号之间使用“&”分割,列族与列之间
MySQL数据库的端口。 3306 数据库名称 待导出数据的MySQL数据库名称。 DB_name 用户名 访问MySQL数据库的用户,该用户拥有MySQL数据库的读、写和删除权限。 username 密码 访问MySQL数据库的用户密码。 DB_password DWS数据库 IP地址
index 是 String 写入数据的索引,类似关系数据库中的数据库名称。 toJobConfig.type 是 String 写入数据的类型,类似关系数据库中的表名。 toJobConfig.shouldClearType 否 Boolean 导入前是否清除数据。 toJobConfig
初始化向量:这里的初始化向量必须与加密时配置的初始化向量一致,否则解密出来的数据会错误,且系统不会提示异常。 这样CDM从HDFS导出加密过的文件时,写入目的端的文件便是解密后的明文文件。 目的端配置加密 创建CDM导入文件到HDFS的作业时,目的端数据源选择HDFS、文件格
制其对云资源的访问范围。例如您的员工拥有CDM的使用权限,但是不希望其拥有删除CDM集群等高危操作的权限,那么您可以使用IAM为员工创建IAM用户,通过授予仅能使用CDM服务,但是不允许删除CDM集群的权限策略,实现控制其对CDM的使用范围。 如果云账号已经能满足您的要求,不需要