检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群ID:输入需要校验的数据所在集群ID。 说明: 区域ID和项目ID可以在“我的凭证 > API凭证”查看。 集群ID的获取方法请参考获取MRS集群ID。 表2 HBase组件参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“HBase-4位随机数(字母和数字)”,也可以自定义名称。
端所在地域为“香港”,则填写“http://service.cn-hongkong.maxcompute.aliyun-inc.com/api” spark.hadoop.odps.tunnel.end.point 填写源端MaxCompute服务所在地域的VPC网络Tunnel
采集原理:利用Java语言编写的应用程序,集成对应中间件的SDK(Software Development Kit,软件开发工具包)。通过SDK提供的方法和API,与中间件进行交互,实现数据的采集。 容器采集 权限要求:需要管理员级别权限的账号导出包含必要访问凭证的文件。 采集原理:利用kspider工具进行数据采集。
端所在地域为“香港”,则填写“http://service.cn-hongkong.maxcompute.aliyun-inc.com/api” spark.hadoop.odps.tunnel.end.point 填写源端MaxCompute服务所在地域的VPC网络Tunnel
创建用户时选择步骤3创建的具有MgC权限的用户组。 获取访问密钥(AK/SK) 账号和IAM用户的访问密钥是单独的身份凭证,即账号和IAM用户仅能使用自己的访问密钥进行API调用/鉴权。获取访问密钥的方法请参见新增访问密钥。
集群ID:输入需要校验的数据所在集群ID。 说明: 区域ID和项目ID可以在“我的凭证 > API凭证”查看。 集群ID的获取方法请参考获取MRS集群ID。 表2 HBase连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“HBase-4位随机数(字母和数字)”,也可以自定义名称。
根据Doris连接参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 Doris连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“Doris-4位随机数(字母和数字)”,也可以自定义名称。 迁移中心Agent 选择步骤5.与MgC建立连接的MgC
根据ClickHouse组件参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 ClickHouse组件参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“ClickHouse-4位随机数(字母和数字)”,也可以自定义名称。 迁移中心Agent 选择步骤5
集群ID:输入需要校验的数据所在集群ID。 说明: 区域ID和项目ID可以在“我的凭证 > API凭证”查看。 集群ID的获取方法请参考获取MRS集群ID。 表4 HBase连接参数配置说明 参数 配置说明 所属源 根据实际需求选择。 连接名称 默认创建名称为“HBase-4位随机数(字母和数字)”,也可以自定义名称。
连接类型选择“HBase”,单击“下一步”。 根据表1,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 HBase连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“HBase-4位随机数(字母和数字)”,也可以自定义名称。 迁移中心Agent 选择步骤5.与MgC建立连接的MgC
场景进行数据校验。 不支持两端均为HBase 2.x不同版本的安全集群数据校验,因为不同版本间存在版本兼容性限制、安全认证机制差异、协议和接口不一致以及特性支持和配置不同等问题,都会影响校验结果。 前提条件 已创建表组并添加数据表。 已根据组件类型,创建对应的连接。 操作步骤 登
端所在地域为“香港”,则填写“http://service.cn-hongkong.maxcompute.aliyun-inc.com/api” spark.hadoop.odps.tunnel.end.point:填写源端MaxCompute服务所在地域的VPC网络Tunnel
端所在地域为“香港”,则填写“http://service.cn-hongkong.maxcompute.aliyun-inc.com/api” spark.hadoop.odps.tunnel.end.point:填写源端MaxCompute服务所在地域的VPC网络Tunnel
端所在地域为“香港”,则填写“http://service.cn-hongkong.maxcompute.aliyun-inc.com/api” spark.hadoop.odps.tunnel.end.point:填写源端MaxCompute服务所在地域的VPC网络Tunnel
果解冻失败,则判定该对象迁移失败并跳过,继续迁移其余对象。 说明: 在数据迁移时,系统会对所有数据发起取回操作,源端云服务商会收取相应的API调用费用和存储费用。 过滤配置 通过黑、白名单以及时间段过滤迁移文件。过滤策略详细介绍请参见过滤策略说明。 CDN迁移支持 当默认域名不能
根据MaxCompute连接参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 MaxCompute连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“MaxCompute-4位随机数(字母和数字)”,也可以自定义名称。 迁移中心Agent 选择步骤5
根据ClickHouse组件参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 ClickHouse组件参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“阿里云云数据库ClickHouse-4位随机数(字母和数字)”,也可以自定义名称。 迁移中心Agent
spark-sql命令 Spark SQL是Spark中用于结构化数据处理的模块。在Spark应用中,可以无缝地使用SQL语句亦或是DataSet API对结构化数据进行查询。更多介绍请参见SparkSQL原理。建议保持默认。 spark-submit命令 通过Spark基本shell命令,提交Spark应用。命令为:
端所在地域为“香港”,则填写“http://service.cn-hongkong.maxcompute.aliyun-inc.com/api” spark.hadoop.odps.tunnel.end.point:填写源端MaxCompute服务所在地域的VPC网络Tunnel
根据ClickHouse组件参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 ClickHouse组件参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“ClickHouse-4位随机数(字母和数字)”,也可以自定义名称。 迁移中心Agent 选择步骤5