检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Agent。单击“选择并启用迁移中心Agent”按钮,在弹窗的下拉列表中,选择与迁移中心连接成功的MgC Agent。 在进行大数据校验时,请确保MgC Agent一直处于在线并启用状态。 在功能入口区域,单击“迁移准备”,进入迁移准备页面。 选择“连接管理”,单击“创建连接”,右侧弹出新增连接窗口。 图3 创建连接
Agent。单击“选择并启用迁移中心Agent”按钮,在弹窗的下拉列表中,选择与迁移中心连接成功的MgC Agent。 在进行大数据校验时,请确保MgC Agent一直处于在线并启用状态。 在功能入口区域,单击“迁移准备”,进入迁移准备页面。 选择“连接管理”,单击“创建连接”,右侧弹出新增连接窗口。 图3 创建连接
示例中的以下参数,请替换为实际值: <BUCKET-NAME>:存储桶名称。 < FILE-NAME >:创建的json文件名。 <DOMAIN>:Ceph RGW(RADOS Gateway)服务的实际域名或IP地址。 <PORT>:Ceph RGW服务的实际访问端口号。 如果
列表文件类型必须为.txt,列表路径中不能包含除了.txt的其他文件/文件夹,并且该文件元数据中的“ContentType”只能为:“text/plain”。 txt文件行数不超过100000行。 单个列表文件大小不能超过300 MB。 列表文件存放目录下的列表文件个数不能超过10000个。
登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。 单击左侧导航栏的“源端发现>资源采集”,进入资源采集页面。 选择“在线调研”页签,单击“云平台采集”,进入云平台采集参数配置页面。 图1 云平台采集 根据表1,完成基础配置和任务配置区域的参数配置。 表1 基础配置和任务配置区域参数配置说明
spark-submit命令 通过Spark基本shell命令,提交Spark应用。命令为: ./bin/spark-submit \ --class <main-class> \ --master <master-url> \ ... # other options <application-jar>
目的端为OBS 对象列表文件大小不能超过30 MB。 对象列表文件类型必须为.txt类型,并且元数据ContentType只能为text/plain。 对象列表文件必须是UTF-8无BOM格式编码格式。 对象列表文件每行只能包含一个对象名称,且对象名称使用URL Encode编码。
列表文件类型必须为.txt,列表路径中不能包含除了.txt的其他文件/文件夹,并且该文件元数据中的“ContentType”只能为:“text/plain”。 txt文件行数不超过100000行。 单个列表文件大小不能超过300 MB。 列表文件存放目录下的列表文件个数不能超过10000个。
spark-submit命令 通过Spark基本shell命令,提交Spark应用。命令为: ./bin/spark-submit \ --class <main-class> \ --master <master-url> \ ... # other options <application-jar>
Devices(查询弹性云服务器磁盘信息) ecs:cloudServerNics:update(云服务器网卡配置私有IP) ecs:availabilityZones:list(查询可用区列表) ecs:servers:start(启动云服务器) ecs:cloudServer
列表文件约束与限制: 列表文件类型必须为.txt,其他文件类型不做处理,并且该文件元数据中的“ContentType”只能为:“text/plain”。 txt文件行数不超过100000行。 单个列表文件大小不能超过300 MB。 列表文件存放目录下的列表文件个数不能超过10000个。
Devices(查询弹性云服务器磁盘信息) ecs:cloudServerNics:update(云服务器网卡配置私有IP) ecs:availabilityZones:list(查询可用区列表) ecs:servers:start(启动云服务器) ecs:cloudServer
列表文件约束与限制: 列表文件类型必须为.txt,其他文件类型不做处理,并且该文件元数据中的“ContentType”只能为:“text/plain”。 txt文件行数不超过100000行。 单个列表文件大小不能超过300 MB。 列表文件存放目录下的列表文件个数不能超过10000个。
列表文件约束与限制: 列表文件类型必须为.txt,其他文件类型不做处理,并且该文件元数据中的“ContentType”只能为:“text/plain”。 txt文件行数不超过100000行。 单个列表文件大小不能超过300 MB。 列表文件存放目录下的列表文件个数不能超过10000个。
"dli:table:describeTable", "dli:database:explain", "dli:table:insertIntoTable", "dli
https://sms-resource-cn-cn-north-4.obs.cn-north-4.myhuaweicloud.com edge.vars.sms-domain SMS服务域名 sms.cn-north-4.myhuaweicloud.com 源端主机需要能够访问下表依赖服务的域名。 依赖服务 域名
目的端为OBS 对象列表文件大小不能超过30 MB。 对象列表文件类型必须为.txt类型,并且元数据ContentType只能为text/plain。 对象列表文件必须是UTF-8无BOM格式编码格式。 对象列表文件每行只能包含一个对象名称,且对象名称使用URL Encode编码。
"dli:table:describeTable", "dli:database:explain", "dli:table:insertIntoTable", "dli
目的端为OBS 对象列表文件大小不能超过30 MB。 对象列表文件类型必须为.txt类型,并且元数据ContentType只能为text/plain。 对象列表文件必须是UTF-8无BOM格式编码格式。 对象列表文件每行只能包含一个对象名称,且对象名称使用URL Encode编码。