检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
application-jar：Spark应用的jar包的路径。 application-arguments：提交Spark应用的所需要的参数（可以为空）。 以下为特定场景下需要添加的参数配置： 如果创建的是阿里云 EMR且涉及Spark 3的Delta Lake源端统计任务，请添加如下参数： 参数名：jars
应用管理 创建应用 关联资源 手动添加资源 采集主机性能 父主题： 新版
应用管理 创建应用 关联资源 手动添加资源 采集主机性能 查看应用关联分析结果 父主题： 旧版
迁移实施 元数据全量迁移 元数据增量感知 全量数据迁移 增量数据迁移 父主题： 大数据数据迁移
当使用MgC提供的CSV模板文件进行数据筛选时，请不要使用Excel对CSV模板文件进行编辑，通过Excel编辑并保存的模板文件无法被MgC识别。 DLI队列连接选择 元数据迁移和数据迁移需要使用不同的DLI队列连接，元数据迁移需要使用DLI SQL队列连接，数据迁移需要使用DLI
创建源端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括： MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。
Agent（原Edge）访问和读取源端阿里云 MaxCompute中存储的数据。 前提条件 已完成准备工作。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的大数据迁移项目。 在左侧导航栏选择“实施>大数据数据迁移”，进入大数据数据迁移页面。 单击页面右上角的“连接管理”按钮，进入迁移准备页面。
采集的操作方法。 使用须知 通过VMware扫描发现的主机会自动采集指定周期内的主机性能数据，无需再配置性能采集。VMware扫描方式采集的性能数据来源于vCenter中留存的历史样本统计数据。vCenter历史样本统计数据的默认留存策略为： 最近1天：每5分钟留存一条数据。 最近1周：每30分钟留存一条数据。
创建源端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括： MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”，进入
每运行一次迁移任务，即会生成一条任务实例。在任务实例的进度详情页面，可以查看并导出任务的执行结果。 导出的结果文件可以在生成的15天内下载，15天后自动删除。 前提条件 已创建迁移任务并运行。 操作步骤 在任务进度列表，单击进度统计列的“查看”，进入进度详情页面。 单击列表上方的“导出”按钮，系统开始导出
在左侧导航栏选择“实施>大数据数据迁移”，进入大数据数据迁移页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。 单击页面右上角的“连接管理”按钮，进入连接管理页面。 单击页面右上角的“创建目的端连接”按钮，右侧弹出新增连接窗口。 连接类型选择“数据湖探索 （DLI
华为云账号的AK/SK），认证方式选择AK/SK ，添加方法请参考添加资源凭证。 MaxCompute凭证输入源端阿里云账号的AK/SK。 数据湖DLI凭证输入目的端华为云账号的AK/SK。 创建OBS桶并上传jar包 在华为云OBS创建一个存储桶，并将数据迁移过程中所依赖的 Java
单击操作列的“查看实例”，进入任务实例管理页签。可以查看该任务的运行记录，以及每条任务实例的状态和采集结果。当数据湖元数据同步任务的实例状态为“已完成”且采集结果有数值时，在库表清单页签可以查看采集到的元数据列表。 数据湖元数据采集完成后，在元数据列表单击血缘列的“去采集”，可以创建血缘采集任务。
创建目的端连接是为了将源端数据写入到华为云DLI。 使用须知 元数据迁移：只需要配置一条连接到DLI SQL队列的连接。 数据迁移：需要配置两条连接，分别为连接到DLI SQL队列的连接和连接到DLI通用队列的连接。 前提条件 已完成准备工作。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下
看添加的主机资源。 添加数据库 登录迁移中心管理控制台。 单击左侧导航栏的“调研>应用管理”，进入应用管理页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在应用列表，单击应用名称，进入应用详情页面。 在资源列表的数据库页签，单击列表上方的“添加资源”按钮，弹出添加数据库窗口。
添加成功后，在主机资源列表，可以查看添加的主机资源。 添加数据库 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择迁移项目。 单击左侧导航栏的“源端发现>应用管理”，进入应用管理页面。 在应用列表，单击应用名称，进入应用详情页面。 在数据库资源列表，单击列表上方的“添加资源”按钮，弹出添加数据库窗口。 根据表2，填写相应参数。
单击左侧导航栏的“调研>应用管理”，进入应用管理页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在应用列表，单击应用名称，进入应用详情页面。 为需要进行性能采集的主机配置采集设备和凭证。 如果性能采集列的“开始”按钮置灰，将鼠标移动到“开始”按钮处，在弹出的提示框中，单击“去配置”，弹出配置窗口。
Check failed 问题描述 进行大数据数据迁移时，部分表迁移失败，报错：CRC Check failed 解决方法 通过修改DLI作业中迁移sql，将源端timestamp字段类型转成String类型，进行数据迁移。 父主题： 大数据数据迁移
e)集群的凭证。凭证的添加方法请参考添加资源凭证中的大数据-ClickHouse。认证方式选择“用户名/密码”，填写在CloudTable服务创建的目的端ClickHouse集群的登录用户名和密码。 数据库链接 填写连接到CloudTable(ClickHouse)的数据库链接地
区域ID 输入需要校验的数据（即目的端数据）所在区域的代码。例如：ap-southeast-1。可以参考终端节点获取不同区域的区域代码信息。 项目ID 输入需要校验的数据所在的项目ID。获取方法请参考获取项目的名称和ID。 队列名称 输入需要进行校验的DLI队列名称。队列类型必须是SQL队列。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
