检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据迁移失败，提示超过DLI网管流控上限 问题描述 进行大数据数据迁移失败，在数据湖探索的Spark作业查看报错信息为：The throttling thershold has been reached 问题分析 出现该问题，是因为您创建的资源数量已达到DLI服务流控限制阈值。 解决方法
列连接，元数据迁移需要使用DLI SQL队列连接，数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败，因此在配置任务时，必须仔细检查并确保任务类型与队列类型相匹配。 元数据迁移与库的数量 在进行元数据迁移时，MgC会根据识别到的源端数据库的数量，在DL
为避免数据重复，除了步骤1.创建的第一个元数据连接以外，新增的元数据连接不需要创建同步任务进行元数据采集。 参考创建表组并添加数据表，将源端数据表加入表组中。其中元数据连接选择步骤1.创建的第一个元数据连接。 分别创建源端执行机连接和目的端执行机连接，方法请参考创建执行机连接。
参数 子参数 说明 迁移任务类型 全量迁移 迁移在源端信息配置的待迁移文件路径下/文件夹内的全部数据。 列表迁移 通过列表文件过滤迁移，只迁移列表文件中的对象。 在“列表路径”输入存放在目的端桶的对象列表文件路径。对象列表文件的约束与限制如下： 对象列表文件大小不能超过30 MB。 对象列表文件类型必须为
大数据-Hive Metastore凭证文件获取方法 参考访问FusionInsight Manager登录Manager，进入系统页面。 在左侧导航栏，选择“权限>用户”，进入用户页面。 在用户列表，选择要在MgC Agent（原Edge）添加凭证的用户，单击操作列“更多>下载
创建源端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括： MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。
列连接，元数据迁移需要使用DLI SQL队列连接，数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败，因此在配置任务时，必须仔细检查并确保任务类型与队列类型相匹配。 元数据迁移与库的数量 在进行元数据迁移时，MgC会根据识别到的源端数据库的数量，在DL
Windows主机迁移后数据盘缺失，如何解决？ 问题描述 Windows主机迁移完成后，登录目的端主机发现磁盘数量与源端主机不一致，有数据盘缺失，但在目的端控制台查看磁盘数量正常。 问题分析 出现该问题，可能是因为源端主机的磁盘策略为共享磁盘脱机或者离线模式，迁移后会导致数据盘处于脱机状态。
创建源端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括： MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”，进入
具采集结果。 单击任务操作列的“下载csv”，将采集结果保存为csv文件，用于本地查看采集结果。 单击任务操作列的“显示结果路径”，可以查看采集结果存放路径。 父主题： 工具采集
创建目的端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建目的端连接的大数据云服务包括： 数据湖探索（DLI） CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录
创建目的端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建目的端连接的大数据云服务包括： 数据湖探索（DLI） CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录迁移中心管理控制台。
output_path 否 自定义采集结果（app-discovery-mysql-generallog-xxx.csv文件）输出路径。不填则输出至默认路径：<采集器安装目录>\output\file目录下。 例如，C:\Edge\tools\plugins\collectors\a
output_path 否 自定义采集结果（app-discovery-process-netstat-xxx.csv文件）输出路径。不填则输出至默认路径：<采集器安装目录>\output\file目录下。 例如，C:\Edge\tools\plugins\collectors\a
客户端，进行sql操作，出现用同一个命令存在返回值不同的情况。 这是因为在进行大数据对数的求和计算时，由于分布式计算顺序的不确定性，可能会导致计算结果的不一致性。特别是处理接近或等于double类型最大值（1.7976931348623157E+308）的数据时，加上一个较小的数值（如2.0）可能会导致数值溢
转换CSV文件编码为UTF-8 导入阿里云主机资源清单仅支持上传UTF-8编码且为中文表头的CSV文件，本节介绍将CSV文件的编码格式修改UTF-8编码的方法。 方法一（适用于Windows操作系统） 选择csv文件，鼠标右键，打开方式选择“记事本”。 在记事本窗口左上角选择“文件
COMPUTE statistics noscan的配置单元元存储表，和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql.shuffle.partitions 200 为连接或聚合过滤数据时使用的默认分区数。 spark.sql.dynamicPartitionOverwrite
COMPUTE statistics noscan的配置单元元存储表，和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql.shuffle.partitions 200 为连接或聚合过滤数据时使用的默认分区数。 spark.sql.dynamicPartitionOverwrite
76837158203125 TB，否则可能会导致迁移失败。 迁移网络 支持公网、内网和专线迁移。 软链接 不支持源端路径为软链接路径的迁移。如果源端包含软链接，请进行如下处理： 填写实际的文件路径。 迁移完成后，手动在目的端创建相应的软链接。 不支持软链接的迁移：NAS_SMB的迁移、NAS_NFS到OBS的迁移。
务执行结果进行过滤，如有过滤，则只导出过滤后的数据。 图1 导出执行结果 单击“导出管理”按钮，右侧弹出导出管理窗口。 当导出进度为导出成功后，单击操作列的“下载”，可以将导出结果下载到本地。 图2 下载导出结果 父主题： 大数据数据迁移
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
