检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据迁移失败，提示超过DLI网管流控上限 问题描述 进行大数据数据迁移失败，在数据湖探索的Spark作业查看报错信息为：The throttling thershold has been reached 问题分析 出现该问题，是因为您创建的资源数量已达到DLI服务流控限制阈值。 解决方法
创建表组并添加数据表 将源端数据表加入表组中，为后续对数作业做准备。 每次最多支持导入10,000张表。 待导入的表必须属于同一个元数据来源。 导入数据表时，系统不会校验数据表加入的分组数量和对数标准。为保持对数的准确性，建议同一数据表加入的分组不超过3个，并避免加入对数标准相同的分组。
源端的元数据同步至迁移中心。 创建N个Delta元数据连接，除了执行机IP和端口不同以外，其余参数配置需要与步骤1.中的第一个元数据连接保持一致。 “N”需要根据您现有的ECS资源和表的数量来确定。在ECS资源充足且表数量非常多的情况下，增加元数据连接的数量可以提高数据校验的效率。
应用发现 创建应用 资源发现与采集（复杂项目） 资源发现与采集（简单项目） 手动添加资源 采集主机性能 关联应用
在左侧导航栏选择“实施>大数据数据迁移”，进入大数据数据迁移页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。 单击页面右上角的“连接管理”按钮，进入连接管理页面。 单击页面右上角的“创建目的端连接”按钮，右侧弹出新增连接窗口。 连接类型选择“数据湖探索 （DLI
文件中的krb5.conf和user.keytab文件。 在Edge添加凭证时，填写的用户名要与此处下载的凭证对应。 在页面上方菜单栏选择“集群>Hive”，进入Hive概览页，单击右上角“更多>下载客户端”，弹出下载客户端窗口。 客户端类型选择“仅配置文件”，单击“确定”按钮。
在迁移工具Edge上分别添加一条MaxCompute凭证（源端阿里云账号的AK/SK）和数据湖DLI凭证（目的端华为云账号的AK/SK），认证方式选择AK/SK ，添加方法请参考添加资源凭证。 MaxCompute凭证输入源端阿里云账号的AK/SK。 数据湖DLI凭证输入目的端华为云账号的AK/SK。 创建OBS桶并上传jar包
创建源端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括： MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”，进入
迁移实施 元数据全量迁移 元数据增量感知 全量数据迁移 增量数据迁移 父主题： 大数据数据迁移
e)集群的凭证。凭证的添加方法请参考添加资源凭证中的大数据-ClickHouse。认证方式选择“用户名/密码”，填写在CloudTable服务创建的目的端ClickHouse集群的登录用户名和密码。 数据库链接 填写连接到CloudTable(ClickHouse)的数据库链接地
血缘采集 血缘采集概述 创建血缘采集任务 查看血缘关系 父主题： 大数据血缘
Check failed 问题描述 进行大数据数据迁移时，部分表迁移失败，报错：CRC Check failed 解决方法 通过修改DLI作业中迁移sql，将源端timestamp字段类型转成String类型，进行数据迁移。 父主题： 大数据数据迁移
该数据表的作业详情。单击操作列的“查看详情”，进入校验详情页面，查看该数据表的校验详细信息。 查看执行历史及状态：单击操作列的“查看历史”，可以查看该表的所有执行批次和达标状态。 导出校验结果 在校验结果页面，单击“导出”按钮，弹出导出校验结果窗口。 选择需要导出的批次、表组名以
配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”，可以禁用显示。 说明： 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表，和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql
血缘采集概述 通过血缘采集，可以建立起数据元素之间的关系和依赖关系，从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知，参见下表。 文件类型 采集须知 血缘模板 需要下载血缘模板，并填写相应数据。 父主题： 血缘采集
在使用大数据校验功能前，请务必先完成以下必要的准备工作。 创建项目 通过创建独立的项目，可以将不同的操作场景进行区分和隔离，从而实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备迁移工具Edge 在启用大数据校验功能前，需要先在源端环境中安装用于配合大数据校验的迁移工具
选择在源端注册并与迁移中心连接的Edge。 类型 选择“Oracle”。 IP 输入可以连接到源端Oracle数据库服务器的IP地址。 端口 源端Oracle 数据库监听端口。默认为1521。 服务名称/SID 源端数据库待采集的服务名。默认为ORCL。 您可以登录Oracle 数据库，使用如下命令，查看并确定需要采集的服务名称。
部署迁移工具Edge 使用迁移中心的大数据血缘功能前，需要先在可以访问源端元数据来源的环境中部署迁移工具Edge。 迁移工具Edge不具备自动重启功能，严禁在任务执行期间重启Edge，以避免任务失败。 操作步骤 安装Edge的方法请参考下载并安装Edge。 安装成功后，将Edge
选择在Edge添加的源端Doris凭证。凭证的添加方式请参考添加资源凭证，类型选择“大数据-Doris”。 数据库地址 填写连接到源端Doris集群部署的服务器IP地址。 数据库端口 填写连接到源端Doris集群部署的服务器的端口。默认为3306。 数据库名 填写源端Doris数据库名称。
为每小时汇总的定时任务，采集时长需超过1小时才能获取数据。 单击操作列的“查看”，可以查看采集周期内每项数据的详细数值和曲线图。 停止采集 单击“停止”，可以暂停性能数据采集。 父主题： 应用发现
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
