检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
mc2dli.data.migration.mc.external.table false true 设置是否迁移外表。 false不迁移外表。 true迁移外表。 否 sc_type A、B、C 计算资源类型，目前指定参数A, B, C。如果不指定，则按最小类型创建。 A：(8
根据具体的迁移方向，确保对象的路径长度符合目的端系统的要求，以避免迁移失败或数据不一致的问题。 不同存储系统对路径和文件夹长度的限制参见下表： 存储系统 路径和文件夹长度限制 OBS 文件夹和文件路径的最大长度限制均为1023个字节。 NAS 文件夹的最大长度限制为255个字节。
Agent运行时产生的各种日志文件。 cd /opt/cloud/Edge/logs/edge-server 使用vi命令来查看具体的日志文件。 vi xxx.log xxx.log需要替换为具体的日志文件名。不同类型的日志文件名和说明参加下表： 日志文件名 说明 debug.log MgC
请查看SMN计费说明。 数据筛选 非分区表处理策略 选择对于非分区表的校验处理策略。 全部校验：全量处理所有非分区表，不做筛选。 全部忽略：忽略所有非分区表，不做校验。 按更新时间过滤：只处理更新时间在校验范围内的非分区表。注意：非分区表非insert写入业务，元数据更新时间存在
前项目下拉列表中选择在准备工作中创建的迁移项目。 在左侧导航栏选择“设计>迁移方案配置”，进入迁移方案配置页面。 单击页面右上角的“创建迁移方案”按钮，右侧弹出迁移方案模板窗口。 单击主机标准迁移框中的“开始配置”按钮，进入主机标准迁移页面。 在基础配置区域，根据表1，配置相关参数。
登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。 在左侧导航栏选择“迁移设计>迁移方案配置”，进入迁移方案配置页面。 单击页面右上角的“创建迁移方案”按钮，右侧弹出迁移方案模板窗口。 单击主机标准迁移框中的“开始配置”按钮，进入主机标准迁移页面。 在基础配置区域，根据表1，配置相关参数。
请查看SMN计费说明。 数据筛选 非分区表处理策略 选择对于非分区表的校验处理策略。 全部校验：全量处理所有非分区表，不做筛选。 全部忽略：忽略所有非分区表，不做校验。 按更新时间过滤：只处理更新时间在校验范围内的非分区表。注意：非分区表非insert写入业务，元数据更新时间存在
自定义参数说明 在目的端配置中，支持配置的自定义参数及说明请参见表1和conf参数说明。 表1 支持的自定义参数说明 参数名称 取值范围 说明 是否必填 spark.dli.metaAccess.enable - 填写true。 是 spark.dli.job.agency.name
登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择完成准备工作时创建的应用迁移项目。 单击左侧导航栏的“源端发现 > 资源采集”，进入资源采集页面。 选择“在线调研”页签，单击“云平台采集”，进入云平台采集参数配置页面。 图1 云平台采集 根据公网发现任务参数说明，配置公网发现任务参数。 表1 公网发现任务参数说明
输入自定义的项目名称，单击“创建”。创建项目成功，可在项目管理列表查看。 修改项目 单击操作列的“修改”按钮，弹出“修改项目”窗口。 可以修改项目名称、输入项目描述、设置项目的开始时间和结束时间，单击“确认”，完成修改。 归档项目 归档后的项目将在当前项目下拉列表中隐藏，无法选择。单击操作列的“归档”按
当前项目下拉列表中选择迁移项目。 单击任务框中的“导入>工具采集结果”，弹出导入工具采集结果窗口。 图1 导入工具采集结果 单击导入窗口的“添加文件”，将工具采集结果的json文件上传至迁移中心。 上传成功后，单击“确认”按钮，系统自动开始采集。 您可以在任务列表页面，查看任务状态。
Hive校验的sum统计结果显示未达标 问题描述 对Hive进行大数据校验，Hive中的double字段保存的值为 1.7976931348623157E308 和 -1.7976931348623157E308 时 sum 统计结果显示未达标。 问题分析 使用spark-sql
成后，在库表清单页签可以查看导入的数据列表。 在大数据校验页面的功能入口区域，单击“表管理”，进入表管理页面的表组页签。 单击“新增表组”，弹出新增表组窗口。根据新增表组参数说明，配置参数后，单击“确认”按钮，创建表组。 表2 新增表组参数说明 参数 说明 表组名 用户自定义 元数据连接
MB。 列表文件存放目录下的列表文件个数不能超过10000个。 列表文件必须是UTF-8无BOM格式编码格式。 列表文件中每行长度不要超过65535，否则会导致迁移失败。 列表文件的元数据中不能设置“ContentEncoding”，否则会导致迁移失败。 列表文件中每行使用制表符（键
安装Windows版本的主机要求 可以连接外网（公网），并检查是否能够访问MgC和IoTDA服务的域名，具体需要检查的域名请查看域名列表。 检查是否已开放MgC Agent（原Edge）需要的端口，所需端口请查看通信矩阵。 PowerShell 版本在3.0及以上。 推荐规格不小于4U8G。
作及相关步骤。 操作步骤 换包操作。 在安装MgC Agent的主机，执行如下命令，进入MgC Agent指定目录。 cd /opt/cloud/Edge/tools/plugins/collectors/bigdata-migration/hadoop3 执行如下命令，删除目录下的旧包。
校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在功能入口区域，单击“连接管理”，进入连接管理页面。 单击页面右上角的“新增连接”，右侧弹出新增连接窗口。 根据实际情况选择执行机类型，单击“下一步”，根据表1，配置执行机参数。 表1 执行机参数配置说明 参数 配置说明 所属源
选择“连接管理”，单击“创建连接”，右侧弹出新增连接窗口。 图1 创建连接 根据实际情况选择执行机类型，单击“下一步”，根据表1，配置执行机参数。 表1 执行机参数配置说明 参数 配置说明 所属源 根据实际情况选择。 须知： CDH执行机只支持源端，MRS执行机支持源端和目的端。
-Xmx1024M" 其中“-Xms512M -Xmx1024M”即为可进行配置的JVM参数。-Xms512M 表示JVM初始分配的堆内存为512M。-Xmx1024M 表示JVM最大允许分配的堆内存为1024M。可按需添加其他JVM参数。 单击保存，退出catalina.bat。
进行的换包操作及相关步骤。 操作步骤 在安装MgC Agent的主机，执行如下命令，进入MgC Agent指定目录。 cd /opt/cloud/Edge/tools/plugins/collectors/bigdata-migration/hadoop3 执行如下命令，删除目录下的旧包。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
