检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
方法二(适用于Windows操作系统) 使用Notepad++工具转换CSV文件编码为UTF-8。确保您已经安装了Notepad++工具。如果尚未安装,请从官方网站下载并安装。
系统策略 MgC DiscoveryAccess 迁移中心资源发现操作权限,拥有操作资源发现功能的权限和只读权限。 系统策略 MgC AssessAccess 迁移中心评估操作权限,拥有操作评估功能、资源发现功能的权限和只读权限。
问题分析 使用spark-sql 客户端,进行sql操作,出现用同一个命令存在返回值不同的情况。 这是因为在进行大数据对数的求和计算时,由于分布式计算顺序的不确定性,可能会导致计算结果的不一致性。
如迁移工具状态为“离线”、“已删除”,代表该工具已被删除,无法进行对数操作;如果该工具在删除前进行过对数操作,可以单击“查看”按钮,查看已有数据。 如迁移工具状态为“离线”、“未启用”,代表该工具无法进行对数相关操作,单击“查看”按钮,界面上的所有操作按钮会被禁用。
operation.log 操作日志,记录用户对接口调用日志。 plugins.log IoTDA相关日志,记录了MgC Agent与Mgc通过IoTDA交互的消息日志。 run.log MgC Agent运行时全部日志。 warn.log MgC Agent运行时告警日志。
如有需要,可以单击列表操作列的“修改链接”对连接配置进行修改。 父主题: 大数据数据迁移
如有需要,可以单击列表操作列的“修改链接”对连接配置进行修改。 父主题: 大数据数据迁移(MaxCompute迁移到DLI)
具体操作步骤请参考容器深度采集。 在MgC Agent添加采集凭证时,类型选择容器,配置文件上传AWS容器集群的登录配置文件。 图4 在MgC Agent添加深度采集凭证
为了确保脚本具有足够的权限执行修改操作,通常应使用具有管理员权限的用户名,如root。 ip:该字段表示源端主机的内网IP地址。 port:该字段表示SSH服务监听的端口号。默认情况下,Linux系统使用端口22。
操作步骤 使用注册的用户名、密码登录MgC Agent(原Edge)控制台。 在左侧导航树选择“云边协同 > 大数据”,进入大数据页面。 在MgC Agent凭证管理界面的桶配置区域,单击“配置”按钮,弹出“桶配置”窗口。 图1 配置桶 根据表1,配置日志桶。
虚拟机:Windows操作系统个数统计、Linux系统个数统计、内存使用总容量、CPU使用核数、磁盘使用个数、磁盘容量占比、虚拟机数量、虚拟机列表、操作系统。 在资源采集页面,单击源端资源框中的“VMware资源”,进入资源统计页面。
虚拟机:Windows操作系统个数统计、Linux系统个数统计、内存使用总容量、CPU使用核数、磁盘使用个数、磁盘容量占比、虚拟机数量、虚拟机列表、操作系统。 在资源采集页面,单击源端资源框中的“VMware资源”,进入资源统计页面。
创建项目 通过创建独立的项目,可以将不同的操作场景进行区分和隔离,从而实现更好的组织管理和资源分配。包含的项目类型和对应的使用场景说明如下: 应用迁移项目:适用于需要进行主机、存储等资源的采集、迁移场景。
单击任务操作列的“显示结果路径”,可以查看采集结果存放路径。 父主题: 工具采集
操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“调研>资源采集”,进入资源采集页面。在页面左上角的当前项目下拉列表中选择迁移项目。 单击任务框中的“导入>应用关联模板”,弹出导入应用关联模板窗口,单击“下载模板”,将导入模板下载到本地。
操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“调研>资源采集”,进入资源采集页面。在页面左上角的当前项目下拉列表中选择迁移项目。 单击任务框中的“导入>工具采集结果”,弹出导入工具采集结果窗口。
通过一致性校验,您可以更加放心地进行大数据迁移操作,确保数据的准确性和可靠性,从而避免了数据丢失或不一致的风险。 校验方式说明 全量校验:全量对比所有数据,适用于需要对比历史数据的场景。 日级增量校验:依靠元数据中的创建或更新时间,获取数据变化(增量)分区,再进行校验。
而Hive 3.x版本在查询时不会进行这种补齐操作。这可能导致在不同版本间比较结果时出现差异。为了避免因版本差异导致的数据不一致问题,建议使用Beeline作为客户端工具进行作业对数。
如果迁移步骤中包含手动操作,需要您进行手动确认后,才能进行后续步骤。 在主机页签,可以查看每台主机的迁移状态。 父主题: 主机迁移相关最佳实践
其中,步骤类型为“自动”,表示该步由系统自动完成;步骤类型为“手动”,表示该步需要用户手动操作。单击“开始配置”按钮,进行工作流配置。 根据表1参数说明,配置工作流参数。