检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
badRecordsPath - Bad Records的路径。 spark.sql.legacy.correlated.scalar.query.enabled false 该参数设置为true: 当子查询中数据不重复的情况下,执行关联子查询,不需要对子查询的结果去重。 当子查询中数据
badRecordsPath - Bad Records的路径。 spark.sql.legacy.correlated.scalar.query.enabled false 该参数设置为true: 当子查询中数据不重复的情况下,执行关联子查询,不需要对子查询的结果去重。 当子查询中数据
目的端同一目录下不会出现同名对象。 不覆盖:第一个同名对象迁移到OBS后,后续同名对象(无论URL是否相同)直接跳过不会被迁移,只保留第一个迁移的同名对象。 直接覆盖:后一个迁移的同名对象会覆盖前一个迁移的同名对象,只保留最后一个迁移的同名对象。 条件覆盖:对于后续迁移的同名对象,根据以下条件决定是否覆盖。
{ECS私网IP} 设置iptables规则以进行网络地址转换。 测试DLI队列与数据源的连通性 登录DLI管理控制台,在左侧导航栏单击“资源管理 > 队列管理”,可进入队列管理页面。 找到为弹性资源池添加的DLI队列,单击操作列的“更多 > 测试地址连通性”,弹出测试地址连通性窗口。 参考窗
对大数据云服务数据进行一致性校验时,需要分别与源端和目的端云服务建立连接,用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括: MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。
创建源端云服务连接 对大数据云服务数据进行一致性校验时,需要分别与源端和目的端云服务建立连接,用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括: MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数
建桶。如果您已有目的端桶,则无需重新创建。 为每个待迁移的源端桶,创建一个对应的前缀列表文件(即一个桶对应一个前缀列表文件),前缀列表文件要求如下: 文件格式为.txt,大小不超过2 MB。 每行只能包含一个前缀,每个前缀的长度不超过1024个字符。 前缀总数(即行数)不超过1000。
来划分的,而MgC主机工作流则是通过一个更简单的计算方法来估算进度。 SMS迁移任务总进度划分 SMS任务迁移总进度分为以下几个阶段: 配置完迁移任务:完成此阶段后,进度为21%。 数据迁移阶段:根据实际数据迁移的百分比增加,当数据迁移完成时,进度达到80%。 配置修改+卸载代理
方式二: 查看失败对象列表 如果最后工作流OMS任务状态为失败,在工作流中找到失败对象列举路径,通常在目的端oms/{oms2.0任务id}/fail目录下面。 在工作流详细里面文件统计 – 失败列表文件路径 中也会展示。 失败对象列表为json格式,每一条代表是一个对象,其中c
任务管理页签,可以查看已创建的元数据同步任务列表以及参数配置信息。单击操作列的“更多>修改”,可以修改任务参数配置。 单击操作列的“运行任务”,即可触发一次任务执行。每执行一次任务,会生成一条任务实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录,以
在任务管理页签,可以查看已创建的元数据同步任务列表以及参数配置信息。单击操作列的“更多>修改”,可以修改任务参数配置。 图2 元数据同步任务管理 单击操作列的“运行任务”,即可触发一次任务执行。每执行一次任务,会生成一条任务实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务
{ECS私网IP} 设置iptables规则以进行网络地址转换。 测试DLI队列与数据源的连通性 登录DLI管理控制台,在左侧导航栏单击“资源管理 > 队列管理”,可进入队列管理页面。 找到为弹性资源池添加的DLI队列,单击操作列的“更多 > 测试地址连通性”,弹出测试地址连通性窗口。 参考窗
您可以在资源采集页面的“资源列表”,单击主机资源的资源数量,进入资源列表页面的主机页签。 在资源采集页面,单击任务总数后的“查看”,进入任务列表页面,查看任务状态。如果任务状态为“失败”,单击操作列的“查看”,可以查看采集失败的数据源,将鼠标放到数据源的采集状态上,可以查看失败原因。 步骤二:关联应用
如何解决迁移集群创建失败问题 问题描述 创建迁移集群时,集群状态列提示创建失败。 解决方法 单击集群状态列的“创建失败”,出现对应的原因和详情,请根据具体的错误信息进行处理。 部分常见的错误原因参见下表。如无法自行解决,请联系对应云服务技术支持人员或提交工单。 原因 描述 处理方法
7976931348623157E308 和 -1.7976931348623157E308 时 sum 统计结果显示未达标。 问题分析 使用spark-sql 客户端,进行sql操作,出现用同一个命令存在返回值不同的情况。 这是因为在进行大数据对数的求和计算时,由于分布式计算顺序的不确定性,可能会导致计算结果的不一
工作。 华为账号准备 使用MgC之前,您需要拥有一个华为账号或一个可用于访问MgC的IAM用户,并获取账号/IAM用户的访问密钥(AK/SK)。获取方法请参考准备工作。 在创建元数据连接时,如果要使用“采集资源使用信息”功能和查看资源概览,需要为IAM账号的AK/SK添加MRS服
建项目成功,可在项目管理列表查看。 修改项目 单击操作列的“修改”按钮,弹出“修改项目”窗口。 可以修改项目名称、输入项目描述、设置项目的开始时间和结束时间,单击“确认”,完成修改。 归档项目 归档后的项目将在当前项目下拉列表中隐藏,无法选择。单击操作列的“归档”按钮,可将项目归
t/rda目录并执行,以自动化采集系统信息。 数据库采集 权限要求:需要使用具有最高权限的账号进行数据库采集,以确保能够访问所有必要的数据。对于不同的数据库系统,应使用以下账号: MySQL:使用root账号。 PostgreSQL:使用postgres账号。 MongoDB: 使用admin权限账号。
000张表。 待导入的表必须属于同一个元数据来源。 导入数据表时,系统不会校验数据表加入的分组数量和对数标准。为保持对数的准确性,建议同一数据表加入的分组不超过3个,并避免加入对数标准相同的分组。 在创建用于MaxCompute迁移到DLI数据校验的表组时,建议先创建count、sum
000张表。 待导入的表必须属于同一个元数据来源。 导入数据表时,系统不会校验数据表加入的分组数量和对数标准。为保持对数的准确性,建议同一数据表加入的分组不超过3个,并避免加入对数标准相同的分组。 在创建用于MaxCompute迁移到DLI数据校验的表组时,建议先创建count、sum