检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为连接或聚合过滤数据时使用的默认分区数。 spark.sql.dynamicPartitionOverwrite.enabled false 当前配置设置为“false”时,DLI在覆盖写之前,会删除所有符合条件的分区。例如,分区表中有一个“2021-01”的分区,当使用INSERT O
本地发现与采集 Edge提供了本地发现和采集功能,允许在未连接迁移中心的情况下,直接在本地进行主机资源的发现与采集。 使用须知 需要进行本地采集,应避免连接迁移中心。Edge与迁移中心(MgC)连接后,本地采集功能将不再可用,Edge的主要功能转向与云端服务的协同工作,而不再执行本地资源采集。
在页面右上角搜索框中输入“Edge”,筛选出安装的Edge相关软件,单击软件名称,鼠标右键选择“卸载/更改”,即可将软件卸载。 方法二 使用快捷键【win+i】打开“Windows设置”,单击“应用”,进入应用与功能页面。 在搜索框中输入“Edge”,筛选出安装的Edge相关软
executorMemory 1-16 G Spark应用的Executor内存,参数配置例如:2G, 2048M。该配置项会替换“sc_type”中对应的默认参数,使用时必须带单位,否则会启动失败。 driverCores 1-4 Spark应用Driver的CPU核数。该配置项会替换“sc_type”中对应的默认参数。
端口占用:Edge会占用源端主机上的一些端口,也可能会对源端业务产生影响。 已注册华为账号并开通华为云,并获取账号的AK/SK。 已在MgC控制台创建迁移项目。 使用须知 源端主机需要对安装Edge的Windows主机开放指定端口: Windows开放5985端口。 Linux开放22端口。 如果源端是
端口占用:Edge会占用源端主机上的一些端口,也可能会对源端业务产生影响。 已注册华为账号并开通华为云,并获取账号的AK/SK。 已在MgC控制台创建迁移项目。 使用须知 源端主机需要对安装Edge的Windows主机开放指定端口: Windows开放5985端口。 Linux开放22端口。 如果源端是
/data/client-key.pem,cert,/data/client-cert.pem,check_hostname,True" ca 否 使用了SSL认证的verify_ca模式时,填写CA证书所在路径。 Linux系统MySQL证书默认存放位置取决于MySQL的安装方式和版本。通常MySQL证书存放在以下位置:
联到应用窗口。 在下拉列表中选择需要关联的应用。未提前创建应用,单击“新建应用”,输入自定义的应用名称和描述;根据实际需求,选择业务场景、使用场景以及目的端区域,单击“创建”按钮,应用创建成功。 选择应用后,单击“确定”。在各资源的已关联应用列,查看资源所关联应用。 父主题: 资源采集
关于存储迁移的约束与限制请查看存储迁移的约束与限制有哪些? 源端为阿里云OSS:当源端对象的存储类型是深度冷归档存储时,无法使用MgC提供的解冻归档数据功能直接迁移,需要在源端先手动解冻后再迁移。 准备工作 华为账号准备 使用MgC之前,您需要拥有一个华为账号或一个可用于访问MgC的IAM用户,并获取账号/IAM用
联到应用窗口。 在下拉列表中选择需要关联的应用。未提前创建应用,单击“新建应用”,输入自定义的应用名称和描述;根据实际需求,选择业务场景、使用场景以及目的端区域,单击“创建”按钮,应用创建成功。 选择应用后,单击“确定”。在各资源的已关联应用列,查看资源所关联应用。
图1 Edge远程在线采集架构图 通过调用API在线采集云平台资源 适用于公有云部署场景,针对不同云服务提供商(友商)的云资源进行数据采集。使用API接口与其它云服务提供商的系统进行交互,实现数据的在线采集。不需要在源端网络中安装Edge设备。 数据采集架构图,如图2所示。 图2 调用API在线采集云平台资源架构图
面左上角的当前项目下拉列表中选择迁移项目。 单击应用框中的“新建应用”按钮,弹出新建应用窗口。 输入自定义的应用名称和描述;选择业务场景和使用场景;目的端区域选择目的端所在区域,单击“创建应用”按钮,应用创建成功,进入关联资源页面。 如果已经进行过资源采集,并且需要将采集到的资源
实际情况修改。 如果端口填写错误,请修改为正确端口后重试。 如果端口填写正确,请继续执行步骤2.。 在安装Edge的主机,打开命令行窗口,使用telnet命令测试源端主机的端口是否可以访问。命令格式分别为:telnet {源端主机IP地址} {端口}。 如果端口无法访问,请检查源
获取目的端账号的AK/SK。 在MgC控制台创建迁移项目 在MgC控制台创建迁移集群。 创建目的端弹性文件系统。 步骤一:创建全量迁移工作流 使用MgC存储迁移工作流完成源端数据的全量迁移。 步骤二:创建增量迁移工作流 在全量迁移完成后,再创建增量迁移工作流,进行多次增量数据迁移,以减少数据差异。
内网采集 在源端内网环境中部署Edge工具,通过网段扫描或VMware扫描,采集源端主机资源。 使用须知 目前支持采集的VMware版本包括:VMware 5.0~7.0 VMware扫描和网段扫描两种方法都采用私有IP结合Edge ID的方式来标识内网中的主机资源。这意味着,一
内网发现与采集 在源端内网环境中部署Edge工具,通过网段扫描或VMware扫描的方式,发现和采集源端主机资源。 使用须知 目前支持采集的VMware版本包括:VMware 5.0~7.0 VMware扫描和网段扫描两种方法都采用私有IP结合Edge ID的方式来标识内网中的主机
内网发现与采集 在源端内网环境中部署Edge工具,通过网段扫描或VMware扫描的方式,发现和采集源端主机资源。 使用须知 目前支持采集的VMware版本包括:VMware 5.0~7.0 VMware扫描和网段扫描两种方法都采用私有IP结合Edge ID的方式来标识内网中的主机
面左上角的当前项目下拉列表中选择迁移项目。 单击应用框中的“新建应用”按钮,弹出新建应用窗口。 输入自定义的应用名称和描述;选择业务场景和使用场景;目的端区域选择目的端所在区域,单击“创建应用”按钮,应用创建成功,进入关联资源页面。 如果已经进行过资源采集,并且需要将采集到的资源
输入“diskmgmt.msc”,按“Enter”,进入磁盘管理页面。 在磁盘管理页面,可以看到数据盘处于“脱机”状态。 图1 脱机 使用鼠标右键单击“脱机”的数据盘,会出现联机的菜单,单击联机即可恢复正常。 图2 联机 方法二: 登录目的端主机,鼠标右键单击开始菜单。 单击
查看源端主机是否处于关机状态。 如果是,请将源端主机开机后重试。 如果否,请继续执行步骤3.。 在安装Edge的主机,打开命令行窗口,使用telnet命令测试源端主机的端口(如5985端口)是否可以访问。命令格式分别为:telnet {源端主机IP地址} {端口}。 如果端口可以访问,请执行步骤4