检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备工作 开通spark 3.3.1白名单 使用该功能前,请联系技术支持人员,将您添加到spark 3.3.1版本的白名单中。 配置DLI作业桶 需要购买一个OBS桶或并行文件系统并设置为DLI作业桶,该桶用于存储DLI作业运行过程中产生的临时数据。方法请参考配置DLI作业桶。 操作步骤
委托授权策略说明: 创建自定义策略:如果您尚未设定任何自定义的权限委托策略,系统会自动为您创建一个标准的自定义策略。 更新自定义策略:对于已经存在的自定义策略,系统将进行完整性检查。若发现策略内容不全面或缺少必要元素,系统将自动进行补充。 跨可用区迁移 场景 委托对象 自定义策略名称 细粒度最小使用权限
委托授权策略说明: 创建自定义策略:如果您尚未设定任何自定义的权限委托策略,系统会自动为您创建一个标准的自定义策略。 更新自定义策略:对于已经存在的自定义策略,系统将进行完整性检查。若发现策略内容不全面或缺少必要元素,系统将自动进行补充。 跨可用区迁移 场景 委托对象 自定义策略名称 细粒度最小使用权限
出现迁移进度长时间未更新的情况通常是因为以下几个原因: 子任务处理:迁移工作流会自动将大型任务拆分为多个子任务来执行。只有当这些子任务完成后,系统才会更新显示的进度。 大对象迁移:如果子任务中包含了大型文件或对象,可能需要较长时间来迁移。 后台处理:即使进度没有实时更新,迁移过程也可
RabbitMQ采集器(app-discovery-rabbitmq) 通过连接到RabbitMQ管理插件,获取RabbitMQ节点列表、版本、队列以及队列中的消费者endpoint等信息。参数配置说明参见表1。 表1 RabbitMQ采集器参数配置信息 参数 必选 配置说明 output_path
小写不同的同名对象存在,而文件系统不允许任何形式的同名对象,因此源端OBS中大小写不同的同名对象将根据创建工作流时,迁移配置中所选的“同名覆盖方式”策略进行处理,目的端同一目录下不会出现同名对象,无论对象的大小写是否相同。 不覆盖:一旦目的端文件系统中已存在同名对象,即使源端有大
Windows进程与网络采集器(app-discovery-process-netstat-win) 采集Windows目标节点的进程级网络关联关系,只支持运行于Windows操作系统。采集器使用WMI(Windows Management Instrumentation)协议和SMB协议与目标Windows主机进行通
在启用大数据校验功能前,需要先在源端环境中安装用于配合大数据校验的迁移工具Edge。大数据校验场景仅支持Linux版本的Edge,安装方法请参考下载并安装Linux版本Edge。安装成功后,将Edge与迁移中心进行连接,连接方法请参考连接迁移中心。 迁移工具Edge不具备自动重启功
面。 可以查看已安装的采集器类型、版本以及安装路径等信息。 在迁移中心管理控制台的迁移工具页面,下载最新版本的采集器安装包,并放入MgC Agent安装目录的根目录下(如C:\Edge),请勿修改采集器安装包名称。然后单击“离线升级”按钮,系统开始自动安装并升级采集器。 在应用关
如何启用 PowerShell 远程管理模块 通常Windows Server 2012及更高版本已默认启用PowerShell远程处理。如果更改了设置,可以通过以下方法重新启用PowerShell远程管理。 以管理员权限启动PowerShell。 执行如下命令,即可启用PowerShell远程管理。
Agent(原Edge)的主机有哪些要求? 安装Windows版本的主机要求 可以连接外网(公网),并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名列表。 检查是否已开放MgC Agent(原Edge)需要的端口,所需端口请查看通信矩阵。 PowerShell 版本在3.0及以上。 推荐规格不小于4U8G。
xMemoryPerShellMB 1024 如果原本的配置参数值不小于1024 MB,请继续执行步骤2。 处理老旧系统版本的内存限制问题。 如果源端主机系统版本较旧(如Windows Server 2008或Windows Server 2012),WinRM服务可能不使用自定
采集流程和其他Oracle深度采集基本一致。 采集原理 拥有的windows/linux机器,能与自建Oracle数据库网络互通,安装对应版本的MgC Agent(原Edge)。 通过提供的账号资源,连接登录凭证信息,登录到Oracle数据库上,账号有select any dic
导出作业,弹出的导出作业窗口。 导出方式选择“导出到OBS”,选择作业保存目录。 “导出范围”和“导出状态”根据实际需求选择。 若待导出的作业未提交过任何版本,“导出状态”建议选择“开发态”,如果选择了“提交态”导出时会跳过该作业。 单击“确定”,导出完成后,前往步骤6.选择的OBS目录获取导出结果。
导出作业,弹出的导出作业窗口。 导出方式选择“导出到OBS”,选择作业保存目录。 “导出范围”和“导出状态”根据实际需求选择。 若待导出的作业未提交过任何版本,“导出状态”建议选择“开发态”,如果选择了“提交态”导出时会跳过该作业。 单击“确定”,导出完成后,前往步骤6.选择的OBS目录获取导出结果。
存储迁移成本调研 迁移中心 MgC提供了存储迁移成本评估功能,通过输入源端文件数量和大小、设定期望迁移时长等参数,系统会自动计算迁移所需的集群规格、网络带宽和迁移成本,并给出不同的迁移方案,用户可以根据项目需求和预算选择合适的迁移策略。 操作步骤 登录迁移中心管理控制台。 单击左
存储迁移成本调研 迁移中心 MgC提供了存储迁移成本评估功能,通过输入源端文件数量和大小、设定期望迁移时长等参数,系统会自动计算迁移所需的集群规格、网络带宽和迁移成本,并给出不同的迁移方案,用户可以根据项目需求和预算选择合适的迁移策略。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择迁移项目。
使用迁移中心进行存储迁移的约束与限制参见表3和表4。 表3 存储迁移通用约束与限制 类别 约束与限制 多版本对象迁移 默认只迁移源端多版本对象中的最新版本,不支持迁移历史版本的对象存储数据。 目的端桶存储类别 目的端桶的存储类别只能为标准存储或者低频访问存储。迁移完成后,可以自行修改桶的存储类别。
0 或更高版本。 Microsoft .NET Framework 2.0 或更高版本。 Windows 远程管理 2.0版本。 在 PowerShell 3.0及更高版本上运行的功能(如会话断开和重连),仅在两台计算机都使用 PowerShell 3.0 或以上版本时可用。 使用以下命令可以检查
接并选择凭证。凭证的获取以及添加方法请参考添加资源凭证中的大数据-Hive Metastore。 Hive版本 选择目的端Hive的实际版本。 注意: 目前只支持3.x版本。 MetaStore节点IP 填写连接MetaStore的IP地址。 MetaStore Thrift服务端口