华为云用户手册

  • 功能说明 支持本地文件托管至AI Gallery仓库且支持多个文件同时上传。 单个仓库的容量上限为50GB。 支持管理托管的资产文件,例如在线预览、下载、删除文件。 只支持预览大小不超过10MB、格式为文本类或图片类的文件。 支持编辑资产介绍。每个资产介绍可分为基础设置和使用描述。 基础设置部分包含了该资产所有重要的结构化元数据信息。选择填入的信息将会变成该模型资产的标签,并且自动同步在模型描述部分,保存到“README.md”文件里。 模型描述部分是一个可在线编辑、预览的Markdown文件,里面包含该模型的简介、能力描述、训练情况、引用等信息。编辑内容会自动保存在“README.md”文件里。 更新后的“README.md”文件自动存放在数据集详情页的“文件版本”页签或者是模型详情页的“模型文件”页签。
  • 上传数据集文件 在数据集详情页,选择“数据集文件”页签。 单击“添加文件”,进入上传文件页面,选择本地的数据文件单击“点击上传”或拖动文件,单击“确认上传”启动上传。 上传单个超过5GB的文件时,请使用Gallery CLI工具。CLI工具的获取和使用请参见Gallery CLI配置工具指南。 文件合集大小不超过50GB。 文件上传完成前,请不要刷新或关闭上传页面,防止意外终止上传任务,导致数据缺失。 当文件状态变成“上传成功”表示数据文件成功上传至AI Gallery仓库进行托管。单击“完成”返回数据集文件页面。 图1 上传成功 文件上传过程中请耐心等待,不要关闭当前上传页面,关闭页面会中断上传进程。
  • 创建数据集资产 登录AI Gallery,单击右上角“我的Gallery”进入我的Gallery页面。 单击左上方“创建资产”,选择“数据集”。 在“创建数据集”弹窗中配置参数,单击“创建”。 表1 创建数据集 参数名称 说明 英文名称 必填项,数据集的英文名称。 如果没有填写“中文名称”,则资产发布后,在数据集页签上会显示该“英文名称”。 中文名称 数据集的中文名称。 如果填写了“中文名称”,则资产发布后,在数据集页签上会显示该“中文名称”。 许可证 数据集资产遵循的使用协议,根据业务需求选择合适的许可证类型。 描述 填写资产简介,数据集发布后将作为副标题显示在数据集页签上,方便用户快速了解资产。 支持0~90个字符,请勿在描述中输入涉政、迷信、违禁等相关敏感词,否则发布审核无法通过。 创建完成后,跳转至数据集详情页。
  • 命令说明 登录Gallery CLI配置工具后,使用命令“gallery-cli download --help”可以获取Gallery CLI配置工具下载文件的帮助信息。 gallery-cli download --help 获得命令“gallery-cli download”可用选项的完整列表如下所示。 Usage: gallery-cli download [OPTIONS] REPO_ID [FILENAMES]...Download files from the AI Gallery╭─ Arguments ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮│ * repo_id TEXT ID of the repo to download from (e.g. `username/repo-name`). [required] ││ filenames [FILENAMES]... Files to download (e.g. `config.json`,`data/metadata.jsonl`). │╰───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯╭─ Options ─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮│ --include TEXT Glob patterns to match files to download. ││ --exclude TEXT Glob patterns to exclude from files to download. ││ --local-dir TEXT Specified local dir to store model or dataset ││ --help Show this message and exit. │╰───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ 具体支持如下使用场景: 下载单个文件 下载多个文件 下载文件到指定路径 下载单个AI Gallery仓库
  • 计费说明 AI Gallery的计费规则如表1所示。 表1 计费说明 规则 说明 话单上报规则 仅当AI Gallery工具链服务创建成功且实际开始运行时,才会上报话单并开始计费,其他状态不上报就不计费,各个服务开始计费的状态如下。 微调大师:“训练中” AI应用:“运行中” 在线推理服务:“运行中” 计费规则 资源整点扣费,按需计费。 计费的最小单位为秒,话单上报后的每一小时对用户账号进行一次扣费。如果使用过程中暂停、终止了消耗资源的AI Gallery工具链服务,即服务不处于计费的状态中,则系统不会立即扣费,依然等到满1小时后再进行扣费,且基于当前1小时内的实际使用时长进行扣费。 实际计费规则 资源按时价扣费,真正计费的价格以实际账单为准。查看账单请参见账单介绍。 用户在创建AI Gallery工具链服务选择付费资源时,可以查看到付费资源的单价,在使用过程中,该资源可能由于平台的折扣优惠变化导致单价发生变化,而云服务是先使用后通过话单进行记录,计费会存在延时,因此,实际价格和折扣优惠可能与当前询价会不完全相同,请以真正计费的价格和优惠为准。 欠费说明 当用户账号余额不足造成扣费失败时,账号将变成欠费状态。 欠费后,按需资源不会立即停止服务,资源进入宽限期。如果在宽限期内仍未支付欠款,那么付费资源(如计算规格、OBS桶)、等都将被冻结,资源进入保留期。保留期的资源不支持任何操作。如果用户在宽限期内充值,则华为云会自动扣取欠费金额(含宽限期内产生的费用) 保留期到期时仍未支付欠款(含宽限期内产生的费用),则付费资源将释放,数据无法恢复。 宽限期和保留期的详细规则请参见宽限期保留期。
  • AI Gallery使用限制 目前自动学习产生的模型暂不支持发布到AI Gallery。 订阅或购买主要是获取AI资产的使用配额和使用权,支持在配额定义的约束下,有限地使用AI资产。 使用AI资产时,可能需要消耗硬件资源,硬件资源费用将根据实际使用情况,由华为云ModelArts等管理控制台向使用方收取。 已发布的AI资产,如果不需要在资产列表中展示该资产,可以将资产下架。下架后,已发布资产仅发布者可见。已经被订阅的资产,即便资产下架后,基于配额资源的约束,仍然可有效使用该资产,不会因为该资产的下架而产生使用问题。
  • 创建镜像资产 登录AI Gallery,单击右上角“我的Gallery”进入我的Gallery页面。 单击左上方“创建资产”,选择“镜像”。 在“创建镜像”弹窗中配置参数,单击“创建”。 表1 创建镜像 参数名称 说明 英文名称 必填项,镜像的英文名称。 如果没有填写“中文名称”,则资产发布后,在镜像页签上会显示该“英文名称”。 中文名称 镜像的中文名称。 如果填写了“中文名称”,则资产发布后,在镜像页签上会显示该“中文名称”。 描述 填写资产简介,镜像发布后将作为副标题显示在镜像页签上,方便用户快速了解资产。 支持0~90个字符,请勿在描述中输入涉政、迷信、违禁等相关敏感词,否则发布审核无法通过。 创建完成后,跳转至镜像详情页。
  • 上传镜像文件 在镜像详情页,选择“镜像文件”页签。 单击“添加文件”,进入上传文件页面,选择本地的数据文件单击“点击上传”或拖动文件,单击“确认上传”启动上传。 上传单个超过5GB的文件时,请使用Gallery CLI工具。CLI工具的获取和使用请参见Gallery CLI配置工具指南。 文件合集大小不超过50GB。 文件上传完成前,请不要刷新或关闭上传页面,防止意外终止上传任务,导致数据缺失。 当文件状态变成“上传成功”表示数据文件成功上传至AI Gallery仓库进行托管。单击“完成”返回镜像文件页面。 图1 上传成功 文件上传过程中请耐心等待,不要关闭当前上传页面,关闭页面会中断上传进程。
  • Solution as Code一键式部署类最佳实践 为帮助企业高效上云,华为云Solution as Code萃取丰富上云成功实践,提供一系列基于华为云可快速部署的解决方案,帮助用户降低上云门槛。同时开放完整源码,支持个性化配置,解决方案开箱即用,所见即所得。 表1 Solution as Code一键式部署类最佳实践汇总 一键式部署方案 说明 相关服务 基于VPCEP实现跨VPC连接ELB 该解决方案基于 VPC终端节点 VPCEP和终端节点服务,帮助用户快速实现同一区域不经过公网、跨虚拟私有云 VPC的弹性负载均衡 ELB后端服务访问 VPC、E CS 、ELB、VPCEP 基于SNAT实现公网访问解决方案 该解决方案能帮用户快速实现多个无弹性公网IP的云主机安全访问互联网,轻松构建VPC的公网出口 VPC、ECS、NAT、EIP
  • 共享带宽 当您有大量业务在云上时,如果每个ECS单独使用一条独享带宽,则需要较多的带宽实例,并且总的带宽费用会较高,如果所有实例共用一条带宽,就可以节省企业的网络运营成本,同时方便运维统计。共享带宽是独立的带宽产品,支持将多个按需计费的弹性公网IP添加到共享带宽,对多个弹性公网IP进行集中限速。您可以将EIP绑定到ECS、NAT网关、ELB等产品,从而使这些产品使用共享带宽。 支持两种计费模式: 按带宽计费:如果您使用的弹性公网IP较多,并且错峰明显,使用共享带宽可以大幅节约成本。 按增强型95计费:如果您部署的业务经常有突发峰值,可以选择增强型95计费。既可以保证业务系统不受峰值带宽不够的影响,又可以避免带宽峰值设置过大带来的成本浪费。
  • 共享流量包 共享流量包是公网流量的预付费套餐,价格比后付费流量更低,大大降低了公网流量成本。共享流量包购买后立即生效,自动抵扣按需计费(按流量计费)的EIP带宽产生的流量资费,使用简单,无需额外操作。 共享流量包适用哪些场景? 对于按流量计费的带宽,启用共享流量包后,该带宽所产生的流量费用优先从共享流量包中进行抵扣。共享流量包全部使用完后,再按后付费流量进行结算。从节约成本的角度看,流量越大,节省的成本越多。 共享流量包使用说明 只能抵扣同一区域产生的带宽流量,不支持跨区域抵扣。 共享流量包包括动态和静态两种类型,分别抵扣全动态BGP和静态BGP产生的流量。 共享流量包具有使用有效期(从购买开始计算1个自然月或1个自然年)。超过有效期后,没有使用完的流量无法继续使用。建议根据业务系统历史情况仔细评估需要多少共享流量包。 共享流量包支持自动续费功能。如果您开通了自动续费功能,那么共享流量包到期前7天内,系统会尝试自动续费扣款,续费成功后,共享流量包中剩余的流量可以在新的有效期内继续使用。 共享流量包全部使用完后,系统会自动按后付费流量进行结算,不会导致业务系统无法使用。
  • 约束与限制 VPC对等连接只能实现同区域VPC的网络互通,因此请确保您的VPC位于同一个区域内。 需要通过VPC对等连接通信的VPC的子网网段不能重叠,否则对等连接不会生效,更多详情请参见无效的VPC对等连接配置。 第三方防火墙部署的ECS所在的子网需要关联自定义路由表 ,请确保您资源所在的区域支持自定义路由表功能。 如果在网络控制台的左侧子栏目看到独立的“路由表”选项,表示支持自定义路由表功能。 图2 支持定义路路由
  • 组网规划说明 本示例中需要在VPC路由表中配置路由,实现VPC之间的互通以及通过防火墙的流量清洗、组网规划总体说明请参见表5。 以下路由规划详情仅为示例,供您参考,您需要根据实际业务情况规划路由。 表5 云上VPC互访使用第三方防火墙组网规划总体说明 路由表 说明 业务所在VPC vpc-A、vpc-B、vpc-C为业务VPC,路由表的规划详情如表6所示。 在vpc-A、vpc-B、vpc-C的默认路由表中,分别添加指向其他VPC子网,下一跳为对等连接的路由,实现不同VPC之间的网络互通。 防火墙所在VPC vpc-X为防火墙VPC,路由表的规划详情如表7所示。 在vpc-X的默认路由表中,根据您防火墙部署方案分为以下情况: 防火墙部署在一台ECS上,则添加目的地址为默认网段(0.0.0.0/0),下一跳为ecs-X01的路由,将流量引入防火墙所在的云服务器。 防火墙部署在两台ECS上,对外通过同一个虚拟IP通信,当主ECS发生故障无法对外提供服务时,动态将虚拟IP切换到备ECS,继续对外提供服务。此场景下,则添加目的地址为默认网段(0.0.0.0/0),下一跳为虚拟IP的路由,将流量进入虚拟IP,由虚拟IP将流量引入防火墙所在的云服务器。 本文以防火墙部署在一台ECS上为例,vpc-A、vpc-B、vpc-C互访的流量,都需要经过vpc-X,然后通过该条路由,将流量引入防火墙中进行清洗过滤。 在vpc-X的自定义路由表中,添加目的地址为业务VPC子网网段(vpc-A、vpc-B、vpc-C子网),下一跳为对等连接的路由,将清洗后的流量引入业务VPC。 表6 业务VPC路由表规划 VPC名称 VPC路由表 目的地址 下一跳类型 下一跳 路由类型 路由作用 vpc-A 默认路由表:rtb-vpc-A 10.2.0.0/24 对等连接 peer-AX 自定义 目的地址指向vpc-B的子网subnet-B01 连通子网subnet-A01和subnet-B01 10.3.0.0/24 对等连接 peer-AX 自定义 目的地址指向vpc-C的子网subnet-C01 连通子网subnet-A01和subnet-C01 192.168.0.0/24 对等连接 peer-AX 自定义 目的地址指向vpc-X的子网subnet-X01 连通子网subnet-A01和subnet-X01 vpc-B 默认路由表:rtb-vpc-B 10.1.0.0/24 对等连接 peer-BX 自定义 目的地址指向vpc-A的子网subnet-A01 连通子网subnet-A01和subnet-B01 10.3.0.0/24 对等连接 peer-BX 自定义 目的地址指向vpc-C的子网subnet-C01 连通子网subnet-B01和subnet-C01 192.168.0.0/24 对等连接 peer-BX 自定义 目的地址指向vpc-X的子网subnet-X01 连通子网subnet-B01和subnet-X01 vpc-C 默认路由表:rtb-vpc-C 10.1.0.0/24 对等连接 peer-CX 自定义 目的地址指向vpc-A的子网subnet-A01 连通子网subnet-A01和subnet-C01 10.2.0.0/24 对等连接 peer-CX 自定义 目的地址指向vpc-B的子网subnet-B01 连通子网subnet-B01和subnet-C01 192.168.0.0/24 对等连接 peer-CX 自定义 目的地址指向vpc-X的子网subnet-X01 连通子网subnet-C01和subnet-X01 表7 防火墙VPC路由表规划 VPC名称 VPC路由表 目的地址 下一跳类型 下一跳 路由类型 路由作用 vpc-X 默认路由表:rtb-vpc-X 0.0.0.0/0 服务器实例 ECS-X 自定义 目的地址指向部署防火墙的ecs-X 将vpc-X入方向的流量引入防火墙 本文以防火墙部署在一台ECS上为例,如果您的防火墙同时部署在多台ECS上,对外通过虚拟IP通信,则路由下一跳选择虚拟IP。 自定义路由表:rtb-vpc-custom-X 10.1.0.0/24 对等连接 peer-AX 自定义 目的地址指向vpc-A的子网subnet-A01 连通子网subnet-A01和subnet-X01 10.2.0.0/24 对等连接 peer-BX 自定义 目的地址指向vpc-B的子网subnet-B01 连通子网subnet-B01和subnet-X01 10.3.0.0/24 对等连接 peer-CX 自定义 目的地址指向vpc-C的子网subnet-C01 连通子网subnet-C01和subnet-X01
  • 资源规划说明 本示例中需要创建 虚拟私有云VPC 、弹性 云服务器ECS 以及VPC对等连接,资源规划总体说明请参见表1。 以下资源规划详情仅为示例,供您参考,您需要根据实际业务情况规划资源。 表1 云上VPC互访使用第三方防火墙资源规划总体说明 资源 说明 虚拟私有云VPC VPC的资源规划详情如表2所示。 本示例中共有4个VPC,包括业务所在VPC和防火墙所在的VPC。这些VPC位于同一个区域内,且这些VPC的子网网段不重叠。 vpc-A、vpc-B、vpc-C为业务VPC,vpc-X为防火墙VPC,这些VPC通过对等连接实现网络互通。 vpc-A、vpc-B、vpc-C、vpc-X各有一个子网。 vpc-A、vpc-B、vpc-C各有一个默认路由表,子网关联VPC默认路由表。 vpc-X有两个路由表,一个系统自带的默认路由表,一个用户创建的自定义路由表,vpc-X的子网关联自定义路由表。 默认路由表控制vpc-X的入方向流量,自定义路由表控制vpc-X的出方向流量。 须知: 需要通过对等连接通信的VPC的子网网段不能重叠,否则对等连接不会生效,更多详情请参见无效的VPC对等连接配置。 弹性云服务器ECS ECS的资源规划详情如表3所示。 本示例中共有4个ECS,这些ECS分别位于不同的VPC内,这些ECS如果位于不同的安全组,需要在安全组中添加规则放通对端安全组的网络。 VPC对等连接 VPC对等连接的资源规划详情如表4所示。 本示例中共3个对等连接,网络连通需求如下: peer-AX:连通vpc-A和vpc-X的网络。 peer-BX:连通vpc-B和vpc-X的网络。 peer-CX:连通vpc-C和vpc-X的网络。 由于VPC对等连接具有传递性,通过路由配置,vpc-A、vpc-B以及vpc-C之间可以通过vpc-X进行网络通信。 表2 VPC资源规划详情 VPC名称 VPC网段 子网名称 子网网段 关联路由表 子网作用 vpc-A 10.1.0.0/16 subnet-A01 10.1.0.0/24 默认路由表 部署业务的子网 vpc-B 10.2.0.0/16 subnet-B01 10.2.0.0/24 默认路由表 部署业务的子网 vpc-C 10.3.0.0/16 subnet-C01 10.3.0.0/24 默认路由表 部署业务的子网 vpc-X 192.168.0.0/16 subnet-X01 192.168.0.0/24 自定义路由表 部署防火墙的子网 表3 ECS资源规划详情 ECS名称 VPC名称 子网名称 私有IP地址 镜像 安全组 ECS作用 ecs-A01 vpc-A subnet-A01 10.1.0.139 公共镜像: CentOS 8.2 64bit sg-demo: 通用Web服务器 部署业务的云服务器 ecs-B01 vpc-B subnet-B01 10.2.0.93 部署业务的云服务器 ecs-C01 vpc-C subnet-C01 10.3.0.220 部署业务的云服务器 ecs-X01 vpc-X subnet-X01 192.168.0.5 部署防火墙的云服务器 表4 VPC对等连接资源规划详情 VPC对等连接名称 本端VPC 对端VPC peer-AX vpc-A vpc-X peer-BX vpc-B vpc-X peer-CX vpc-C vpc-X
  • 方案架构 本示例中vpc-A、vpc-B、vpc-C为业务所在的VPC,vpc-X为防火墙所在的VPC,这些VPC通过对等连接实现网络互通。vpc-A、vpc-B、vpc-C之间互通的流量均需要经过vpc-X上的防火墙。根据默认路由表配置,所有vpc-X的入方向流量均引入防火墙,通过防火墙清洗后的流量根据自定义路由表的目的地址送往指定业务VPC。 在图1中,以ecs-A01访问ecs-C01为例,您可以清晰的看到流量的请求路径和响应路径。 图1 云上VPC互访使用第三方防火墙组网规划
  • 配置步骤 创建VPC及VPC网段。 具体操作请参见创建虚拟私有云和子网。 创建弹性云服务器。 具体方法请参见自定义购买ECS。 创建完成后在弹性云服务器网卡上取消源地址校验,如图2所示。 图2 取消源地址校验 在弹性云服务器上部署容器。 您可以使用Docker CE完成容器的部署,详细操作步骤,请参考第三方软件的帮助文档,本文不做详细说明。 同一台ECS内的容器需要在同一个网段,且不同ECS内容器网段不能重叠。 添加VPC路由表信息。 在VPC路由表中添加路由信息。让发送给10.0.2.0/24网段的数据包下一跳为192.168.0.2,发送给10.0.3.0/24网段的数据包下一跳为192.168.0.3,也就是让发送给容器的数据包下一跳都为容器所在ECS。 单个VPC中内默认支持50个不同网段的容器部署,如需扩大,请申请扩大VPC路由表数目。 容器迁移到其他弹性云服务器后,需要在VPC路由表中添加新的路由信息。 添加安全组规则。 为了能够通过traceroute命令和ping命令测试容器网络是否连通,为弹性云服务器的安全组添加如表1所示规则,开放ICMP和UDP规则。 具体操作请参见添加安全组规则。 表1 安全组规则 方向 协议/应用 端口 源地址 入方向 ICMP 全部 0.0.0.0/0 入方向 UDP 全部 0.0.0.0/0
  • 典型拓扑 此场景下对网络拓扑有如下要求: 弹性云服务器在同一子网内。如图中VPC子网网段为192.168.0.0/24,弹性云服务器的IP地址为192.168.0.2和192.168.0.3。 容器网段与VPC子网不在一个网段,同一台弹性云服务器内的容器在同一个网段,不同弹性云服务器内容器的网段不同。如图中ECS1中容器网段为10.0.2.0/24,ECS2中容器网段为10.0.3.0/24。 发送给容器的数据包下一跳为容器所在弹性云服务器。如图中发送给10.0.2.0/24网段的数据包下一跳为192.168.0.2,发送给10.0.3.0/24网段的数据包下一跳为192.168.0.3。 图1 网络拓扑
  • 方案架构 用户云下IDC已有子网A,通过云专线连接到云上的子网B,如图1所示。用户希望将子网A内的部分业务迁移上云,迁移的具体要求如下: 扩展上云后的部分主机与同网段云下主机二层互通。 扩展上云的二层网段与IDC三层互通能力继续保持。 IDC内改造的二层网络与云上三层互通能力继续保持。 图1 用户业务场景组网图 基于客户当前的业务场景,需要进行两个阶段的网络部署,详细说明如下: 将子网Subnet A二层迁移上云,通过ESW实现云下和云上Subnet A之间二层网络互通,组网图如图2所示,迁移方案说明如下: 在云下IDC新增一个子网Subnet D,作为云下VXLAN交换机所需的隧道子网。 在云上VPC内新增一个子网Subnet A,用作云下Subnet A的上云目标子网。 将云上原有的Subnet B作为隧道子网,基于该子网创建企业交换机和二层连接,并关联云专线,即可以连通云上云下二层网络。 图2 云下和云上Subnet A之间二层网络互通 在云上和云下新增子网Subnet C,通过ESW实现云下和云上Subnet C之间二层网络互通,并且基于云专线,实现云下IDC内Subnet A和云上Subnet C、云上Subnet A和云下Subnet C之间三层互通,组网图如图3所示,部署方案说明如下: 在云上和云下分别新增子网Subnet C。 在云上和云下基于已有的隧道子网,新建一个二层连接,连通云下和云上Subnet C之间二层网络。 并且,同一个VPC内的子网网络三层互通,此时云下IDC内Subnet A和云上Subnet C、云上Subnet A和云下Subnet C之间三层互通。 图3 云上和云下三层网络互通
  • 资源和成本规划 表1 资源和成本规划 区域 资源 资源说明 数量 每月费用(元) 华为云(本端) 虚拟私有云子网 子网名称:Subnet A 子网网段:192.168.3.0/24 第一个二层连接:二层连接A内的本端二层连接子网,此处为云上ECS所在子网 3 00.00 子网名称:Subnet C 子网网段:192.168.5.0/24 第二个二层连接:二层连接C内的二层连接子网,此处为云上ECS所在子网 子网名称:Subnet B 子网网段:192.168.0.0/24 本端隧道子网,华为云上的隧道子网,此处为DC和ESW所在子网 弹性云服务器ECS Subnet A内地ECS,此处两台主机为IDC业务上云后扩展的两台主机。 私有IP地址:192.168.3.4 私有IP地址:192.168.3.5 Subnet C内地ECS: 私有IP地址:192.168.5.4 私有IP地址:192.168.5.5 4 1055.60 企业交换机 ESW 隧道连接方式:云专线 隧道子网:Subnet B 1 65000.00 二层连接 二层连接A,连接云上和云下Subnet A 隧道IP:192.168.0.98 隧道号:5530 二层连接C,连接云上和云下Subnet C 隧道IP:192.168.0.98 隧道号:5540 基于同一个企业交换机的两个二层连接,隧道IP地址保持一致,但是隧道号不能重复。 2 00.00 客户IDC(远端) 客户IDC内子网 子网名称:Subnet A 子网网段:192.168.3.0/24 第一个二层连接:二层连接A内的远端二层连接子网,客户IDC业务集群所在的子网 3 - 子网名称:Subnet C 子网网段:192.168.5.0/24 第二个二层连接:二层连接C内的远端二层连接子网,客户IDC业务集群所在的子网 子网名称:Subnet D 子网网段:200.51.51.0/24 远端隧道子网:客户IDC内的隧道子网 二层连接对应的IDC内VXLAN隧道 二层连接A,连接云上和云下Subnet A 隧道IP:200.51.51.100 隧道号:5530 二层连接C,连接云上和云下Subnet C 隧道IP:200.51.51.100 隧道号:5540 2 - 资源成本费用预估为66055.60元,该费用中,不包括迁移主机产生的费用,迁移费用详情请参见计费说明。 本文提供的成本预估费用仅供参考,资源的实际费用以华为云管理控制台显示为准。
  • 通过云专线和企业交换机迁移IDC子网上云流程 图4 通过云专线和企业交换机迁移IDC子网上云流程 根据业务场景需求,规划资源和网段。 网络规划详情,请参见表1。 上述网段仅供参考,具体以用户网段为准。 隧道网段不建议范围很大,此隧道网段是用来规划一个隧道IP和华为云上的企业交换机建立VXLAN隧道。参考图 云下和云上Subnet A之间二层网络互通。 在云下IDC侧的隧道交换机上配置VXLAN隧道。 本文中子网Subnet D作为配置在交换机上的隧道网段,配置信息如下: 源地址:为云下隧道IP(200.51.51.100)。 目的地址:为云上隧道IP(192.168.0.98)。 隧道号:5530 配置线下交换机存在两种主要场景,不同的场景使用的配置方式不同,详情请参考配置远端隧道网关。 修改专线的虚拟子接口配置,增加隧道子网Subnet D网段(200.51.51.0/24),以打通云上和云下隧道网络。 具体操作请参考修改虚拟接口。 请提交工单给云专线服务,确认您的云专线是否支持和企业交换机对接(VXLAN),如果不支持则需要云专线服务开通对接。 创建企业交换机。 创建方法请参见购买企业交换机,参数说明如下: 隧道连接方式:选择云专线。 关联网关:选择已有云专线网关。 隧道子网:选择子网Subnet B(192.168.0.0/24)。 隧道IP:配置为云上本端隧道IP(192.168.0.98)。 单击“立即购买”及“提交”后,开始创建企业交换机。企业交换机的创建过程一般需要3~6分钟。 创建第一个二层连接子网和二层连接,实现二层连接子网Subnet A云上和云下二层互通。 创建二层连接子网后,由于两个子网网段相同,导致专线到云下和云上的路由冲突,因此专线原有三层业务中断。在创建完二层连接之后,三层业务会恢复。 在VPC中创建二层连接子网,对应图2中云上的子网Subnet A(192.168.3.0/24),子网网段与线下二层互通网段相同。 创建子网请参考为虚拟私有云创建新的子网。 子网 Subnet A、Subnet B、Subnet C、Subnet D网段不允许重叠。 Subnet D作为隧道子网,不需过大的网段范围,建议最大28位掩码。 云上VPC的掩码规划,取决于用户创建企业交换机的个数,每个企业交换机会占用隧道子网的三个IP。 创建云下和云上的二层连接子网Subnet A之间的二层连接A。 详情请参考创建二层连接。 二层连接子网:选择云上二层连接子网 Subnet A(192.168.3.0/24)。 远端接入信息: 隧道号:5530 对端隧道IP:200.51.51.100 单击“创建”,等待连接状态为“已连接”,表示二层连接已创建成功。 验证二层连接子网Subnet A之间的二层网络通信。 在云上二层连接子网 Subnet A内创建两台弹性云服务器。 此处两台ECS的私有IP地址分别为192.168.3.20和192.168.3.69。 分别登录两台创建的弹性云服务器。 弹性云服务器有多种登录方法,具体请参见登录弹性云服务器。 本示例是通过管理控制台远程登录(VNC方式)。 执行以下命令,验证是否可正常访问云下主机。 ping 云下二层连接子网Subnet A内的主机IP地址 命令示例: ping 192.168.3.255 ping 192.168.3.222 回显类似如下信息,表示二层云下和云上二层通信正常。 创建新的二层连接子网和二层连接,实现云下和云上三层互通。 在VPC中创建二层连接子网,对应图3中云上的子网Subnet C(192.168.5.0/24),子网网段与线下二层互通网段相同。 创建子网请参考为虚拟私有云创建新的子网。 创建云下和云上的二层连接子网Subnet C之间的二层连接C。 详情请参考创建二层连接。 二层连接子网:选择云上二层连接子网Subnet C(192.168.5.0/24)。 远端接入信息: 隧道号:5540 对端隧道IP:200.51.51.100 单击“创建”,等待连接状态为“已连接”,表示二层连接已创建成功。此时云下和云上可实现三层互通。 参考7,验证二层连接子网Subnet C之间的二层网络通信。 参考7,验证云下IDC内Subnet A和云上Subnet C、云上Subnet A和云下SubnetC之间三层网络通信。 回显类似如下信息,表示三层网络通信正常。 业务迁移 二层业务互通后,将IDC内的部分 主机迁移 到云上。 迁移具体操作,请参见 主机迁移服务 快速入门。 验证IDC和云上主机之间网络通信。 网络通信验证成功后,将IDC内已迁移的主机进行关机。 将云上的主机IP地址修改为云下IDC内的主机的IP地址。 修改IP地址具体操作,请参见修改私有IP地址。 验证云下IDC内主机和云上主机网络通信。
  • 方案优势 云下IDC侧的业务网络互访很多是通过IP地址而非 域名 ,上云前如果改造IDC侧网络,会导致上云周期延长、迁移期间业务中断,并且网络改造往往增加运维成本。 使用企业交换机后,上云不用修改IDC侧IP地址,减少业务对环境感知,加快上云进度。 云下IDC侧的每个子网通常承载几十种不同的业务,如果按照子网粒度进行迁移,几十种业务一次性上云存在较大风险,无法满足业务连续性需求。 使用企业交换机后,按照“虚拟机”粒度迁移上云,支持业务系统灰度上云,应对核心业务分批上云,避免业务在迁移过程中受损,减少上云风险。
  • 方案架构 华为云支持通过企业交换机(Enterprise Switch,ESW) 构建客户IDC和云上二层网络互通,在二层网络内,实现主机粒度迁移,助力客户IDC迁移上云期间业务不中断,不修改IP地址的诉求。 通过企业交换机迁移IDC的组网示例如图2所示,本示例中将IDC内的VM-B在不修改IP的前提下,迁移到云上。迁移过程说明如下: 使用云专线或VPN建立云上与云下IDC隧道子网之间的三层网络通信。因为企业交换机建立二层通信网络时,依赖隧道子网之间的三层网络。 创建企业交换机、建立二层连接、配置VXLAN交换机,建立云上与云下IDC的二层网络通信。 将主机VM-B(10.0.1.8)迁移到云上ECS-B(10.0.1.21),检查好VM-B和ECS-B的网络通信后,待业务低谷时期关闭IDC内的VM-B。 短暂关闭VM-B时,业务主要由IDC内的VM-A(10.0.1.131)承载,因此不会中断业务。 此处为了验证VM-B和ECS-B之前的正常通信,刚迁移上云的ECS-B和VM-B的IP地址不能一样,否则无法正常通信。 关闭IDC内的VM-B后,将云上的ECS-B地址由10.0.1.21改为10.0.1.8,此时业务流量会通过企业交换机转发到云上的ECS-B处理,确保迁移后不改变主机IP地址。 同时,云上的ECS-B和IDC内的VM-A也可以自由互访,就像还位于同一个子网中。 图2 企业交换机迁移组网
  • 约束与限制 对于使用 虚拟专用网络 (VPN)对接企业交换机的场景,请您先提交工单给虚拟专用网络服务,确认您的虚拟专用网络是否支持和企业交换机进行VXLAN对接,如果不支持,需要联系客服开通虚拟专用网络的对接企业交换机能力。 对于使用云专线(DC)对接企业交换机的场景,请您先提交工单给云专线服务,确认您的云专线是否支持和企业交换机进行对接,如果不支持,需要联系客服开通云专线的对接企业交换机能力。 如果您的IDC需要与华为云企业交换机对接来建立云下和云上二层网络通信,那么IDC侧的交换机需要支持VXLAN功能。以下为您列举部分支持VXLAN功能的交换机,仅供参考。 华为交换机:Huawei CE58、CE68、CE78、CE88系列支持VXLAN,例如CE6870、CE6875、CE6881、CE6863、CE12800。 其他厂商交换机:例如Cisco Nexus 9300、 锐捷RG-S6250、 H3C S6520。
  • 方案架构 客户的模拟场景说明如下: 华东-上海一:用作模拟客户IDC,部门A的业务部署在subnet-1内的主机10.0.1.131和主机10.0.1.8上,两台主机组成集群对外提供服务。 华南-广州:用作模拟客户迁移上云的区域,部门A业务所在的主机10.0.1.8待迁移到华为云上。 本最佳实践提供的迁移方案说明如下: 使用VPN和ESW打通“华东-上海一”和“华南-广州”两个子网之间的二层网络,将主机10.0.1.8迁移到云上子网内。 迁移完成后,删除IDC内主机10.0.1.8,主机10.0.1.131能够和云上的主机10.0.1.8相互访问。 图1 企业交换机迁移组网(VPN+ESW)
  • 资源和成本规划 表1 资源和成本规划 区域 资源 资源名称 资源说明 数量 每月费用(元) 华南-广州: 模拟华为云(本端) 虚拟私有云VPC vpc-guangzhou VPC网段:10.0.0.0/16 1 00.00 虚拟私有云子网 subnet-1 子网网段:10.0.1.0/24 本端二层连接子网,模拟华为云业务集群所在的子网,此处为迁移后的ECS所在子网 2 00.00 subnet-5 子网网段:10.0.5.0/24 本端隧道子网,模拟华为云上的隧道子网,此处为VPN所在子网 弹性云服务器ECS ecs-guangzhou -8 私有IP地址:10.0.1.21 模拟华为云内的主机,此台主机为迁移后的主机,迁移前IP地址为10.0.1.21,迁移完成后,修改IP地址为10.0.1.8 1 263.90 虚拟专用网络VPN vpn-guangzhou 本端子网:subnet-5 远端网关:119.3.121.173,此处填写华东-上海一VPN的本端网关 远端子网:10.0.3.0/24,此处填写华东-上海一VPN所在的子网 1 375.00 企业交换机 ESW l2cg-guangzhou 隧道连接方式:VPN 关联网关:vpngw-guangzhou 隧道子网:subnet-5 1 65000.00 二层连接 l2conn-guangzhou 隧道IP:10.0.5.196 隧道号:1000 1 00.00 华东-上海一 模拟客户IDC(远端) 虚拟私有云VPC vpc-shanghai VPC网段:10.0.0.0/16 1 00.00 虚拟私有云子网 subnet-1 子网网段:10.0.1.0/24 远端二层连接子网,模拟客户IDC业务集群所在的子网,此处为待迁移的主机所在子网 2 00.00 subnet-3 子网网段:10.0.3.0/24 远端隧道子网,模拟客户IDC内的隧道子网,此处为VPN所在子网 弹性云服务器ECS ecs-shanghai -131 私有IP地址:10.0.1.131 模拟客户IDC内集群中的主机 2 527.80 ecs-shanghai -8 私有IP地址:10.0.1.8 模拟客户IDC内的主机,此台主机待迁移 虚拟专用网络VPN vpn-shanghai 本端子网:subnet-3 远端网关:139.9.20.226,此处填写华南-广州VPN的本端网关 远端子网:10.0.5.0/24,此处填写华南-广州VPN所在的子网 1 375.00 企业交换机 ESW l2cg-shanghai 隧道连接方式:VPN 关联网关:vpngw-shanghai 隧道子网:subnet-3 1 65000.00 二层连接 l2conn-shanghai 隧道IP:10.0.3.131 隧道号:1000 1 00.00 资源成本费用预估为131541.70元,该费用中,不包括迁移主机产生的费用,迁移费用详情请参见计费说明。 本文提供的成本预估费用仅供参考,资源的实际费用以华为云管理控制台显示为准。
  • 操作步骤 使用“WinSCP”工具将“huaweicloud-sdk-dis-x.x.x.zip”上传至Linux系统任一目录。 x.x.x表示DIS SDK包的版本号。 使用“PuTTY”工具登录Linux系统,进入到“huaweicloud-sdk-dis-x.x.x.zip”所在目录,执行如下命令,获取DIS SDK压缩包的校验码。 sha256sum huaweicloud-sdk-dis-x.x.x.zip 显示类似如下校验码: # sha256sum dis-sdk-x.x.x.zip8be2c937e8d78b1a9b99777cee4e7131f8bf231de3f839cf214e7c5b5ba3c088 huaweicloud-sdk-dis-x.x.x.zip 打开DIS SDK的校验文件“huaweicloud-sdk-dis-x.x.x.zip.sha256sum”与上一步骤中获取的校验码进行对比。 一致,说明从获取的DIS SDK压缩包没被篡改。 不一致,说明DIS SDK压缩包被篡改,需要重新获取。
  • DIS如何实现转储数据至DWS的特定列 DIS支持将源数据类型为JSON格式的数据转储至DWS。转储前,需要配置源数据Schema。 源数据Schema,即用户的JSON数据样例,用于描述JSON数据格式。DIS可以根据此JSON数据样例生成Avro schema, 将通道内上传的JSON数据转换为Parquet或CarbonData格式。 参考创建源数据Schema,创建源数据Schema。如下以添加转储任务时创建源数据Schema为例进行说明。 选择源数据类型是Json的通道。 在通道详情页面的“转储任务”页签,单击“添加转储任务”。 转储服务类型选择DWS,通过导入文件的方式配置源数据Schema。 输入源数据样例,单击“转换源数据样例”并提交,生成源数据Schema。 图1 创建源数据Schema 配置Schema属性过滤功能。 schema过滤功能,只针对源数据schema根节点或一级子节点非array类型,才有效。即管理源数据Schema创建的源数据schema,满足根节点或一级子节点非array类型,界面才呈现此配置。 打开Schema过滤开关。 在源数据属性名列表中,勾选对应的属性名,完成DWS表中指定列的映射。 源数据属性名列表中的属性由源数据Schema的name字段生成,匹配DWS的列名称。 图2 配置Schema属性 如图2所示,源数据属性名只选择id,即少于对应表的总字段。 DWS侧创建集群,并执行如下命令创建表。 CREATE TABLE dis_test3(id TEXT,dev TEXT,online BIGINT,module TEXT default 'a',logTime TEXT,appId TEXT,event TEXT); DIS侧转储数据至DWS成功后,登录集群数据库查询dis_test3表格数据,可看到仅id列和module列插入数据,其中module列是默认数据。如图3所示。 图3 Schema属性过滤结果 父主题: 转储相关问题
  • DIS对接EPS鉴权后,进入通道列表页面看不见之前创建的通道? 问题原因:因DIS对接EPS鉴权后,租户在原来企业项目中没有查看通道详情的权限,DIS通道列表就不会显示对应的通道: 解决方法:在企业项目中为租户授予查看通道详情的权限: 进入项目管理页面。 图1 项目管理 选择某个企业项目,为租户授予该企业项目对应的权限,如查看通道详情,则需要选择dis:streams:get策略,租户就能在通道列表中看到属于该企业项目中所有通道详情。 图2 添加授权 图3 策略内容 父主题: 一般性问题
  • Agent如何配置AK/SK加密? 在配置项中,需要配置用户的SK,这属于敏感信息,如需加密,可以按如下步骤: 进入bin/目录 cd /opt/dis-agent-X.X.X/bin 执行加密脚本,输入密码后回车 bash dis-encrypt.sh 控制台打印的“Encrypt result:”后面的字符串即为加密后的结果。通过这种方式分别加密MySQL密码和用户SK,并将密文配置到配置文件中即可。 父主题: DIS Agent相关问题
  • Agent如何配置递归监听一个目录? DIS Agent支持配置递归监听,将配置项"directoryRecursionEnabled"的值配置为"true"即可支持,例如以下配置可以匹配到"/home/one.log","/home/child/two.log","/home/child/child/three.log": ---region: REGIONak: YOUR_AKsk: YOUR_SKprojectId: YOUR_PROJECTIDendpoint: ENDPOINTflows: - DISStream: YOUR_STREAM filePattern: /home/*.log directoryRecursionEnabled: true initialPosition: START_OF_FILE maxBufferAgeMillis: 5000 父主题: DIS Agent相关问题
共100000条
提示

您即将访问非华为云网站,请注意账号财产安全