华为云用户手册

  • 步骤五:在企业路由器中添加并配置VPN连接 本示例中, 虚拟专用网络 VPN、VPN网关使用的VPC资源的总体规划说明,请参见表5。 创建1个VPN网关使用的VPC。 创建VPC及子网,具体方法请参见创建虚拟私有云和子网。 您在创建VPN网关时,“虚拟私有云”需要选择该VPC,“互联子网”填写该VPC下未被占用的网段,该网段不能与VPC内已有的子网网段重叠。本示例中互联子网网段不能与默认子网subnet-01一样。 创建VPN网关,即在企业路由器中添加“VPN网关(VPN)”连接。 在虚拟专用网络管理控制台,创建VPN网关。 具体方法请参见创建VPN网关。 在企业路由器控制台,查看“VPN网关(VPN)”连接的添加情况。 具体方法请参见查看连接。 “VPN网关(VPN)”连接的状态“正常”,表示已成功接入企业路由器中。 由于本示例创建ER时,开启“默认路由表关联”和“默认路由表传播”,因此添加完“VPN网关(VPN)”连接后,以下均为系统自动配置: 在ER默认路由表中创建关联。 在ER默认路由表中创建传播,并自动学习IDC侧的路由信息。 需要执行以下步骤连通VPN后,才可以在ER路由表中查看到IDC侧的路由信息。 创建对端网关。 具体方法请参见创建对端网关。 分别创建两条VPN连接,用作主备。 创建主VPN连接,请参见创建第一条VPN连接。 创建备VPN连接,请参见创建第二条VPN连接。 在IDC侧的网络设备上,配置网络参数。 由于组网为DC和VPN的双链路互备,因此配置路由时,需要注意以下方面: DC和VPN的路由类型保持一致,构造双链路互备需要配置为BGP路由。 配置DC和VPN路由的主备优先级,确保DC的优先级高于VPN。 DC和VPN网络链路的断连感知时间建议和云上网络保持一致。
  • 步骤四:验证DC链路的通信情况 登录弹性云服务器ecs-demo。 弹性云服务器有多种登录方法,具体请参见登录弹性云服务器。 本示例是通过管理控制台远程登录(VNC方式)。 执行以下命令,验证业务VPC与IDC是否可以通过ER通信。 ping IDC侧任意一个IP地址 命令示例: ping 192.168.3.10 回显类似如下信息,表示vpc-for-er与IDC可以通过ER通信。 [root@ecs-demo ~]# ping 192.168.3.10 PING 192.168.3.10 (192.168.3.10) 56(84) bytes of data. 64 bytes from 192.168.3.10: icmp_seq=1 ttl=64 time=0.849 ms 64 bytes from 192.168.3.10: icmp_seq=2 ttl=64 time=0.455 ms 64 bytes from 192.168.3.10: icmp_seq=3 ttl=64 time=0.385 ms 64 bytes from 192.168.3.10: icmp_seq=4 ttl=64 time=0.372 ms ... --- 192.168.3.10 ping statistics ---
  • 步骤二:在企业路由器中添加并配置VGW连接 本示例中,云专线DC资源的总体规划说明,请参见表5。 创建物理连接。 创建方法,具体请参见物理连接接入。 创建虚拟网关,即在企业路由器中添加“虚拟网关(VGW)”连接。 在云专线管理控制台,创建虚拟网关。 具体方法请参见步骤2:创建虚拟网关。 在企业路由器控制台,查看“虚拟网关(VGW)”连接的添加情况。 具体方法请参见查看连接。 “虚拟网关(VGW)”连接的状态“正常”,表示已成功接入企业路由器中。 由于本示例创建ER时,开启“默认路由表关联”和“默认路由表传播”,因此添加完“虚拟网关(VGW)”连接后,以下均为系统自动配置: 在ER默认路由表中创建关联。 在ER默认路由表中创建传播,并自动学习IDC侧的路由信息。 需要执行以下步骤连通DC后,才可以在ER路由表中查看到IDC侧的路由信息。 创建虚拟接口。 创建虚拟接口用来连接虚拟网关和线下IDC,具体方法请参见步骤3:创建虚拟接口。 在IDC侧的网络设备上,配置网络参数。 由于组网为DC和VPN的双链路互备,因此配置路由时,需要注意以下方面: DC和VPN的路由类型保持一致,构造双链路互备需要配置为BGP路由。 配置DC和VPN路由的主备优先级,确保DC的优先级高于VPN。 DC和VPN网络链路的断连感知时间建议和云上网络保持一致。
  • 步骤一:创建云服务资源(业务VPC、E CS 、ER) 本步骤指导您创建业务VPC、ECS以及ER服务资源,云服务资源的总体规划说明,请参见表5。 创建企业路由器。 创建企业路由器,具体方法请参见创建企业路由器。 创建业务VPC。 创建VPC及子网,具体方法请参见创建虚拟私有云和子网。 创建业务ECS。 本示例中1个业务ECS主要用于验证云上VPC和线下IDC通信使用,数量和配置仅供参考,请您根据实际需要创建业务ECS。 创建ECS,具体方法请参见购买方式概述。
  • 步骤三:在企业路由器中添加并配置VPC连接 将业务VPC接入企业路由器中。 添加连接时,不开启“配置连接侧路由”功能。 开启该功能后,会在VPC路由表中自动添加指向ER的路由,目的地址固定为10.0.0.0/8,172.16.0.0/12,192.168.0.0/16。本示例中,需要在VPC路由表中手动配置指向ER的路由,目的地址为IDC侧的网段。 添加“虚拟私有云(VPC)”连接,具体方法请参见在企业路由器中添加VPC连接。 检查ER路由表中指向VPC的路由。 本示例中,ER开启了“默认路由表关联”和“默认路由表传播”功能,那么在ER中添加“虚拟私有云(VPC)”连接时,系统会自动添加ER指向VPC的路由,无需手动添加,只需要检查即可。 ER路由规划详情,请参见表2和表4。 查看ER路由,具体方法请参见查看路由。 在业务VPC的路由表中,添加指向ER的路由。 VPC路由规划详情,请参见表3。 配置路由信息,具体方法请参见在VPC路由表中配置路由。
  • 步骤二:创建实例 进入购买实例页面。 根据下表配置实例信息。 表2 配置实例信息 参数 配置说明 计费模式 实例的收费方式,此处选择“按需计费”。 区域 选择实例所属区域,请根据实际需要选择。此处选择“华东-上海一”。 可用区 选择实例的可用区,此处选择“可用区1,可用区2,可用区3”。 实例名称 填写实例的名称,此处填写“apig-test”。 实例规格 选择实例的规格,此处选择“基础版”。 可维护时间窗 指定可对实例进行维护的时间段,此处默认。 企业项目 选择实例所属的企业项目,此处选择“default”。 网络 选择已准备的VPC和子网。 公网入口 允许外部服务通过弹性IP地址,调用实例创建的API。此处开启公网入口。 安全组 选择已准备的安全组。 单击“立即购买”。 确认实例信息无误后,勾选服务协议,单击“去支付”,完成实例创建。
  • 相关文档 了解更多创建API详情,请参考创建API。 了解更多调用API详情请参考调用API。 调用API失败时,查看错误信息请参考错误码。 共享VPC是基于 资源访问管理 (Resource Access Manager,简称 RAM )服务的机制,VPC的所有者可以将VPC内的子网共享给一个或者多个账号使用。通过共享VPC功能,可以简化网络配置,帮助您统一配置和运维多个账号下的资源,有助于提升资源的管控效率,降低运维成本。有关VPC子网共享的更多信息,请参见共享VPC。
  • 步骤一:准备工作 注册华为云并实名认证。 如果您已有一个华为账号,请跳过此步骤。如果您还没有华为账户,请参考 注册华为账号 并开通华为云和实名认证介绍,完成华为云的注册和实名认证。 在创建APIG实例前,确保账户有足够金额。 如果您需要为账户充值,请参考账户充值。 在创建APIG实例前,确保账户已拥有APIG实例的操作权限。 如果您使用系统角色相关权限,需要同时拥有“APIG Administrator”和“VPC Administrator”权限才能创建实例。 如果您使用系统策略,则拥有“APIG FullAccess”即可。 如果您需要对云上的资源进行精细管理,请使用 IAM 服务创建IAM用户及用户组,并授权,以使得IAM用户获得具体的操作权限。具体操作请参考创建用户并授权使用APIG。 在创建APIG实例前,确保已存在可用的VPC和子网。 APIG实例可以使用当前账号下已创建的VPC和子网,也可以使用新创建的VPC和子网,请根据实际需要进行配置。 创建VPC和子网的操作指导,请参考创建虚拟私有云和子网。请注意:创建的VPC与APIG实例必须在相同的区域。 在创建APIG实例前,确保已存在可用的安全组。 APIG实例可以使用当前账号下已创建的安全组,也可以使用新创建的安全组,请根据实际需要进行配置。创建安全组的操作步骤,请参考创建安全组。 请添加表1所示安全组规则,其他规则请根据实际需要添加。 表1 安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 80/443 0.0.0.0/0 使用内网时可通过同一个VPC访问APIG实例。 安全组创建后,系统默认添加入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则。此时使用内网通过同一个VPC访问APIG实例,无需添加表1的规则。 除墨西哥城一、北京一区域外,在其他区域创建实例后默认开启ELB负载。开启ELB负载的实例的安全组不生效,如需禁用部分IP请使用访问控制策略 开启ELB负载:ELB作为网关入口的负载均衡器,入口支持跨VPC访问。但在开启公网入口时,弹性IP地址由网关随机分配,不支持选择已有弹性IP地址。
  • 入门实践 您可以根据自身的业务需求使用APIG提供的一系列常用实践。 表1 常用最佳实践 实践 描述 使用函数服务开发自定义认证 在API的安全认证方面,API网关提供IAM认证、APP认证等方式,帮助用户快速开放API,同时API网关也支持用户使用自己的认证方式(以下简称自定义认证),以便更好地兼容已有业务能力。 API网关支持的自定义认证需要借助 函数工作流 服务实现,用户在函数工作流中创建自定义认证函数,API网关调用该函数,实现自定义认证。 API网关流量控制2.0策略 当在公网中调用APIG上公开的业务API时,如果不限制API调用的次数,随着用户的不断增加,会引起后端性能的下降,甚至会因为恶意用户发送的大量请求导致网站或程序崩溃。APIG提供了传统策略——流量控制,从API、用户、凭据、源IP等多个维度进行流控。 然而,随着用户多样性以及需求多样性的增加,传统流控策略无法满足更加精细的流量控制场景。比如针对某一请求参数的流控或者某一租户的流控,APIG在传统流量控制策略的基础上提供了插件策略——流量控制2.0,通过制定更加精细的方案来进行流控。
  • DSC能够识别哪些数据源对象? DSC能通过内置规则和自定义规则从OBS、RDS、Elasticsearch、DWS、 DLI 的海量数据中分析并识别出敏感对象。 DSC支持的数据源如表1所示。 表1 支持的数据源 数据源 具体的数据类型 扫描限制 RDS(关系型数据库) MySQL、SqlServer、PostgreSQL类型。 采样扫描前500行数据。扫描指标QPS为300次/秒。 CSS 云搜索服务 ) 大数据资产 -- OBS( 对象存储服务 ) 支持200+文件类型。 大于200MB以上的文件不会对其进行扫描;同时如果OBS桶的文件进行了加密,则无法对其扫描。 DWS( 数据仓库 服务) -- -- ECS(弹性云服务器) 搭建的Mysql、TDSQL、SqlServer、PostgreSQL、Oracle数据库及ElasticSearch实例。 -- DLI( 数据湖探索 ) 大数据资产 -- LTS( 云日志 服务) 日志流 -- 父主题: 数据识别和数据脱敏
  • 如何选择区域? 选择区域时,您需要考虑以下几个因素: 地理位置 一般情况下,建议就近选择靠近您或者您的目标用户的区域,这样可以减少网络时延,提高访问速度。 在除中国大陆以外的亚太地区有业务的用户,可以选择“中国-香港”、“亚太-曼谷”或“亚太-新加坡”区域。 在非洲地区有业务的用户,可以选择“非洲-约翰内斯堡”区域。 在拉丁美洲地区有业务的用户,可以选择“拉美-圣地亚哥”区域。 资源的价格 不同区域的资源价格可能有差异,请参见华为云服务价格详情。
  • 什么是区域、可用区? 我们用区域和可用区来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 可用区(AZ,Availability Zone):一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域和可用区。
  • 新空间导入资源 请您登录控制台首页,选择并进入新工作空间的“管理中心”模块,然后执行如下操作进行资源导入。 在管理中心页面,单击“资源迁移”,进入资源迁移页面。 图6 资源迁移 单击“新建导入”,选择导入方式后,配置待导入资源的OBS或本地路径。待导入的资源应为通过导出获取的zip文件。 图7 配置待导入的资源存储路径 单击“新建导入”,上传待导入资源。待导入的资源应为通过导出获取的zip文件 单击“下一步”,勾选导入的资源类型。 图8 勾选导入的资源类型 如果选择导入数据源,则单击“下一步”需要配置数据连接。 图9 配置数据连接 单击“下一步”,等待导入任务下发,导入任务成功下发后系统提示“导入开始”。 图10 导入开始 系统提示“导入开始”后,单击“确定”,可在资源迁移任务列表中查看导入结果。 其中存在子任务失败时,可单击红色子任务名,查看失败原因。 图11 查看导入结果
  • ELB限制 将网站以独享模式接入WAF时,仅支持与独享型ELB配套使用。有关ELB类型的详细介绍,请参见共享型弹性负载均衡与独享型负载均衡的功能区别。 2023年4月之前的独享引擎版本,不支持与独享ELB网络型配合使用。因此,如果您使用了独享ELB网络型(TCP/UDP)负载均衡,请确认独享WAF实例已升级到最新版本(2023年4月及之后的版本)。 将网站以云模式-ELB接入WAF时,仅支持与独享型ELB配套使用,且ELB“规格”必须为“应用型(HTTP/HTTPS)”,不支持“网络型(TCP/UDP)”的独享型的ELB。
  • 服务版本限制 同一账号在同一个大区域只能选择一个服务版本。 以“华东区域”为例,同一账号在华东-上海一、华东-上海二只能选购一个WAF版本。 原则上,在任何一个区域购买的WAF支持防护所有区域的Web业务。但是为了提高WAF的转发效率,建议您在购买WAF时,根据防护业务的所在区域就近选择购买的WAF区域。 服务版本选择: 购买了云模式标准版、专业版或铂金版后,才支持使用“云模式-ELB接入”方式。 使用独享模式WAF时,建议WAF独享引擎实例与源站在同一个VPC中,如果WAF独享引擎实例与源站不在同一个VPC中,可通过对等连接打通两个VPC之间网络。
  • 防护 域名 限制 通过云模式-CNAME接入方式接入的域名,请确保域名已经过ICP备案,WAF会检查域名备案情况,未备案域名将无法添加。 同一防护对象不能重复添加到WAF。 同一个域名对应不同非标准端口视为不同的防护对象,例如www.example.com:8080和www.example.com:8081为两个不同的防护对象,且占用两个域名防护配额。如果您需要防护同一域名的多个端口,您需要将该域名和端口逐一添加到WAF。
  • 责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的 云安全 挑战和无孔不入的云安全威胁与攻击,华为云在遵从法律法规业界标准的基础上,以安全生态圈为护城河,依托华为独有的软硬件优势,构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。 租户:负责云服务内部的安全,安全地使用云。华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、 虚拟主机 和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措施,包括云安全战略、责任共担模型、合规与隐私、安全组织与人员、基础设施安全、租户服务与租户安全、工程安全、运维运营安全、生态安全。 图1 华为云安全责任共担模型 父主题: 安全
  • 方案概述 CodeArts Req提供的看板项目是一种业界流行的轻量、灵活和简单的团队协作方法,它将项目的需求、缺陷和任务可视,让每个人一目了然地掌握每项工作的状态,团队通过移动工作卡片的方式更新工作进展,及时暴露风险和问题。 用户可以创建看板项目对项目进行需求规划,通过新建工作项、分配工作项、处理工作项等来实现项目的需求规划与交付。本文介绍如何使用看板项目来规划项目,以商城管理项目为例做需求规划。
  • Notebook 自定义镜像 约束 制作自定义镜像时,Base镜像需满足如下规范: 可以基于开发环境提供的预置镜像为Base镜像制作自定义镜像。 基于昇腾、Dockerhub官网等官方开源的镜像制作,开源镜像需要满足如下操作系统约束: x86:Ubuntu18.04、Ubuntu20.04 ARM:Euler2.8.3、Euler2.10.7 Ubuntu20.04.6可能有兼容性问题,请优先使用低于该版本的操作系统。 不满足以上镜像规范,所制作的镜像使用可能会出现故障,请用户检查镜像规范,并参考Notebook自定义镜像故障基础排查自行排查,如未解决请联系华为技术工程师协助解决。 父主题: Notebook中使用自定义镜像
  • 定义超参 使用预置框架创建算法时,ModelArts支持用户自定义超参,方便用户查阅或修改。定义超参后会体现在启动命令中,以命令行参数的形式传入您的启动文件中。 导入超参 您可以单击“增加超参”手动添加超参。 图1 添加超参 编辑超参 超参的参数说明参见表4。 表4 超参编辑参数 参数 说明 名称 填入超参名称。 超参名称支持64个以内字符,仅支持大小写字母、数字、下划线和中划线。 类型 填入超参的数据类型。支持String、Integer、Float和Boolean。 默认值 填入超参的默认值。创建训练作业时,默认使用该值进行训练。 约束 单击“约束”。在弹出对话框中,支持用户设置默认值的取值范围或者枚举值范围。 必需 选择是或否。 选择否,则在使用该算法创建训练作业时,支持在创建训练作业页面删除该超参。 选择是,则在使用该算法创建训练作业时,不支持在创建训练作业页面删除该超参。 描述 填入超参的描述说明。 超参描述支持大小写字母、中文、数字、空格、中划线、下划线、中英文逗号和中英文句号。
  • 输入输出管道设置 训练过程中,基于预置框架的算法需要从OBS桶或者数据集中获取数据进行模型训练,训练产生的输出结果也需要存储至OBS桶中。用户的算法代码中需解析输入输出参数实现ModelArts后台与OBS的数据交互,用户可以参考开发自定义脚本完成适配ModelArts训练的代码开发。 创建基于预置框架的算法时,用户需要配置算法代码中定义的输入输出参数。 输入配置 表2 输入配置 参数 参数说明 参数名称 根据实际代码中的输入数据参数定义此处的名称。此处设置的代码路径参数必须与算法代码中解析的训练输入数据参数保持一致,否则您的算法代码无法获取正确的输入数据。 例如,算法代码中使用argparse解析的data_url作为输入数据的参数,那么创建算法时就需要配置输入数据的参数名称为“data_url”。 描述 输入参数的说明,用户可以自定义描述。 获取方式 输入参数的获取方式,默认使用“超参”,也可以选择“环境变量”。 输入约束 开启后,用户可以根据实际情况限制数据输入来源。输入来源可以选择“数据存储位置”或者“ModelArts数据集”。 如果用户选择数据来源为ModelArts数据集,还可以约束以下三种: 标注类型。数据类型请参考标注数据。 数据格式。可选“Default”和“CarbonData”,支持多选。其中“Default”代表Manifest格式。 数据切分。仅“图像分类”、“物体检测”、“文本分类”和“声音分类”类型数据集支持进行数据切分功能。 可选“仅支持切分的数据集”、“仅支持未切分数据集”和“无限制”。数据切分详细内容可参考发布数据版本。 添加 用户可以根据实际算法添加多个输入数据来源。 输出配置 表3 输出配置 参数 参数说明 参数名称 根据实际代码中的训练输出参数定义此处的名称。此处设置的代码路径参数必须与算法代码中解析的训练输出参数保持一致,否则您的算法代码无法获取正确的输出路径。 例如,算法代码中使用argparse解析的train_url作为训练输出数据的参数,那么创建算法时就需要配置输出数据的参数名称为“train_url”。 描述 输出参数的说明,用户可以自定义描述。 获取方式 输出参数的获取方式,默认使用“超参”,也可以选择“环境变量”。 添加 用户可以根据实际算法添加多个输出数据路径。
  • 同步到 GaussDB (DWS)的方案选型 同步性能是搭建同步链路时重点关注因素之一,同步性能涉及数据模型、源库负载、目标库负载、带宽延迟、DRS能力上限等,各局点的情况无法统一。 表1是DRS常见规格的性能上限参考,创建链路时需要结合客户数据模型和场景选择合适的DRS规格。 表1 规格性能上限 规格名称 增量性能上限(行/秒)参考 极小 300 小 3000 中 7500 大 10000 超大 20000 极大 大于20000 GaussDB(DWS)的规格说明可参考这里。 父主题: 实时同步
  • DRS对目标数据库的压力及影响 全量(初始化)阶段,DRS需要将源数据库结构、索引以及存量数据全部写入到目标数据库,顺序为先迁移结构,再迁移数据,最后迁移索引,不同过程不会并行,一般活跃总连接数小于8个,其中: 有小于8个连接在批量创建结构。 有小于8个连接在批量写数据,类似如下语句: insert into *** (id,name,msg) values (***); 有小于8个连接在批量创建索引,类似如下语句: alter table *** add index ***; 增量阶段,DRS会把源数据库日志中的增量数据解析成SQL在目标数据库中执行,一般总连接数小于64个,其中: DDL会单连接串行执行,执行DDL时,不会有其他DML执行。 DML最多会有64个连接(短连接,默认超时时间30秒),其中DML只是简单的insert、update、delete、replace语句。 如果需要评估对源数据库的影响,可选择创建测试任务,再通过限速功能或业务低峰期动等来调整迁移策略。
  • DRS需要源数据库停止业务吗 DRS任务分为全量、增量、全量+增量三种模式,不同链路支持的模式不同。 全量模式:该模式为数据库一次性迁移,适用于可中断业务的数据库迁移场景,全量迁移将非系统数据库的全部数据库对象和数据一次性迁移至目标端数据库。 增量模式:该模式通过解析日志等技术,将源端产生的增量数据持续迁移至目标端数据库。 全量+增量模式:该模式为数据库持续性迁移,适用于对业务中断敏感的场景,通过全量迁移过程完成目标端数据库的初始化后,增量迁移阶段通过解析日志等技术,将源端持续迁移至目标端数据库,保持数据一致。 增量模式、全量+增量模式的任务不会自动结束,会持续将源端产生的增量数据迁移至目标端数据库,需用户判断并手动结束任务,可参考如何判断数据迁移任务可以停止。 用户在创建任务时,可根据情况选择不同模式,DRS不需要源数据库停止业务,但需注意全量和增量不同阶段对数据库产生的影响,可参考MySQL数据同步对源数据库和目标数据库有什么影响。 父主题: 产品咨询
  • 源或者目标数据库哪些操作,会影响DRS任务状态 以华为云RDS for MySQL为例,以下操作可能会影响DRS任务状态。 实例备份:一般情况下,实例备份对DRS任务无影响。 单机转主备:正常情况下对DRS任务无影响。 实例重启:重启数据库实例将导致短暂中断,在此期间,实例将不可用,DRS连接短暂中断。这种情况下,DRS会进行自动重试。若重试仍无法恢复,待实例状态正常后,可手动单击任务“操作”列上的“续传”继续任务。 主备倒换:实例主备切换期间,可能会造成几秒或几分钟的服务闪断,这种情况下,DRS会进行自动重试。若重试仍无法恢复,待实例状态正常后,可手动单击任务“操作”列上的“续传”继续任务。 规格变更:规格变更后,将会重启数据库,重启数据库实例将导致短暂中断,在此期间,实例将不可用,DRS连接短暂中断。这种情况下,DRS会进行自动重试。若重试仍无法恢复,待实例状态正常后,可手动单击任务“操作”列上的“续传”继续任务。 实例升级:升级数据库内核小版本会重启实例,重启数据库实例将导致短暂中断,在此期间,实例将不可用,DRS连接短暂中断。这种情况下,DRS会进行自动重试。若重试仍无法恢复,待实例状态正常后,可手动单击任务“操作”列上的“续传”继续任务。 实例异常:这种情况下,DRS会进行自动重试。若重试仍无法恢复,待实例状态正常后,可手动单击任务“操作”列上的“续传”继续任务。 限制连接会话数:DRS任务连接源和目标端需要一定数量的会话数,详细可参考MySQL数据同步对源数据库和目标数据库有什么影响。当连接数不足时,会导致DRS任务失败,用户可在调整数据库连接数后,单击任务“操作”列上的“续传”继续任务。 网络抖动:针对网络抖动造成的连接失败,DRS会自动进行重试,若重试仍无法恢复,待网络正常后,可手动单击任务“操作”列上的“续传”继续任务。 账号密码修改:修改数据库账号密码可能会导致DRS连接失败,详细可参考源库或目标库修改密码后如何操作。 账号权限修改:修改数据库账号权限可能会导致DRS权限不足,迁移数据失败。用户可重新为迁移账号赋权后,单击任务“操作”列上的“续传”继续任务。 源库日志清理:当源库日志(例如MySQL的binlog)被清理时,DRS无法从源库获取到和当前同步位点接续的日志,可能导致任务失败(例如全量或增量阶段失败报错,关键词“binlog is not existed”)。用户可参考重置同步任务内容进行重置,或重新创建任务开始同步。 数据库参数修改:DRS在启动任务前会对源数据库和目标数据库参数进行预检查,在预检查完成后到任务结束前,一般情况下不建议对数据库参数进行修改,避免因参数修改导致的任务失败。如果参数修改导致任务失败,用户可尝试在恢复参数后,单击任务“操作”列上的“续传”继续任务。 父主题: 产品咨询
  • 授权操作说明 创建用户 操作方式: CREATE USER 'username'@'host' IDENTIFIED BY 'password'; · username:待创建的账号。 · host:允许该账号登录的主机,如果允许该账号从任意主机登录数据库,可以使用%。 · password:账号的密码。 例如:授予drsmigration账号具备所有数据库和表的所有权限,并允许从任意主机登录数据库,命令如下。 CREATE USER 'drsmigration'@'%' IDENTIFIED BY 'Drs123456'; 授予相应权限 操作方式: GRANT privileges ON databasename.tablename TO 'username'@'host' WITH GRANT OPTION; flush privileges; · privileges:授予该账号的操作权限,如SELECT、INSERT、UPDATE等,如果要授予该账号所有权限,则使用ALL · databasename:数据库名。如果要授予该账号具备所有数据库的操作权限,则使用*。 · tablename:表名。如果要授予该账号具备所有表的操作权限,则使用*。 · username:待授权的账号。 · host:允许该账号登录的主机,如果允许该账号从任意主机登录,则使用%。 · WITH GRANT OPTION:授予该账号使用GRANT命令的权限,该参数为可选。 例如:创建一个账号,账号名为drsmigration,密码为Drs123456,并允许从任意主机登录数据库,命令如下。 GRANT ALL ON *.* TO 'drsmigration'@'%';
  • 权限要求 源和目标库的连接账号需要具有登录权限,如果没有该账号,可以通过如下方式创建,以user1为例。 参考语句:CREATE USER 'user1'@'host' IDENTIFIED BY 'password'; DRS的实时迁移、实时同步、实时灾备功能的权限要求,表1 权限要求中以user1为例提供参考语句。 表1 权限要求及参考语句 功能模块 源/业务数据库 目标/灾备数据库 实时迁移 全量迁移权限要求: SELECT、SHOW VIEW、EVENT。 参考语句:GRANT SELECT, SHOW VIEW, EVENT ON *.* TO 'user1'; 全量+增量迁移权限要求: SELECT、SHOW VIEW、EVENT、LOCK TABLES、REPLICATION SLAVE、REPLICATION CLIENT。 其中,REPLICATION SLAVE、REPLICATION CLIENT是全局权限,必须单独开启。参考语句如下: GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'user1'; SELECT、SHOW VIEW、EVENT、LOCK TABLES是非全局权限,参考语句如下: GRANT SELECT, SHOW VIEW, EVENT, LOCK TABLES ON [待迁移数据库].* TO 'user1'; 当业务数据库为8.0.2以上版本时,还需要有XA_RECOVER_ADMIN权限。 全量迁移权限要求: SELECT、CREATE、ALTER、DROP、DELETE、INSERT、UPDATE、INDEX、EVENT、CREATE VIEW、CREATE ROUTINE、TRIGGER、REFEREN CES 、WITH GRANT OPTION。当目标库为8.0.14-8.0.18版本时,还需要有SESSION_VARIABLES_ADMIN权限。 参考语句:GRANT SELECT, CREATE, ALTER, DROP, DELETE, INSERT, UPDATE, INDEX, EVENT, CREATE VIEW, CREATE ROUTINE, TRIGGER ON *.* TO 'user1' WITH GRANT OPTION; 全量+增量迁移权限要求: SELECT、CREATE、ALTER、DROP、DELETE、INSERT、UPDATE、INDEX、EVENT、CREATE VIEW、CREATE ROUTINE、TRIGGER、REFERENCES、WITH GRANT OPTION。当目标库为8.0.14-8.0.18版本时,还需要有SESSION_VARIABLES_ADMIN权限。 参考语句:GRANT SELECT, CREATE, ALTER, DROP, DELETE, INSERT, UPDATE, INDEX, EVENT, CREATE VIEW, CREATE ROUTINE, TRIGGER, REFERENCES ON [待迁移数据库].* TO 'user1' WITH GRANT OPTION; 实时同步 SELECT、SHOW VIEW、EVENT、LOCK TABLES、REPLICATION SLAVE、REPLICATION CLIENT。全量+增量任务,当源数据库为8.0.2及以上版本时,还需要授予XA_RECOVER_ADMIN权限,以防启动或编辑时未提交的XA事务导致数据有损。 其中,REPLICATION SLAVE、REPLICATION CLIENT是全局权限,必须单独开启。参考语句如下: GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'user1'; SELECT、SHOW VIEW、EVENT、LOCK TABLES是非全局权限,参考语句如下: GRANT SELECT, SHOW VIEW, EVENT, LOCK TABLES ON [待同步数据库].* TO 'user1'; 当业务数据库为8.0.2以上版本时,还需要有XA_RECOVER_ADMIN权限。 SELECT、CREATE、DROP、DELETE、INSERT、UPDATE、ALTER、CREATE VIEW、CREATE ROUTINE、REFERENCES。 参考语句:GRANT SELECT, CREATE, DROP, DELETE, INSERT, UPDATE, ALTER, REFERENCES ON [待同步数据库].* TO 'user1'; 实时灾备 SELECT、CREATE、ALTER、DROP、DELETE、INSERT、UPDATE、TRIGGER、REFERENCES、SHOW VIEW、EVENT、INDEX、LOCK TABLES、CREATE VIEW、 CREATE ROUTINE、 ALTER ROUTINE、 CREATE USER、RELOAD、REPLICATION SLAVE、REPLICATION CLIENT、WITH GRANT OPTION,RDS for MySQ L实例 的root账户默认已具备上述权限。当业务数据库为8.0.14-8.0.18版本时,还需要有SESSION_VARIABLES_ADMIN权限。当业务数据库为8.0.2及以上版本时,还需要授予XA_RECOVER_ADMIN权限,以防启动时未提交的XA事务导致数据有损。RDS for MySQL实例的root账户默认已具备上述权限。 当业务数据库为8.0.2以上版本时,还需要有XA_RECOVER_ADMIN权限。 参考语句:GRANT SELECT,CREATE,ALTER,DROP,DELETE,INSERT,UPDATE,TRIGGER,SHOW VIEW,EVENT,INDEX,LOCK TABLES,CREATE VIEW,CREATE ROUTINE,ALTER ROUTINE,CREATE USER,RELOAD,REPLICATION SLAVE,REPLICATION CLIENT ON *.* TO 'user1'; SELECT、CREATE、ALTER、DROP、DELETE、INSERT、UPDATE、TRIGGER、REFERENCES、SHOW VIEW、EVENT、INDEX、LOCK TABLES、CREATE VIEW、 CREATE ROUTINE、 ALTER ROUTINE、 CREATE USER、RELOAD、REPLICATION SLAVE、REPLICATION CLIENT、WITH GRANT OPTION,RDS for MySQL实例的root账户默认已具备上述权限。当灾备数据库为8.0.14-8.0.18版本时,还需要有SESSION_VARIABLES_ADMIN权限。 参考语句:GRANT SELECT,CREATE,ALTER,DROP,DELETE,INSERT,UPDATE,TRIGGER,REFERENCES,SHOW VIEW,EVENT,INDEX,LOCK TABLES,CREATE VIEW,CREATE ROUTINE,ALTER ROUTINE,CREATE USER,RELOAD,REPLICATION SLAVE,REPLICATION CLIENT ON *.* TO 'user1'@'%' WITH GRANT OPTION; 请在以上参考语句后执行flush privileges;使授权生效。
  • DDM为源链路源库分片数量和信息怎么填写 DRS支持DDM为源的迁移和同步,在创建任务时,需要先按照源端DDM绑定的实例个数选择分片数量,以实时同步为例,如图1。例如源端DDM有两个DN节点,挂载的RDS for MySQL实例1和实例2,则“源端实例数据库实例个数”设置为“2”。关于DDM逻辑库和逻辑库下的DN实例说明可参考DDM产品文档。 图1 同步实例信息 任务创建完成后,需要在“测试连接”页面填写源库信息,如图2,假设源端DDM实例IP地址为192.168.5.11,挂载的RDS for MySQL实例1,其IP地址为192.168.1.10;挂载的RDS for MySQL实例2 , 其IP地址为192.168.6.150,则填写方式如表1。 图2 源库信息 表1 源库信息 参数 描述 中间件IP地址或域名 填写源数据库DDM中间件的IP地址或域名,本示例中为192.168.5.11。 端口 源数据库DDM中间件服务端口,可输入范围为1~65535间的整数,一般DDM端口默认为5066,请根据实际情况填写。 中间件用户名 源数据库DDM中间件的用户名,可参考《DDM快速入门》。 数据库密码 源数据库DDM中间件用户名所对应的密码。 SSL安全连接 通过该功能,用户可以选择是否开启对迁移链路的加密。如果开启该功能,需要用户上传SSL CA根证书。 数据库实例 根据DDM实际的DN分片数据库,填写对应的数据库信息。 本示例中两个分片数据库IP地址分别填写192.168.1.10和192.168.6.150。 父主题: 通用操作
  • 影响因素 源库的读取吞吐能力 读取吞吐能力越高,迁移速度越快,耗时越少。影响吞吐的因素包括但不限于服务器规格、负载、磁盘IO性能、数据库限流等。 目标库的写入吞吐能力 写入吞吐能力越高,迁移速度越快,耗时越少。影响吞吐的因素包括但不限于服务器规格、负载、磁盘IO性能、数据库限流等。 可用的网络吞吐量 可用的网络吞吐越高,迁移速度越快,耗时越少。影响网络吞吐量的因素包括但不限于可用带宽、防火墙、网络设备限流设置等。 网络质量和网络延迟 网络延迟越小(影响因素包括但不限于源库目标库和DRS实例地理位置的远近程度),迁移速度越快,耗时越少。网络质量差(比如丢包率高)会降低迁移速度。 DRS实例规格 DRS实例规格越大,迁移速度越快,耗时越少。 源数据的模型和分布 此类因素包括是否有主键、是否分区表、是否堆表、平均单行数据量大小、表的数量、索引数量等。 目标库是否已有数据 目标库已有数据可能导致迁移时数据冲突,导致性能下降。 目标库是否有触发器 目标库有触发器可能导致迁移时写入性能下降。 目标库备份和日志等相关设置 如无必要可在迁移期间关闭目标库备份和事务日志,可提升迁移性能。 源库增量数据产生速度 源库增量数据产生速度越快,增量数据追平的耗时越长。 DRS任务数 不考虑其他因素导致的性能瓶颈,通过按表拆分成多个DRS任务,可提升总体迁移性能。
  • 我的Gallery介绍 登录AI Gallery,单击右上角“我的Gallery”进入我的Gallery页面,在“我的Gallery”页面可以查看个人资产、个人收藏、个人信息等内容。 表1 我的Gallery 分类 子类 功能说明 我的资产 模型 展示个人创建的模型,可以查看模型的发布时间、订阅量、收藏量等信息。 数据集 “我创建的数据集”:展示个人创建的数据集,可以查看数据集的发布时间、订阅量、收藏量等信息。 “我的下载”:可以查看个人下载的数据集信息(只有ModelArts发布的数据集支持下载)。单击下拉三角,可以查看数据集ID、目标区域等信息。 “我的订阅”:可以查看个人订阅的盘古数据集信息。 AI应用 展示个人创建的AI应用,可以查看AI应用的发布状态、发布时间、收藏量等信息。 镜像 展示个人创建的镜像,可以查看镜像的发布状态、发布时间等信息。 项目 展示个人创建的Notebook项目,可以查看项目的发布时间、收藏量等信息。 AI说 展示个人发布的技术文章,可以查看文章浏览量、收藏量等信息。 删除AI说:鼠标悬浮在文章页签上,单击出现的删除按钮即可删除已发布的技术文章。 说明: 删除操作无法恢复,请谨慎操作。 我的收藏 模型 查看收藏的AI资产,单击资产页签可以跳转到资产详情页。 数据集 AI应用 项目 镜像 AI说 我的活动 - 展示个人参与的活动信息,可以查看活动名称、参与状态、活动状态等信息。 我的资源 云服务器 展示通过预申请算力创建的服务器列表。 鉴权管理 - 展示创建的AppCode列表。一个地域最多可创建5个AppCode。删除后,AppCode将无法使用且无法找回。请注意,如果该区域没有其他可用的AppCode,所有需要安全认证的API将无法使用。 注意: AppCode是您的重要资产,请务必妥善保管。 申请管理 资产申请审核 展示了模型可用范围的申请单,模型所有者可以管理模型使用者的权限申请单。 我的算力预申请 展示了ModelArts Lite的算力预购申请列表。 我的问题 - 展示了个人提出的问题,可查看问题单类别、问题概述、状态等信息。 个人信息 个人资料 查看个人基本信息,包括“帐号”、“头像”、“昵称”、“用户ID”、“邮箱”、“简介”等信息。 单击“头像”下方的“上传图片”,可以选择图片编辑新头像。 单击“昵称”后的按钮,可以编辑昵称。 单击“用户ID”后的按钮,可以快速复制ID。 单击“邮箱”后的按钮,可以修改邮箱地址。 单击“开启邮箱通知”的开关,可以选择是否启用邮箱通知。 单击“公开邮箱地址”的开关,可以选择是否公开邮箱地址。 单击“简介”处的按钮,可以编辑个人简介,最多支持500个字符。 单击“相关链接”处的按钮,可以关联个人或公司网站。 说明: 请勿在个人资料中输入涉政、迷信、违禁等相关敏感词,否则修改无法生效。 父主题: AI Gallery(新版)
共100000条