华为云用户手册

  • 组网配置指导 实践 描述 基于华为云弹性云服务器自建容器并实现通信 介绍在不使用华为云容器产品的情况下,支持用户在华为云弹性云服务器中部署容器,并实现同一个子网中不同弹性云服务器内的容器相互通信。 使用虚拟IP和Keepalived搭建高可用Web集群 介绍如何通过虚拟IP搭建高可用WEB集群。虚拟IP主要用于弹性云服务器的主备切换,达到高可用性HA的目的。当主服务器发生故障无法对外提供服务时,动态将虚拟IP切换到备服务器,继续对外提供服务。 为多网卡E CS 配置策略路由 当云服务器拥有多张网卡时,主网卡默认可以和外部正常通信,扩展网卡无法和外部正常通信,此时需要在云服务器内部为这些网卡配置策略路由,才可以确保多张网卡均可以和外部正常通信。 VPC间对等连接组网配置示例 不同的VPC之间内网隔离,您可以使用对等连接将两个VPC连通起来,对等连接两端的VPC使用私有IP地址进行通信。 本文档为您提供了不同组网的VPC对等连接配置示例,包括IPv4和IPv6组网。 基于VPCEP实现跨VPC连接ELB 该解决方案基于 VPC终端节点 和终端节点服务,帮助用户快速实现同一区域不经过公网、跨VPC的弹性负载均衡ELB后端服务访问。 基于SNAT实现公网访问解决方案 该解决方案能帮您快速实现不同虚拟网络之间的流量互通,支持同账号/不同账号之间高质量高安全的VPC网络连接,同时不依赖某个独立硬件,解决单点故障或带宽瓶颈的问题。适用于在云上数据备份,办公数据同步、企业商务数据传递、ERP及支付、游戏行业等典型场景。 云上跨VPC添加实例到ELB最佳实践 该解决方案基于独享型负载均衡的跨VPC后端功能,帮助用户快速实现云上跨VPC添加实例至弹性负载均衡ELB。
  • 网络安全控制 实践 描述 安全组配置示例 当您在VPC子网内创建实例(云服务器、云容器、云数据库等)时,您可以使用系统提供的默认安全组default,您也可以创建其他安全组。无论是默认安全组,还是您创建的安全组,您均可以在安全组内设置出方向和入方向规则,以此控制出入实例的流量。本文档您介绍一些常用的安全组的配置示例。 网络ACL配置示例 网络ACL可以控制流入/流出子网的流量,当网络ACL和安全组同时存在时,流量先匹配网络ACL规则,然后匹配安全组规则。您可以灵活调整安全组的规则,并使用网络ACL作为子网的额外防护。本文档为您提供了典型的网络ACL应用示例。 使用IP地址组提升安全组规则管理效率 IP地址组是一个或者多个IP地址的集合,您可以在配置安全组规则的时候使用IP地址组。如果您变更了IP地址组内的IP地址,则相当于直接变更了这些IP地址对应的安全组规则,免去逐条修改安全组规则的工作量。 通过对等连接和第三方防火墙实现多VPC互访流量清洗 介绍通过防火墙软件实现VPC内流量安全管控的需求,首先基于VPC对等连接实现多个VPC网络互通,然后VPC之间互访流量通过防火墙软件过滤清洗。 混合云使用第三方防火墙 本文以用户同区域的多VPC与本地IDC连通为例,介绍混合云使用第三方防火墙的应用场景。用户IDC数据中心和华为云通过云专线(DC)或 虚拟专用网络 (VPN)通信成功,在华为云的内网上使用第三方虚拟化防火墙,使得云上云下的业务流量经过自定义的第三方防火墙,对云上的业务进行灵活的安全控制。
  • 步骤二:绑定 云桌面 资源 完成存储库的购买后,您需要绑定存储库的资源。 如果您已在购买存储库时绑定云桌面,可以跳过此步骤。 前提条件 所选云桌面未绑定存储库,且状态必须为“可用”或“正在使用”。 操作步骤 在云桌面备份页面,找到目标存储库,单击“绑定云桌面”。 在资源列表中勾选需要备份的资源,勾选后将在已选列表区域展示。 单击“确定”。在“绑定的云桌面”一列可以看到绑定的云桌面,查看到资源已成功绑定。 如果需要开启自动绑定功能,可参见绑定存储库的资源章节。
  • 步骤三:创建SFS Turbo备份 绑定资源后,您可以对数据进行手动或自动备份。 为了尽量保证备份数据的完整性,建议选择文件系统没有写入数据的时间进行备份。 备份的业务高峰期在22点到早上8点,建议客户评估业务类型,分散时间备份,如果在业务高峰时段备份,可能会有一定的延迟。 前提条件 文件系统处于“可用”或“正在使用”状态才可进行备份,如果对文件系统进行了扩容、挂载、卸载或删除等操作,请刷新界面,确保操作完成,再决定是否要进行备份。 操作步骤
  • 步骤三:创建云硬盘备份 绑定资源后,您可以对数据进行手动或自动备份。 备份云服务器时,不会对云硬盘造成任何性能影响。 备份的业务高峰期在22点到早上8点,建议客户评估业务类型,分散时间备份,如果在业务高峰时段备份,可能会有一定的延迟。 前提条件 磁盘处于“可用”或“正在使用”状态才可进行备份,如果对磁盘进行了扩容、挂载、卸载或删除等操作,请刷新界面,确保操作完成,再决定是否要进行备份。 操作步骤 在云硬盘备份界面,选择“存储库”页签,找到磁盘所对应的存储库。 单击“操作”列下的“执行备份”。选择绑定存储库上需要备份的磁盘,勾选后将在已选磁盘列表区域展示。 选择需要备份的云硬盘后,会识别所选云硬盘是否加密。加密云硬盘的备份数据会以加密方式存放。 需要输入备份的“名称”和“描述”,如#cbr_02_0029/table4829135361311所示。 参数 说明 备注 名称 输入待创建的备份的名称。 创建成功后,支持修改备份名称。 只能由中文字符、英文字母、数字、下划线、中划线组成,且长度小于等于64个字符。 说明: 也可以采用默认的名称,默认的命名规则为“manualbk_xxxx”。 备份多个磁盘时,系统自动增加后缀,例如:备份-0001,备份-0002。 manualbk_d819 描述 输入待创建的备份的描述。 描述长度小于等于255个字符。 -- 选择是否“执行全量备份”。勾选后,系统会为绑定的磁盘执行全量备份,备份所占存储容量也会相应增加。 单击“确定”。系统会自动为磁盘创建备份。 在“备份副本”页签,产生的备份的“备份状态”为“可用”时,表示备份任务执行成功。 如果在备份过程中对磁盘的数据进行删除等操作,被删除的文件可能不会被备份成功。为了保证数据完整性,建议备份完成后再对数据进行操作再重新执行备份。
  • 相关信息 可以为新的存储库进行创建复制、扩容等操作,请参考存储库管理章节。 若后续需要定期自动备份存储库时,可以创建策略并绑定策略至存储库,详见管理策略章节。 如果您需要备份含有数据库的服务器,需要将目标存储库的规格由服务器备份变更为数据库备份。详见更改云服务器备份存储库规格和数据库服务器备份。 执行备份成功后,后续可以使用云服务器备份恢复服务器数据,详见使用云服务器备份恢复数据。 可以使用云服务器备份创建镜像,详见使用备份创建镜像。
  • 步骤二:绑定云桌面资源 完成存储库的购买后,您需要绑定存储库的资源。 如果您已在购买存储库时绑定云桌面,可以跳过此步骤。 前提条件 所选云桌面未绑定存储库,且状态必须为“可用”或“正在使用”。 操作步骤 在云硬盘备份页面,找到目标存储库,单击“绑定云桌面”。 在资源列表中勾选需要备份的资源,勾选后将在已选列表区域展示。 图1 绑定云桌面 单击“确定”。在“绑定的云桌面”一列可以看到绑定的云桌面,查看到资源已成功绑定。 如果需要开启自动绑定功能,可参见绑定存储库的资源章节。
  • 步骤二:绑定云桌面资源 完成存储库的购买后,您需要绑定存储库的资源。 如果您已在购买存储库时绑定云桌面,可以跳过此步骤。 前提条件 所选云桌面未绑定存储库,且状态必须为“可用”或“正在使用”。 操作步骤 在云硬盘备份页面,找到目标存储库,单击“绑定云桌面”。 在资源列表中勾选需要备份的资源,勾选后将在已选列表区域展示。 图1 绑定云桌面 单击“确定”。在“绑定的云桌面”一列可以看到绑定的云桌面,查看到资源已成功绑定。 如果需要开启自动绑定功能,可参见绑定存储库的资源章节。
  • 步骤三:创建SFS Turbo备份 绑定资源后,您可以对数据进行手动或自动备份。 为了尽量保证备份数据的完整性,建议选择文件系统没有写入数据的时间进行备份。 备份的业务高峰期在22点到早上8点,建议客户评估业务类型,分散时间备份,如果在业务高峰时段备份,可能会有一定的延迟。 前提条件 文件系统处于“可用”或“正在使用”状态才可进行备份,如果对文件系统进行了扩容、挂载、卸载或删除等操作,请刷新界面,确保操作完成,再决定是否要进行备份。 操作步骤
  • 步骤三:创建SFS Turbo备份 绑定资源后,您可以对数据进行手动或自动备份。 为了尽量保证备份数据的完整性,建议选择文件系统没有写入数据的时间进行备份。 备份的业务高峰期在22点到早上8点,建议客户评估业务类型,分散时间备份,如果在业务高峰时段备份,可能会有一定的延迟。 前提条件 文件系统处于“可用”或“正在使用”状态才可进行备份,如果对文件系统进行了扩容、挂载、卸载或删除等操作,请刷新界面,确保操作完成,再决定是否要进行备份。 操作步骤
  • 步骤三:创建云硬盘备份 绑定资源后,您可以对数据进行手动或自动备份。 备份云服务器时,不会对云硬盘造成任何性能影响。 备份的业务高峰期在22点到早上8点,建议客户评估业务类型,分散时间备份,如果在业务高峰时段备份,可能会有一定的延迟。 前提条件 磁盘处于“可用”或“正在使用”状态才可进行备份,如果对磁盘进行了扩容、挂载、卸载或删除等操作,请刷新界面,确保操作完成,再决定是否要进行备份。 操作步骤 在云硬盘备份界面,选择“存储库”页签,找到磁盘所对应的存储库。 单击“操作”列下的“执行备份”。选择绑定存储库上需要备份的磁盘,勾选后将在已选磁盘列表区域展示,如图2所示。 图2 选择需要备份的磁盘 选择需要备份的云硬盘后,会识别所选云硬盘是否加密。加密云硬盘的备份数据会以加密方式存放。 需要输入备份的“名称”和“描述”,如表3所示。 表3 参数说明 参数 说明 备注 名称 输入待创建的备份的名称。 创建成功后,支持修改备份名称。 只能由中文字符、英文字母、数字、下划线、中划线组成,且长度小于等于64个字符。 说明: 也可以采用默认的名称,默认的命名规则为“manualbk_xxxx”。 备份多个磁盘时,系统自动增加后缀,例如:备份-0001,备份-0002。 manualbk_d819 描述 输入待创建的备份的描述。 描述长度小于等于255个字符。 -- 选择是否“执行全量备份”。勾选后,系统会为绑定的磁盘执行全量备份,备份所占存储容量也会相应增加。如图3所示。 图3 执行全量备份 单击“确定”。系统会自动为磁盘创建备份。 在“备份副本”页签,产生的备份的“备份状态”为“可用”时,表示备份任务执行成功。 如果在备份过程中对磁盘的数据进行删除等操作,被删除的文件可能不会被备份成功。为了保证数据完整性,建议备份完成后再对数据进行操作再重新执行备份。
  • 相关信息 可以为新的存储库进行创建复制、扩容等操作,请参考存储库管理章节。 若后续需要定期自动备份存储库时,可以创建策略并绑定策略至存储库,详见管理策略章节。 如果您需要备份含有数据库的服务器,需要将目标存储库的规格由服务器备份变更为数据库备份。详见更改云服务器备份存储库规格和数据库服务器备份。 执行备份成功后,后续可以使用云服务器备份恢复服务器数据,详见使用云服务器备份恢复数据。 可以使用云服务器备份创建镜像,详见使用备份创建镜像。
  • 步骤三:创建云硬盘备份 绑定资源后,您可以对数据进行手动或自动备份。 备份云服务器时,不会对云硬盘造成任何性能影响。 备份的业务高峰期在22点到早上8点,建议客户评估业务类型,分散时间备份,如果在业务高峰时段备份,可能会有一定的延迟。 前提条件 磁盘处于“可用”或“正在使用”状态才可进行备份,如果对磁盘进行了扩容、挂载、卸载或删除等操作,请刷新界面,确保操作完成,再决定是否要进行备份。 操作步骤 在云硬盘备份界面,选择“存储库”页签,找到磁盘所对应的存储库。 单击“操作”列下的“执行备份”。选择绑定存储库上需要备份的磁盘,勾选后将在已选磁盘列表区域展示,如图2所示。 图2 选择需要备份的磁盘 选择需要备份的云硬盘后,会识别所选云硬盘是否加密。加密云硬盘的备份数据会以加密方式存放。 需要输入备份的“名称”和“描述”,如表3所示。 表3 参数说明 参数 说明 备注 名称 输入待创建的备份的名称。 创建成功后,支持修改备份名称。 只能由中文字符、英文字母、数字、下划线、中划线组成,且长度小于等于64个字符。 说明: 也可以采用默认的名称,默认的命名规则为“manualbk_xxxx”。 备份多个磁盘时,系统自动增加后缀,例如:备份-0001,备份-0002。 manualbk_d819 描述 输入待创建的备份的描述。 描述长度小于等于255个字符。 -- 选择是否“执行全量备份”。勾选后,系统会为绑定的磁盘执行全量备份,备份所占存储容量也会相应增加。如图3所示。 图3 执行全量备份 单击“确定”。系统会自动为磁盘创建备份。 在“备份副本”页签,产生的备份的“备份状态”为“可用”时,表示备份任务执行成功。 如果在备份过程中对磁盘的数据进行删除等操作,被删除的文件可能不会被备份成功。为了保证数据完整性,建议备份完成后再对数据进行操作再重新执行备份。
  • 相关信息 可以为新的存储库进行创建复制、扩容等操作,请参考存储库管理章节。 若后续需要定期自动备份存储库时,可以创建策略并绑定策略至存储库,详见管理策略章节。 如果您需要备份含有数据库的服务器,需要将目标存储库的规格由服务器备份变更为数据库备份。详见更改云服务器备份存储库规格和数据库服务器备份。 执行备份成功后,后续可以使用云服务器备份恢复服务器数据,详见使用云服务器备份恢复数据。 可以使用云服务器备份创建镜像,详见使用备份创建镜像。
  • 操作流程指引 针对不同的保护对象,需要购买不同类型的备份存储库,将资源绑定至存储库,即可对资源进行备份,请参见: 快速创建云服务器备份 快速创建云硬盘备份 快速创建SFS Turbo备份 快速创建云桌面备份 文件备份 数据库服务器备份 混合云备份特性指南 成功创建备份后,当资源数据因病毒、误删除导致数据丢失时,可以使用备份恢复资源的数据,请参见: 使用云服务器备份恢复数据 使用云硬盘备份恢复数据 使用混合云备份恢复数据 使用云桌面备份恢复数据 使用文件备份恢复数据
  • 响应示例 状态码为 200 时: 请求成功。 { "user": { "pwd_status": true, "domain_id": "d78cbac186b744899480f25bd02...", "last_project_id": "065a7c66da0010992ff7c0031e5a5...", "name": " IAM User", "description": "--", "password_expires_at": null, "links": { "next": null, "previous": null, "self": "https://iam.myhuaweicloud.com/v3/users/07609fb9358010e21f7bc003751..." }, "id": "7116d09f88fa41908676fdd4b039...", "access_mode": "console", "enabled": true } }
  • 响应参数 表3 响应Body参数 参数 参数类型 描述 user Object IAM用户信息。 表4 user 参数 参数类型 描述 name String IAM用户名。 links Object IAM用户的资源链接信息。 domain_id String IAM用户所属账号ID。 enabled Boolean IAM用户是否启用。true表示启用,false表示停用,默认为true。 id String IAM用户ID。 password_expires_at String IAM用户密码过期时间,“null”表示密码不过期。 说明: UTC时间,格式为YYYY-MM-DDTHH:mm:ss.ssssss,日期和时间戳格式如:2023-06-28T08:56:33.710000。 description String IAM用户描述信息。 access_mode String IAM用户访问方式。 default:默认访问模式,编程访问和管理控制台访问。 programmatic:编程访问。 console:管理控制台访问。 pwd_status Boolean IAM用户密码状态。true:需要修改密码,false:正常。如果密码未设置,此字段可能不返回。 last_project_id String IAM用户退出系统前,在控制台最后访问的项目ID,如果用户无访问记录,此字段可能不返回。 表5 user.links 参数 参数类型 描述 self String 资源链接地址。 previous String 前一邻接资源链接地址,不存在时为null。 next String 后一邻接资源链接地址,不存在时为null。
  • 响应示例 状态码为 200 时: 请求成功。 { "links": { "next": null, "previous": null, "self": "https://iam.myhuaweicloud.com/v3/groups/07609e7eb200250a3f7dc003cb7a4e2d/users" }, "users": [ { "pwd_status": true, "domain_id": "d78cbac186b744899480f25bd...", "last_project_id": "065a7c66da0010992ff7c0031e...", "name": "IAMUserA", "description": "--", "password_expires_at": null, "links": { "next": null, "previous": null, "self": "https://iam.myhuaweicloud.com/v3/users/07609fb9358010e21f7bc00375..." }, "id": "07609fb9358010e21f7bc003751c7...", "enabled": true }, { "pwd_status": true, "domain_id": "d78cbac186b744899480f25bd022...", "last_project_id": "065a7c66da0010992ff7c0031e5a...", "name": "IAMUserB", "description": "", "password_expires_at": null, "links": { "next": null, "previous": null, "self": "https://iam.myhuaweicloud.com/v3/users/076837351e80251c1f0fc003af..." }, "id": "076837351e80251c1f0fc003afe43...", "enabled": true } ] }
  • 响应参数 表3 响应Body参数 参数 参数类型 描述 links Object 用户组资源的链接。 users Array of objects IAM用户信息列表。 表4 links 参数 参数类型 描述 self String 资源链接地址。 previous String 前一邻接资源链接地址,不存在时为null。 next String 后一邻接资源链接地址,不存在时为null。 表5 users 参数 参数类型 描述 name String IAM用户名。 links Object IAM用户的资源链接信息。 domain_id String IAM用户所属账号ID。 enabled Boolean 用户是否启用。true表示启用,false表示停用,默认为true。 id String IAM用户ID。 password_expires_at String 密码过期时间,“null”表示密码不过期。 说明: UTC时间,格式为YYYY-MM-DDTHH:mm:ss.ssssss,日期和时间戳格式如:2023-06-28T08:56:33.710000。 description String IAM用户描述信息。 access_mode String IAM用户访问方式。 default:默认访问模式,编程访问和管理控制台访问。 programmatic:编程访问。 console:管理控制台访问。 pwd_status Boolean IAM用户密码状态。true:需要修改密码,false:正常。如果密码未设置,此字段可能不返回。 last_project_id String IAM用户退出华为云前,在控制台最后访问的项目ID,如果用户无访问记录,此字段可能不返回。 pwd_strength String IAM用户的密码强度。high:密码强度高;mid:密码强度中等;low:密码强度低。如果用户未设置密码,此字段可能不返回。 表6 users.links 参数 参数类型 描述 self String 资源链接地址。 previous String 前一邻接资源链接地址,不存在时为null。 next String 后一邻接资源链接地址,不存在时为null。
  • 响应参数 表3 响应Body参数 参数 参数类型 描述 links Object 资源链接信息。 users Array of objects IAM用户信息列表。 表4 links 参数 参数类型 描述 self String 资源链接地址。 previous String 前一邻接资源链接地址,不存在时为null。 next String 后一邻接资源链接地址,不存在时为null。 表5 users 参数 参数类型 描述 name String IAM用户名。 links Object IAM用户的资源链接信息。 domain_id String IAM用户所属账号ID。 enabled Boolean IAM用户是否启用。true表示启用,false表示停用,默认为true。 id String IAM用户ID。 password_expires_at String IAM用户密码过期时间,“null”表示密码不过期。 说明: UTC时间,格式为YYYY-MM-DDTHH:mm:ss.ssssss,日期和时间戳格式如:2023-06-28T08:56:33.710000。 description String IAM用户描述信息。 access_mode String IAM用户访问方式。 default:默认访问模式,编程访问和管理控制台访问。 programmatic:编程访问。 console:管理控制台访问。 pwd_status Boolean IAM用户密码状态。true:需要修改密码,false:正常。如果密码未设置,此字段可能不返回。 last_project_id String IAM用户退出系统前,在控制台最后访问的项目ID,如果用户无访问记录,此字段可能不返回。 pwd_strength String IAM用户的密码强度。high:密码强度高;mid:密码强度中等;low:密码强度低。如果用户未设置密码,此字段可能不返回。 表6 users.links 参数 参数类型 描述 self String 资源链接地址。 previous String 前一邻接资源链接地址,不存在时为null。 next String 后一邻接资源链接地址,不存在时为null。
  • 响应示例 状态码为 200 时: 请求成功。 { "links": { "next": null, "previous": null, "self": "https://iam.myhuaweicloud.com/v3/users" }, "users": [ { "domain_id": "d78cbac186b744899480f25bd02...", "name": "IAMUserA", "description": "IAMDescriptionA", "password_expires_at": null, "links": { "next": null, "previous": null, "self": "https://iam.myhuaweicloud.com/v3/users/07667db96a00265f1fc0c003a3..." }, "id": "07667db96a00265f1fc0c003a...", "enabled": true }, { "pwd_status": true, "domain_id": "d78cbac186b744899480f25bd02...", "last_project_id": "065a7c66da0010992ff7c0031e5a...", "name": "IAMUserB", "description": "IAMDescriptionB", "password_expires_at": null, "links": { "next": null, "previous": null, "self": "https://iam.myhuaweicloud.com/v3/users/07609fb9358010e21f7bc003751c7..." }, "id": "07609fb9358010e21f7bc003751c7...", "enabled": true } ] }
  • URI GET /v3/users 表1 Query参数 参数 是否必选 参数类型 描述 domain_id 否 String IAM用户所属账号ID,获取方式请参见:获取账号、IAM用户、项目、用户组、区域、委托的名称和ID。 enabled 否 Boolean 是否启用IAM用户,true为启用,false为停用,默认为true。 name 否 String IAM用户名。 password_expires_at 否 String 密码过期时间。该值为null表示未设置密码过期时间。 格式为:password_expires_at={operator}:{timestamp}。 timestamp格式为:YYYY-MM-DDTHH:mm:ssZ。示例: password_expires_at=lt:2016-12-08T22:02:00Z 说明: operator取值范围:lt,lte,gt,gte,eq,neq。 lt:过期时间小于timestamp。 lte:过期时间小于等于timestamp。 gt:过期时间大于timestamp。 gte:过期时间大于等于timestamp。 eq:过期时间等于timestamp。 neq:过期时间不等于timestamp。
  • 前提条件 已创建 DLI 队列。创建队列详见创建DLI队列操作指导。 队列的计费类型必须为:“包年/包月”,“按需计费”(按需计费需勾选“专属资源模式”。) 仅“包年/包月”资源、“专属资源模式”的“按需计费”资源才能创建增强型跨源链接。 已创建对应的外部数据源集群。具体对接的外部数据源根据业务自行选择。 表1 创建各外部数据源参考 服务名 参考文档链接 RDS RDS MySQL快速入门。 DWS 创建DWS集群 DMS Kafka 创建Kafka实例 注意: 创建DMS Kafka实例时,不能开启Kafka SASL_SSL。 CSS 创建CSS集群 MRS 创建MRS集群 绑定跨源的DLI队列网段和其他数据源子网网段不能重合。 系统default队列不支持创建跨源连接。
  • 步骤二:数据迁移 配置 CDM 数据源连接。 配置源端CSS的数据源连接。 登录CDM控制台,选择“集群管理”,选择已创建的CDM集群,在操作列选择“作业管理”。 在作业管理界面,选择“连接管理”,单击“新建连接”,连接器类型选择“ 云搜索服务 ”,单击“下一步”。 图1 创建CSS数据源 配置源端CSS的数据源连接,具体参数配置如下。详细参数配置可以参考CDM上配置CSS连接。 表1 CSS数据源配置 参数 值 名称 自定义CSS数据源名称。例如当前配置为“source_css”。 Elasticsearch服务器列表 单击输入框旁边的“选择”按钮,选择当前CSS集群即可自动关联出来Elasticsearch服务器列表。 安全模式认证 如果所需连接的CSS集群在创建时开启了“安全模式”,该参数需设置为“是”,否则设置为“否”。 本示例选择为“否”。 图2 CDM配置CSS数据源 单击“保存”完成CSS数据源配置。 配置目的端DLI的数据源连接。 登录CDM控制台,选择“集群管理”,选择已创建的CDM集群,在操作列选择“作业管理”。 在作业管理界面,选择“连接管理”,单击“新建连接”,连接器类型选择“ 数据湖探索 (DLI)”,单击“下一步”。 图3 创建DLI数据源连接 配置目的端DLI数据源连接连接参数。具体参数配置可以参考在CDM上配置DLI连接。 图4 配置DLI数据源连接参数 配置完成后,单击“保存”完成DLI数据源配置。 创建CDM迁移作业。 登录CDM控制台,选择“集群管理”,选择已创建的CDM集群,在操作列选择“作业管理”。 在“作业管理”界面,选择“表/文件迁移”,单击“新建作业”。 在新建作业界面,配置当前作业配置信息,具体参数参考如下: 图5 新建CDM作业作业配置 作业名称:自定义数据迁移的作业名称。例如,当前定义为:css_to_dli。 源端作业配置,具体参考如下: 表2 源端作业配置 参数名 参数值 源连接名称 选择1.a中已创建的数据源名称。 索引 选择CSS集群中创建的Elasticsearch索引名。当前示例为CSS集群上创建索引并导入数据中创建的索引“my_test”。 索引名称只能全部小写,不能有大写。 类型 Elasticsearch的类型,类似关系数据库中的表名称。类型名称只能全部小写,不能有大写。当前示例为:“_doc”。 更多其他参数说明可以参考:CDM配置CSS源端参数。 目的端作业配置,具体参考如下: 表3 目的端作业配置 参数名 参数值 目的连接名称 选择1.b已创建的DLI数据源连接。 资源队列 选择已创建的DLI SQL类型的队列。 数据库名称 选择DLI下已创建的数据库。当前示例为在DLI上创建数据库和表中创建的数据库名,即为“testdb”。 表名 选择DLI下已创建的表名。当前示例为在DLI上创建数据库和表中创建的表名,即为“tablecss”。 导入前清空数据 选择导入前是否清空目的表的数据。当前示例选择为“否”。 如果设置为是,任务启动前会清除目标表中数据。 详细的参数配置可以参考:CDM配置DLI目的端参数。 单击“下一步”,进入到字段映射界面,CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配,可通过拖拽字段调整。 如果选择在目的端自动创建类型,这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容,详细请参见字段转换。 图6 字段映射 单击“下一步”配置任务参数,一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能: 作业失败重试:如果作业执行失败,可选择是否自动重试,这里保持默认值“不重试”。 作业分组:选择作业所属的分组,默认分组为“DEFAULT”。在CDM“作业管理”界面,支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行:如果需要配置作业定时自动执行,请参见配置定时任务。这里保持默认值“否”。 抽取并发数:设置同时执行的抽取任务数。这里保持默认值“1”。 是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。这里保持默认值“否”即可,不记录脏数据。 单击“保存并运行”,回到作业管理界面,在作业管理界面可查看作业执行进度和结果。 图7 迁移作业进度和结果查询
  • 前提条件 已创建DLI的SQL队列。创建DLI队列的操作可以参考创建DLI队列。 创建DLI队列时队列类型需要选择为“SQL队列”。 已创建Elasticsearch类型的CSS集群。具体创建CSS集群的操作可以参考创建CSS集群。 本示例创建的CSS集群版本为:7.6.2,集群为非安全集群。 已创建CDM迁移集群。创建CDM集群的操作可以参考创建CDM集群。 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 数据源为云上的CSS服务时,网络互通需满足如下条件: i. CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 ii. CDM集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则。 配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 iii. 此外,您还必须确保该云服务的实例与CDM集群所属的企业项目必须相同,如果不同,需要修改工作空间的企业项目。 本示例CDM集群的虚拟私有云、子网以及安全组和创建的CSS集群保持一致。
  • 通过OBS管理上传数据 本文档中,采用管理控制台上传数据至OBS。OBS创建桶以及上传文件的更多操作方式及指导,请参见创建桶和上传对象。 执行如下操作,将数据导入到您的数据集中,以便用于模型训练和构建。 登录OBS管理控制台,在RES同一区域内创建桶。如果已存在可用的桶,需确保OBS桶与RES在同一区域。 参考上传文件,将本地数据上传至OBS桶中。如果您的数据较多,推荐OBS Browser+上传数据或上传文件夹。
  • 操作步骤 登录OBS管理控制台,创建OBS桶。具体请参见《 对象存储服务 控制台指南》中的创建桶章节。例如,创建名称为“obs-res”的OBS桶。 创建桶的区域需要与RES所在的区域一致。例如:当前RES在华北-北京一区域,在对象存储服务创建桶时,请选择华北-北京一。 推荐的OBS文件夹结构请参见推荐系统OBS文件夹规范。推荐您按照规范结构创建文件夹并上传至OBS桶中。OBS上传文件操作详请参见《对象存储服务控制台指南》中的上传文件章节。 您也通过OBS创建用于存放数据的文件夹,具体请参见《对象存储服务控制台指南》中的新建文件夹章节。
  • Flink作业支持的数据源和输出通道 创建Flink作业需要输入数据源和数据输出通道,即常说的Source和Sink。用户使用其他服务作为数据源或输出通道时,需要先开通相应服务。 Flink作业支持以下数据源和输出通道: DIS数据源和输出通道 如果用户作业需要DIS作为数据源和输出通道时,则要先开通 数据接入服务 (DIS)。 用户如何开通DIS服务,具体操作请参见《数据接入服务用户指南》中的“开通DIS通道”章节。 申请DIS通道后,用户可以将本地数据通过DIS通道不断上传至DIS服务,实现向Flink作业提供实时流数据源,具体操作请参见《数据接入服务用户指南》中的“发送数据到DIS服务”章节。 样例数据如下所示: 1,lilei,bmw320i,28 2,hanmeimei,audia4,27 OBS数据源 如果用户作业需要对象存储服务(OBS)作为数据源,则要先开通OBS服务,具体操作请参见《对象存储服务控制台指南》中的“开通OBS服务”章节。 开通OBS服务后,用户需要将本地文件通过Internet上传至OBS指定的位置,具体操作请参见《对象存储服务控制台指南》中的“上传文件”章节。 RDS输出通道 如果用户作业需要RDS作为输出通道,需要创建RDS实例,具体操作请参见《关系型数据库快速入门》中“购买实例”章节。 SMN 输出通道 如果用户作业需要SMN作为输出通道,需要先在SMN中创建主题,获取URN资源标识,再添加订阅。具体操作请参见《 消息通知 服务快速入门》。 Kafka数据源和输出通道 如果用户作业需要Kafka作为数据源和输出通道,则必须要通过创建增强型跨源连接与Kafka进行对接,具体操作请参见增强型跨源连接。 如果Kafka服务端的端口监听在hostname上,则需要将Kafka Broker节点的hostname和ip的对应关系添加到跨源连接中。 CloudTable数据源和输出通道 如果用户作业需要CloudTable作为数据源和输出通道,需要先在CloudTable中创建集群,获取集群ID。具体操作请参见《 表格存储服务 用户指南》《 表格存储 服务用户指南》中的“入门”章节。 云搜索 服务输出通道 如果用户作业需要云搜索服务作为输出通道,需要先在云搜索服务中创建集群,获取集群内网访问地址。具体操作请参见《云搜索服务用户指南》中的“入门”章节。 DCS输出通道 如果用户作业需要DCS作为输出通道,需要先在DCS中创建Redis类型的缓存实例,获取Redis实例连接地址。具体操作请参见购买Redis实例。 父主题: 使用DLI提交Flink作业
  • 前提条件 创建Flink SQL作业时,需要事先准备数据源以及数据输出通道,具体内容请参见Flink作业支持的数据源和输出通道。 创建Flink SQL作业,访问其他外部数据源时,如访问OpenTSDB、HBase、Kafka、DWS、RDS、CSS、CloudTable、DCS Redis、DDS等,需要先创建跨源连接,打通作业运行队列到外部数据源之间的网络。 当前Flink作业支持访问的外部数据源详情请参考DLI常用跨源分析开发方式。 创建跨源连接操作请参见配置DLI与数据源网络连通(增强型跨源连接)。创建完跨源连接后,可以通过“队列管理”页面,单击“操作”列“更多”中的“测试地址连通性”,验证队列到外部数据源之间的网络连通是否正常。详细操作可以参考测试地址连通性。
  • 配置Sharepoint 2016 在运行的Sharepoint产品配置向导中,单击“Next”。 图1 Sharepoint产品配置向导 单击“Yes”,允许在配置过程中重启服务。 图2 重启服务提醒 因为没有已经存在的服务器场,所以选择“Create a new server farm”,创建一个新的服务器场。 图3 创建Sharepoint服务器场 配置指定数据库设置,由于Sharepoint的数据库在本机,所以填写本机的数据库及账户,单击“Next”。 图4 指定Sharepoint数据库设置 填写服务器场的密码,单击“Next”。 图5 设置Sharepoint服务器场密码 设置服务器角色,选择“Front-end”,单击“Next”。 图6 设置Sharepoint服务器角色 设置Sharepoint管理中心的端口号为“10000”. 图7 Sharepoint管理中心端口号 查看并确认Sharepoint配置。 图8 Sharepoint配置 单击“Next”,开始配置Sharepoint,共10步。 图9 配置Sharepoint进度 Sharepoint配置成功,单击“Finish”。 图10 Sharepoint配置成功 父主题: 搭建Microsoft SharePoint Server 2016
共100000条