华为云用户手册

  • 准备工作 注册华为云 如果您已有一个华为云账户,请跳到下一个任务。如果您还没有华为云账户,请参考以下步骤创建。 打开华为云,单击“注册”。 根据提示信息完成注册,详细操作请参见如何注册华为云管理控制台的用户?。 注册成功后,系统会自动跳转至您的个人信息界面。 参考实名认证完成个人或企业账号实名认证。 为账户充值 您需要确保账户有足够金额。 关于云备份价格,请参见价格说明。 关于充值,请参见如何给华为云账户充值。
  • 步骤一:购买云硬盘备份存储库 在备份之前,您需要购买云硬盘的备份容器,即云硬盘备份存储库。 在界面右上角单击“购买云硬盘备份存储库”。 根据表2 参数说明,完成云硬盘必要参数设置,其他参数均可保持默认配置。 表2 参数说明 参数 示例 说明 计费模式 包年/包月 包年包月是预付费模式,按订单的购买周期计费,适用于可预估资源使用周期的场景,价格比按需计费模式更优惠。 按需计费是后付费模式,根据实际使用量进行计费,可以随时购买或删除存储库。费用直接从账户余额中扣除。 区域 华北-北京四 不同区域的资源之间内网不互通。请选择靠近您的区域,可以降低网络时延、提高访问速度。 备份资源 暂不配置 立即配置:需要立即选择待绑定的磁盘。 暂不配置:当没有磁盘可选的时候,可以购买存储库后再进行绑定。 备份容量 100G 输入存储库的容量。取值范围为[10,10485760]GB。 您需要提前规划存储库容量,存储库的容量不能小于备份服务器的大小,开启自动绑定功能和绑定备份策略后所需的容量更大。在使用过程中资源新增磁盘或磁盘进行扩容,未开启自动扩容的情况下存储库不会进行自动扩容。 如果实际使用时存储库容量不足,可以通过扩容存储库扩大容量。 备份策略 暂不配置自动备份 立即配置:会将存储库绑定到备份策略中,整个存储库绑定的服务器都将按照备份策略进行自动备份。可以选择已存在的备份策略,也可以创建新的备份策略。 暂不配置:存储库将不会进行自动备份。当后续需要定期自动备份存储库时,可以创建策略并绑定策略至存储库,详见管理策略章节。 企业项目 default 为存储库添加已有的企业项目。 企业项目是一种云资源管理方式,企业项目管理提供统一的云资源按项目管理,以及项目内的资源管理、成员管理,默认项目为default。 说明: 如果已为 IAM 用户配置CBR FullAccess策略,则在创建存储库时将无法显示和选择企业项目,需要前往企业项目为目标用户组添加CBR FullAccess策略即可。 存储库名称 vault-f61e 输入待创建的存储库的名称。 只能由中文字符、英文字母、数字、下划线、中划线组成,且长度小于等于64个字符。可以采用默认的名称,默认的命名规则为“vault_xxxx”。 购买时长 1个月 勾选“自动续费” 当计费模式为“包年/包月”时,需要选择购买时长。可选取的时间范围为1个月~5年。 勾选自动续费时: 按月购买:自动续费周期为1个月。 按年购买:自动续费周期为1年。 单击“立即购买”,请确认配置信息。 单击“去支付”,确认订单详情,完成支付。 返回云硬盘备份页面。可以在存储库列表看到成功创建的存储库。
  • 步骤二:绑定服务器资源 完成存储库的购买后,您需要绑定存储库的资源。 如果您已在购买存储库时绑定服务器,可以跳过此步骤。 前提条件 所选的服务器未绑定存储库,且状态必须为“运行中”或“关机”。 暂不支持新绑定华北-北京一AZ2的资源,且不能创建备份。已绑定的资源可以继续备份。 操作步骤 在云服务器备份页面,找到目标存储库,单击“绑定服务器”。 在资源列表中勾选需要备份的资源,勾选后将在已选列表区域展示。 图1 绑定服务器 当绑定的服务器进行新增磁盘后,系统会自动识别新增磁盘,备份时也会将新增磁盘一同备份。 考虑到恢复后数据的一致性问题,建议您对整个服务器进行备份。 如果您希望选择部分磁盘备份以节省成本,请尽量确保这些磁盘的数据不受其他未备份磁盘的数据影响,否则可能会导致数据不一致问题。 例如,Oracle应用的数据分散在不同磁盘上,如果只备份了部分磁盘,会导致恢复后数据不一致(已备份磁盘恢复到历史时间点数据,未备份磁盘仍保留当前数据),甚至导致应用无法启动。 单击“确定”。在“绑定的服务器”一列可以看到绑定的服务器,查看到资源已成功绑定。 如果需要开启自动绑定功能,可参见绑定存储库的资源章节。
  • 相关信息 可以为新的存储库进行创建复制、扩容等操作,请参考存储库管理章节。 若后续需要定期自动备份存储库时,可以创建策略并绑定策略至存储库,详见管理策略章节。 如果您需要备份含有数据库的服务器,需要将目标存储库的规格由服务器备份变更为数据库备份。详见更改云服务器备份存储库规格和数据库服务器备份。 执行备份成功后,后续可以使用云服务器备份恢复服务器数据,详见使用云服务器备份恢复数据。 可以使用云服务器备份创建镜像,详见使用备份创建镜像。
  • 准备工作 注册华为云 如果您已有一个华为云账户,请跳到下一个任务。如果您还没有华为云账户,请参考以下步骤创建。 打开华为云,单击“注册”。 根据提示信息完成注册,详细操作请参见如何注册华为云管理控制台的用户?。 注册成功后,系统会自动跳转至您的个人信息界面。 参考实名认证完成个人或企业账号实名认证。 为账户充值 您需要确保账户有足够金额。 关于云备份价格,请参见价格说明。 关于充值,请参见如何给华为云账户充值。
  • 步骤三:创建云硬盘备份 绑定资源后,您可以对数据进行手动或自动备份。 备份云服务器时,不会对云硬盘造成任何性能影响。 备份的业务高峰期在22点到早上8点,建议客户评估业务类型,分散时间备份,如果在业务高峰时段备份,可能会有一定的延迟。 前提条件 磁盘处于“可用”或“正在使用”状态才可进行备份,如果对磁盘进行了扩容、挂载、卸载或删除等操作,请刷新界面,确保操作完成,再决定是否要进行备份。 操作步骤 在云硬盘备份界面,选择“存储库”页签,找到磁盘所对应的存储库。 单击“操作”列下的“执行备份”。选择绑定存储库上需要备份的磁盘,勾选后将在已选磁盘列表区域展示,如图2所示。 图2 选择需要备份的磁盘 选择需要备份的云硬盘后,会识别所选云硬盘是否加密。加密云硬盘的备份数据会以加密方式存放。 需要输入备份的“名称”和“描述”,如表3所示。 表3 参数说明 参数 说明 备注 名称 输入待创建的备份的名称。 创建成功后,支持修改备份名称。 只能由中文字符、英文字母、数字、下划线、中划线组成,且长度小于等于64个字符。 说明: 也可以采用默认的名称,默认的命名规则为“manualbk_xxxx”。 备份多个磁盘时,系统自动增加后缀,例如:备份-0001,备份-0002。 manualbk_d819 描述 输入待创建的备份的描述。 描述长度小于等于255个字符。 -- 选择是否“执行全量备份”。勾选后,系统会为绑定的磁盘执行全量备份,备份所占存储容量也会相应增加。如图3所示。 图3 执行全量备份 单击“确定”。系统会自动为磁盘创建备份。 在“备份副本”页签,产生的备份的“备份状态”为“可用”时,表示备份任务执行成功。 如果在备份过程中对磁盘的数据进行删除等操作,被删除的文件可能不会被备份成功。为了保证数据完整性,建议备份完成后再对数据进行操作再重新执行备份。
  • 准备工作 注册华为云 如果您已有一个华为云账户,请跳到下一个任务。如果您还没有华为云账户,请参考以下步骤创建。 打开华为云,单击“注册”。 根据提示信息完成注册,详细操作请参见如何注册华为云管理控制台的用户?。 注册成功后,系统会自动跳转至您的个人信息界面。 参考实名认证完成个人或企业账号实名认证。 为账户充值 您需要确保账户有足够金额。 关于云备份价格,请参见价格说明。 关于充值,请参见如何给华为云账户充值。
  • 步骤一:购买云硬盘备份存储库 在备份之前,您需要购买云硬盘的备份容器,即云硬盘备份存储库。 在界面右上角单击“购买云硬盘备份存储库”。 根据表2 参数说明,完成云硬盘必要参数设置,其他参数均可保持默认配置。 表2 参数说明 参数 示例 说明 计费模式 包年/包月 包年包月是预付费模式,按订单的购买周期计费,适用于可预估资源使用周期的场景,价格比按需计费模式更优惠。 按需计费是后付费模式,根据实际使用量进行计费,可以随时购买或删除存储库。费用直接从账户余额中扣除。 区域 华北-北京四 不同区域的资源之间内网不互通。请选择靠近您的区域,可以降低网络时延、提高访问速度。 备份资源 暂不配置 立即配置:需要立即选择待绑定的磁盘。 暂不配置:当没有磁盘可选的时候,可以购买存储库后再进行绑定。 备份容量 100G 输入存储库的容量。取值范围为[10,10485760]GB。 您需要提前规划存储库容量,存储库的容量不能小于备份服务器的大小,开启自动绑定功能和绑定备份策略后所需的容量更大。在使用过程中资源新增磁盘或磁盘进行扩容,未开启自动扩容的情况下存储库不会进行自动扩容。 如果实际使用时存储库容量不足,可以通过扩容存储库扩大容量。 备份策略 暂不配置自动备份 立即配置:会将存储库绑定到备份策略中,整个存储库绑定的服务器都将按照备份策略进行自动备份。可以选择已存在的备份策略,也可以创建新的备份策略。 暂不配置:存储库将不会进行自动备份。当后续需要定期自动备份存储库时,可以创建策略并绑定策略至存储库,详见管理策略章节。 企业项目 default 为存储库添加已有的企业项目。 企业项目是一种云资源管理方式,企业项目管理提供统一的云资源按项目管理,以及项目内的资源管理、成员管理,默认项目为default。 说明: 如果已为IAM用户配置CBR FullAccess策略,则在创建存储库时将无法显示和选择企业项目,需要前往企业项目为目标用户组添加CBR FullAccess策略即可。 存储库名称 vault-f61e 输入待创建的存储库的名称。 只能由中文字符、英文字母、数字、下划线、中划线组成,且长度小于等于64个字符。可以采用默认的名称,默认的命名规则为“vault_xxxx”。 购买时长 1个月 勾选“自动续费” 当计费模式为“包年/包月”时,需要选择购买时长。可选取的时间范围为1个月~5年。 勾选自动续费时: 按月购买:自动续费周期为1个月。 按年购买:自动续费周期为1年。 单击“立即购买”,请确认配置信息。 单击“去支付”,确认订单详情,完成支付。 返回云硬盘备份页面。可以在存储库列表看到成功创建的存储库。
  • 步骤二:绑定云硬盘资源 完成存储库的购买后,您需要绑定存储库的资源。 如果您已在购买存储库时绑定磁盘,可以跳过此步骤。 前提条件 所选的磁盘未绑定存储库且状态必须为“可用”或“正在使用”。 操作步骤 在云硬盘备份页面,找到目标存储库,单击“绑定磁盘”。 在资源列表中勾选需要备份的资源,勾选后将在已选列表区域展示。 图1 绑定磁盘 单击“确定”。在“绑定的磁盘”一列可以看到绑定的服务器,查看到资源已成功绑定。 如果需要开启自动绑定功能,可参见绑定存储库的资源章节。
  • 步骤二:绑定服务器资源 完成存储库的购买后,您需要绑定存储库的资源。 如果您已在购买存储库时绑定服务器,可以跳过此步骤。 前提条件 所选的服务器未绑定存储库,且状态必须为“运行中”或“关机”。 暂不支持新绑定华北-北京一AZ2的资源,且不能创建备份。已绑定的资源可以继续备份。 操作步骤 在云服务器备份页面,找到目标存储库,单击“绑定服务器”。 在资源列表中勾选需要备份的资源,勾选后将在已选列表区域展示。 图1 绑定服务器 当绑定的服务器进行新增磁盘后,系统会自动识别新增磁盘,备份时也会将新增磁盘一同备份。 考虑到恢复后数据的一致性问题,建议您对整个服务器进行备份。 如果您希望选择部分磁盘备份以节省成本,请尽量确保这些磁盘的数据不受其他未备份磁盘的数据影响,否则可能会导致数据不一致问题。 例如,Oracle应用的数据分散在不同磁盘上,如果只备份了部分磁盘,会导致恢复后数据不一致(已备份磁盘恢复到历史时间点数据,未备份磁盘仍保留当前数据),甚至导致应用无法启动。 单击“确定”。在“绑定的服务器”一列可以看到绑定的服务器,查看到资源已成功绑定。 如果需要开启自动绑定功能,可参见绑定存储库的资源章节。
  • 相关信息 可以为新的存储库进行创建复制、扩容等操作,请参考存储库管理章节。 若后续需要定期自动备份存储库时,可以创建策略并绑定策略至存储库,详见管理策略章节。 如果您需要备份含有数据库的服务器,需要将目标存储库的规格由服务器备份变更为数据库备份。详见更改云服务器备份存储库规格和数据库服务器备份。 执行备份成功后,后续可以使用云服务器备份恢复服务器数据,详见使用云服务器备份恢复数据。 可以使用云服务器备份创建镜像,详见使用备份创建镜像。
  • 准备工作 注册华为云 如果您已有一个华为云账户,请跳到下一个任务。如果您还没有华为云账户,请参考以下步骤创建。 打开华为云,单击“注册”。 根据提示信息完成注册,详细操作请参见如何注册华为云管理控制台的用户?。 注册成功后,系统会自动跳转至您的个人信息界面。 参考实名认证完成个人或企业账号实名认证。 为账户充值 您需要确保账户有足够金额。 关于云备份价格,请参见价格说明。 关于充值,请参见如何给华为云账户充值。
  • 操作流程指引 针对不同的保护对象,需要购买不同类型的备份存储库,将资源绑定至存储库,即可对资源进行备份,请参见: 快速创建云服务器备份 快速创建云硬盘备份 快速创建SFS Turbo备份 快速创建 云桌面 备份 文件备份 数据库服务器备份 混合云备份特性指南 成功创建备份后,当资源数据因病毒、误删除导致数据丢失时,可以使用备份恢复资源的数据,请参见: 使用云服务器备份恢复数据 使用云硬盘备份恢复数据 使用混合云备份恢复数据 使用云桌面备份恢复数据 使用文件备份恢复数据
  • 响应示例 状态码为 200 时: 请求成功。 { "user": { "pwd_status": true, "domain_id": "d78cbac186b744899480f25bd02...", "last_project_id": "065a7c66da0010992ff7c0031e5a5...", "name": "IAMUser", "description": "--", "password_expires_at": null, "links": { "next": null, "previous": null, "self": "https://iam.myhuaweicloud.com/v3/users/07609fb9358010e21f7bc003751..." }, "id": "7116d09f88fa41908676fdd4b039...", "access_mode": "console", "enabled": true } }
  • 响应参数 表3 响应Body参数 参数 参数类型 描述 user Object IAM用户信息。 表4 user 参数 参数类型 描述 name String IAM用户名。 links Object IAM用户的资源链接信息。 domain_id String IAM用户所属账号ID。 enabled Boolean IAM用户是否启用。true表示启用,false表示停用,默认为true。 id String IAM用户ID。 password_expires_at String IAM用户密码过期时间,“null”表示密码不过期。 说明: UTC时间,格式为YYYY-MM-DDTHH:mm:ss.ssssss,日期和时间戳格式如:2023-06-28T08:56:33.710000。 description String IAM用户描述信息。 access_mode String IAM用户访问方式。 default:默认访问模式,编程访问和管理控制台访问。 programmatic:编程访问。 console:管理控制台访问。 pwd_status Boolean IAM用户密码状态。true:需要修改密码,false:正常。如果密码未设置,此字段可能不返回。 last_project_id String IAM用户退出系统前,在控制台最后访问的项目ID,如果用户无访问记录,此字段可能不返回。 表5 user.links 参数 参数类型 描述 self String 资源链接地址。 previous String 前一邻接资源链接地址,不存在时为null。 next String 后一邻接资源链接地址,不存在时为null。
  • 响应示例 状态码为 200 时: 请求成功。 { "links": { "next": null, "previous": null, "self": "https://iam.myhuaweicloud.com/v3/groups/07609e7eb200250a3f7dc003cb7a4e2d/users" }, "users": [ { "pwd_status": true, "domain_id": "d78cbac186b744899480f25bd...", "last_project_id": "065a7c66da0010992ff7c0031e...", "name": "IAMUserA", "description": "--", "password_expires_at": null, "links": { "next": null, "previous": null, "self": "https://iam.myhuaweicloud.com/v3/users/07609fb9358010e21f7bc00375..." }, "id": "07609fb9358010e21f7bc003751c7...", "enabled": true }, { "pwd_status": true, "domain_id": "d78cbac186b744899480f25bd022...", "last_project_id": "065a7c66da0010992ff7c0031e5a...", "name": "IAMUserB", "description": "", "password_expires_at": null, "links": { "next": null, "previous": null, "self": "https://iam.myhuaweicloud.com/v3/users/076837351e80251c1f0fc003af..." }, "id": "076837351e80251c1f0fc003afe43...", "enabled": true } ] }
  • 响应参数 表3 响应Body参数 参数 参数类型 描述 links Object 用户组资源的链接。 users Array of objects IAM用户信息列表。 表4 links 参数 参数类型 描述 self String 资源链接地址。 previous String 前一邻接资源链接地址,不存在时为null。 next String 后一邻接资源链接地址,不存在时为null。 表5 users 参数 参数类型 描述 name String IAM用户名。 links Object IAM用户的资源链接信息。 domain_id String IAM用户所属账号ID。 enabled Boolean 用户是否启用。true表示启用,false表示停用,默认为true。 id String IAM用户ID。 password_expires_at String 密码过期时间,“null”表示密码不过期。 说明: UTC时间,格式为YYYY-MM-DDTHH:mm:ss.ssssss,日期和时间戳格式如:2023-06-28T08:56:33.710000。 description String IAM用户描述信息。 access_mode String IAM用户访问方式。 default:默认访问模式,编程访问和管理控制台访问。 programmatic:编程访问。 console:管理控制台访问。 pwd_status Boolean IAM用户密码状态。true:需要修改密码,false:正常。如果密码未设置,此字段可能不返回。 last_project_id String IAM用户退出华为云前,在控制台最后访问的项目ID,如果用户无访问记录,此字段可能不返回。 pwd_strength String IAM用户的密码强度。high:密码强度高;mid:密码强度中等;low:密码强度低。如果用户未设置密码,此字段可能不返回。 表6 users.links 参数 参数类型 描述 self String 资源链接地址。 previous String 前一邻接资源链接地址,不存在时为null。 next String 后一邻接资源链接地址,不存在时为null。
  • 响应参数 表3 响应Body参数 参数 参数类型 描述 links Object 资源链接信息。 users Array of objects IAM用户信息列表。 表4 links 参数 参数类型 描述 self String 资源链接地址。 previous String 前一邻接资源链接地址,不存在时为null。 next String 后一邻接资源链接地址,不存在时为null。 表5 users 参数 参数类型 描述 name String IAM用户名。 links Object IAM用户的资源链接信息。 domain_id String IAM用户所属账号ID。 enabled Boolean IAM用户是否启用。true表示启用,false表示停用,默认为true。 id String IAM用户ID。 password_expires_at String IAM用户密码过期时间,“null”表示密码不过期。 说明: UTC时间,格式为YYYY-MM-DDTHH:mm:ss.ssssss,日期和时间戳格式如:2023-06-28T08:56:33.710000。 description String IAM用户描述信息。 access_mode String IAM用户访问方式。 default:默认访问模式,编程访问和管理控制台访问。 programmatic:编程访问。 console:管理控制台访问。 pwd_status Boolean IAM用户密码状态。true:需要修改密码,false:正常。如果密码未设置,此字段可能不返回。 last_project_id String IAM用户退出系统前,在控制台最后访问的项目ID,如果用户无访问记录,此字段可能不返回。 pwd_strength String IAM用户的密码强度。high:密码强度高;mid:密码强度中等;low:密码强度低。如果用户未设置密码,此字段可能不返回。 表6 users.links 参数 参数类型 描述 self String 资源链接地址。 previous String 前一邻接资源链接地址,不存在时为null。 next String 后一邻接资源链接地址,不存在时为null。
  • 响应示例 状态码为 200 时: 请求成功。 { "links": { "next": null, "previous": null, "self": "https://iam.myhuaweicloud.com/v3/users" }, "users": [ { "domain_id": "d78cbac186b744899480f25bd02...", "name": "IAMUserA", "description": "IAMDescriptionA", "password_expires_at": null, "links": { "next": null, "previous": null, "self": "https://iam.myhuaweicloud.com/v3/users/07667db96a00265f1fc0c003a3..." }, "id": "07667db96a00265f1fc0c003a...", "enabled": true }, { "pwd_status": true, "domain_id": "d78cbac186b744899480f25bd02...", "last_project_id": "065a7c66da0010992ff7c0031e5a...", "name": "IAMUserB", "description": "IAMDescriptionB", "password_expires_at": null, "links": { "next": null, "previous": null, "self": "https://iam.myhuaweicloud.com/v3/users/07609fb9358010e21f7bc003751c7..." }, "id": "07609fb9358010e21f7bc003751c7...", "enabled": true } ] }
  • URI GET /v3/users 表1 Query参数 参数 是否必选 参数类型 描述 domain_id 否 String IAM用户所属账号ID,获取方式请参见:获取账号、IAM用户、项目、用户组、区域、委托的名称和ID。 enabled 否 Boolean 是否启用IAM用户,true为启用,false为停用,默认为true。 name 否 String IAM用户名。 password_expires_at 否 String 密码过期时间。该值为null表示未设置密码过期时间。 格式为:password_expires_at={operator}:{timestamp}。 timestamp格式为:YYYY-MM-DDTHH:mm:ssZ。示例: password_expires_at=lt:2016-12-08T22:02:00Z 说明: operator取值范围:lt,lte,gt,gte,eq,neq。 lt:过期时间小于timestamp。 lte:过期时间小于等于timestamp。 gt:过期时间大于timestamp。 gte:过期时间大于等于timestamp。 eq:过期时间等于timestamp。 neq:过期时间不等于timestamp。
  • 步骤3:创建OBS桶保存输出数据 在本样例中,需要为作业“JobSample”开通 对象存储服务 (OBS),为 DLI Flink作业提供Checkpoint、保存作业日志和调试测试数据的存储功能。 具体操作请参见《对象存储服务控制台指南》中的“创建桶”章节。 在OBS管理控制台左侧导航栏选择“对象存储”。 在页面右上角单击“创建桶”,配置桶参数。 区域:选择与DLI服务相同的区域 桶名称:具体根据实际情况选择桶名,例如当前选择:obstest 默认存储类别:标准存储 桶策略:私有 默认加密:关闭 归档数据直读:关闭 企业项目:default 单击“立即创建”。
  • 后续指引 完成Flink OpenSource SQL作业快速入门操作后,如果您想了解更多关于Flink OpenSource SQL作业相关操作,建议您参考以下指引阅读。 分类 文档 说明 界面操作 Flink作业管理 提供Flink作业管理界面功能介绍。 Flink模板管理 提供Flink作业样例模板和自定义模板功能介绍。您可以根据习惯和业务需要自定义作业模板,方便后续创建提交作业。 开发指南 Flink SQL语法参考 提供Flink OpenSource SQL创建源表、结果表和维表的语法说明和样例指导。 Flink作业样例 提供Flink作业程序开发的样例指导。 使用Flink Jar写入数据到OBS 提供Flink如果将数据处理后写入到OBS的样例代码。 Flink作业相关API 提供Flink相关API的使用说明。
  • 步骤7:使用DEW管理访问凭据,并配置允许DLI访问DEW的委托 跨源分析场景中,需要在connector中设置账号、密码等属性。但是账号密码等信息属于高度敏感数据,需要做加密处理,以保障用户的数据隐私安全。Flink1.15版本支持使用DEW管理凭据,在执行作业前需创建自定义委托并在作业中配置委托信息。 数据加密 服务(Data Encryption Workshop,DEW)、云凭据管理服务(Cloud Secret Management Service, CS MS),提供一种安全、可靠、简单易用隐私数据加解密方案。本例介绍Flink Opensource SQL使用DEW管理RDS访问凭据的配置方法。 创建DLI访问DEW的委托并完成委托授权。 在DEW创建通用凭证。 登录DEW管理控制台 选择“凭据管理”,进入“凭据管理”页面。 单击“创建凭据”,配置凭据基本信息 凭据名称:待创建凭据的名称。本例名称为secretInfo。 凭据值:配置RDS实例的用户名和密码。 第一行凭据值的键为MySQLUsername,值为RDS实例的用户名。 第二行凭据值的键为MySQLPassword,值为RDS实例的密码。 图3 设置凭据值 按需完成其他参数的配置后,单击“确定”保存凭据。 了解更多请参考创建通用凭据。
  • 步骤2:准备数据输出通道 采用RDS作为数据输出通道,创建RDS MySQ L实例 ,具体操作请参见《 云数据库MySQL 快速入门》中的“MySQL快速入门”章节。 登录RDS管理控制台。 在管理控制台左上角选择区域。 单击“购买数据库实例”配置相关参数。主要参数的填下说明如下,其他参数保持默认值即可。 计费模式:按需付费 区域:选择与DLI服务相同的区域 实例名称:rds-dliflink 数据库引擎:MySQL 数据库版本:8.0 实例类型:主备 存储类型:SSD云盘 主可用区:自定义 备可用区:自定义 时区:默认 性能规格:2 vCPUs | 8 GB 存储空间:40GB 虚拟私有云、子网:选择1中创建的虚拟私有云和子网。 数据库端口:3306 安全组:选择1中创建的安全组。 管理员密码:****(请妥善管理密码,系统无法获取您设置的密码内容) 确认密码:**** 参数模板:Default-MySQL-8.0 只读实例:暂不购买 单击“立即购买”,确认规格信息。 单击“提交”,完成RDS实例的创建。 登录MySQL,并使用下述命令在flink库下创建orders表。 登录MySQL,单击“SQL窗口”,在SQL查询页面输入以下创建表语句,创建RDS MySQL表。 CREATE TABLE `flink`.`orders` ( `order_id` VARCHAR(32) NOT NULL, `order_channel` VARCHAR(32) NULL, `order_time` VARCHAR(32) NULL, `pay_amount` DOUBLE UNSIGNED NOT NULL, `real_pay` DOUBLE UNSIGNED NULL, `pay_time` VARCHAR(32) NULL, `user_id` VARCHAR(32) NULL, `user_name` VARCHAR(32) NULL, `area_id` VARCHAR(32) NULL, PRIMARY KEY (`order_id`) ) ENGINE = InnoDB DEFAULT CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci;
  • 操作流程 样例场景需要创建一个Flink OpenSource SQL作业,且该作业包含一个输入流和一个输出流。输入流用于从Kafka读取数据,输出流用于将数据写入到RDS中。操作流程如操作流程所示。 开始进行如下操作前,请务必参考准备工作完成必要操作。 表1 使用DLI提交SQL作业查询RDS MySQL数据的操作流程 操作步骤 说明 步骤1:准备数据源通道 本样例场景需要创建Kafka实例作为数据源通道。 步骤2:准备数据输出通道 本样例场景需要创建RDS实例作为数据输出通道。 步骤3:创建OBS桶保存输出数据 创建OBS桶,为DLI Flink作业提供Checkpoint、保存作业日志和调试测试数据的存储功能。 步骤4:创建弹性资源池并添加队列 创建提交Flink作业所需的计算资源。 步骤5:创建DLI连接Kafka的增强型跨源连接 通过增强型跨源连接建立DLI弹性资源池与Kafka实例的网络连通。 步骤6:创建DLI连接RDS的增强型跨源连接 通过增强型跨源连接建立DLI弹性资源池与RDS实例的网络连通。 步骤7:使用DEW管理访问凭据,并配置允许DLI访问DEW的委托 跨源分析场景中,使用DEW管理数据源的访问凭证,并创建允许DLI访问DEW的委托。 步骤8:创建Flink OpenSource SQL作业 准备好数据源和数据输出通道后创建Flink OpenSource SQL作业分析数据。
  • 前提条件 已创建DLI队列。创建队列详见创建DLI队列操作指导。 队列的计费类型必须为:“包年/包月”,“按需计费”(按需计费需勾选“专属资源模式”。) 仅“包年/包月”资源、“专属资源模式”的“按需计费”资源才能创建增强型跨源链接。 已创建对应的外部数据源集群。具体对接的外部数据源根据业务自行选择。 表1 创建各外部数据源参考 服务名 参考文档链接 RDS RDS MySQL快速入门。 DWS 创建DWS集群 DMS Kafka 创建Kafka实例 注意: 创建DMS Kafka实例时,不能开启Kafka SASL_SSL。 CSS 创建CSS集群 MRS 创建MRS集群 绑定跨源的DLI队列网段和其他数据源子网网段不能重合。 系统default队列不支持创建跨源连接。
  • 步骤二:数据迁移 配置 CDM 数据源连接。 配置源端CSS的数据源连接。 登录CDM控制台,选择“集群管理”,选择已创建的CDM集群,在操作列选择“作业管理”。 在作业管理界面,选择“连接管理”,单击“新建连接”,连接器类型选择“ 云搜索服务 ”,单击“下一步”。 图1 创建CSS数据源 配置源端CSS的数据源连接,具体参数配置如下。详细参数配置可以参考CDM上配置CSS连接。 表1 CSS数据源配置 参数 值 名称 自定义CSS数据源名称。例如当前配置为“source_css”。 Elasticsearch服务器列表 单击输入框旁边的“选择”按钮,选择当前CSS集群即可自动关联出来Elasticsearch服务器列表。 安全模式认证 如果所需连接的CSS集群在创建时开启了“安全模式”,该参数需设置为“是”,否则设置为“否”。 本示例选择为“否”。 图2 CDM配置CSS数据源 单击“保存”完成CSS数据源配置。 配置目的端DLI的数据源连接。 登录CDM控制台,选择“集群管理”,选择已创建的CDM集群,在操作列选择“作业管理”。 在作业管理界面,选择“连接管理”,单击“新建连接”,连接器类型选择“ 数据湖探索 (DLI)”,单击“下一步”。 图3 创建DLI数据源连接 配置目的端DLI数据源连接连接参数。具体参数配置可以参考在CDM上配置DLI连接。 图4 配置DLI数据源连接参数 配置完成后,单击“保存”完成DLI数据源配置。 创建CDM迁移作业。 登录CDM控制台,选择“集群管理”,选择已创建的CDM集群,在操作列选择“作业管理”。 在“作业管理”界面,选择“表/文件迁移”,单击“新建作业”。 在新建作业界面,配置当前作业配置信息,具体参数参考如下: 图5 新建CDM作业作业配置 作业名称:自定义数据迁移的作业名称。例如,当前定义为:css_to_dli。 源端作业配置,具体参考如下: 表2 源端作业配置 参数名 参数值 源连接名称 选择1.a中已创建的数据源名称。 索引 选择CSS集群中创建的Elasticsearch索引名。当前示例为CSS集群上创建索引并导入数据中创建的索引“my_test”。 索引名称只能全部小写,不能有大写。 类型 Elasticsearch的类型,类似关系数据库中的表名称。类型名称只能全部小写,不能有大写。当前示例为:“_doc”。 更多其他参数说明可以参考:CDM配置CSS源端参数。 目的端作业配置,具体参考如下: 表3 目的端作业配置 参数名 参数值 目的连接名称 选择1.b已创建的DLI数据源连接。 资源队列 选择已创建的DLI SQL类型的队列。 数据库名称 选择DLI下已创建的数据库。当前示例为在DLI上创建数据库和表中创建的数据库名,即为“testdb”。 表名 选择DLI下已创建的表名。当前示例为在DLI上创建数据库和表中创建的表名,即为“tablecss”。 导入前清空数据 选择导入前是否清空目的表的数据。当前示例选择为“否”。 如果设置为是,任务启动前会清除目标表中数据。 详细的参数配置可以参考:CDM配置DLI目的端参数。 单击“下一步”,进入到字段映射界面,CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配,可通过拖拽字段调整。 如果选择在目的端自动创建类型,这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容,详细请参见字段转换。 图6 字段映射 单击“下一步”配置任务参数,一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能: 作业失败重试:如果作业执行失败,可选择是否自动重试,这里保持默认值“不重试”。 作业分组:选择作业所属的分组,默认分组为“DEFAULT”。在CDM“作业管理”界面,支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行:如果需要配置作业定时自动执行,请参见配置定时任务。这里保持默认值“否”。 抽取并发数:设置同时执行的抽取任务数。这里保持默认值“1”。 是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。这里保持默认值“否”即可,不记录脏数据。 单击“保存并运行”,回到作业管理界面,在作业管理界面可查看作业执行进度和结果。 图7 迁移作业进度和结果查询
  • 前提条件 已创建DLI的SQL队列。创建DLI队列的操作可以参考创建DLI队列。 创建DLI队列时队列类型需要选择为“SQL队列”。 已创建Elasticsearch类型的CSS集群。具体创建CSS集群的操作可以参考创建CSS集群。 本示例创建的CSS集群版本为:7.6.2,集群为非安全集群。 已创建CDM迁移集群。创建CDM集群的操作可以参考创建CDM集群。 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 数据源为云上的CSS服务时,网络互通需满足如下条件: i. CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 ii. CDM集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则。 配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 iii. 此外,您还必须确保该云服务的实例与CDM集群所属的企业项目必须相同,如果不同,需要修改工作空间的企业项目。 本示例CDM集群的虚拟私有云、子网以及安全组和创建的CSS集群保持一致。
  • Flink作业如何保存作业日志 在创建Flink SQL作业或者Flink Jar作业时,可以在作业编辑页面,勾选“保存作业日志”参数,将作业运行时的日志信息保存到OBS。 勾选“保存作业日志”参数后,需配置“OBS桶”参数,选择OBS桶用于保存用户作业日志信息。如果选择的OBS桶是未授权状态,需要单击“OBS授权”。 日志信息的保存路径为:“桶名/jobs/logs/作业id开头的目录”。其中,“桶名”可以自定义。“/jobs/logs/作业id开头的目录”为固定格式。 在作业列表中,单击对应的作业名称,然后在“运行日志”页签,可以单击页面提供的OBS链接跳转至对应的路径下。 关于如何创建Flink SQL作业或者Flink Jar作业,请参考《 数据湖 探索用户指南》。 父主题: 使用咨询
  • 约束限制 目前仅SSH、RDP协议主机,支持通过Web运维上传/下载文件。 Web运维不能通过执行rz/sz命令等方式上传/下载文件,仅能通过“文件传输”操作上传/下载文件。 Linux主机资源支持在客户端执行命令方式传输文件,例如在SSH客户端执行rz/sz命令上传/下载文件。但该方式不能被CBH系统记录上传/下载的具体文件,不能达到对全程安全审计的目的。 支持下载一个或多个文件,不支持下载文件夹。 不支持断点续传,文件上传或下载过程请勿终止或暂停。 不支持传输大小超过1G的超大文件,建议分批次上传/下载文件,或通过FTP客户端传输文件。 空间不足会导致上传失败,需清理磁盘或扩充磁盘容量。
共100000条