华为云用户手册

  • 迁移Codeup仓步骤 进入Repo首页后,单击“新建仓库”,在“归属项目”下拉框中选择已有的项目或者“新建项目”。 仓库类型选择“导入外部仓库”,导入方式选择“Codup”。 参考配置云效服务接入点获取并填写“云效服务接入点(domain)”,格式为“https://云效服务接入点”。 参考获取组织ID获取并填写“组织ID”。 参考配置Codup的Access Token获取并填写“通过个人访问令牌授权”。如果报错“授权失败,请检查授权凭证是否正确”,表示用户填写的访问令牌有误或者已失效,用户需要在Codeup重新配置个人访问令牌。 选择需要导入的仓库,单击“下一步”,单击“确定”,自动跳转到项目下仓库列表页,请参考填写导入仓库的基本信息和表1 同步仓库设置的参数表格,填写导入仓库的“基本信息”和“同步仓库”信息。 如下图所示,表示成功导入一个Codeup仓。 图1 成功导入Codeup仓
  • 填写导入仓库的基本信息 表1 填写导入仓库的基本信息 参数 说明 导入至代码托管路径 非必填。默认为“/”,表示不归属于任何代码组路径。用户也可以下拉框选择已有的代码组路径。 仓库名称 必填。请用户为导入的仓库命名。需要以大小写字母、数字、下划线开头,可包含大小写字母、数字、中划线、下划线、英文句点,但不能以.git、.atom或.结尾。 导入仓库可见范围 该参数为非必填。该参数表示源仓库的可见范围,包括四个选项: 私有(仓库仅对仓库成员可见,仓库成员可访问仓库或者提交代码)、“项目内成员只读”、“租户内成员只读”和“所有访客只读”。 定时同步 非必填。 如果用户勾选了此参数,导入的仓库将为镜像仓,仓库将无法提交代码,只能从源仓定时同步,并且是每24小时自动刷新一次代码,刷新内容为源仓库24小时前的内容。 如果没有使用扩展点进行导仓,则不涉及“定时同步”的配置。 父主题: 填写仓库基本信息
  • 验证HTTPS密码是否生效 当设置好HTTPS密码后,用户可以在Git Bash执行git clone https://username:password@example.com/repo_path.git克隆用户有权限访问的代码仓。其中,“username”为用户配置的HTTPS用户名,“password”为用户配置的HTTPS密码,“example.com/repo_path.git”为用户要克隆的代码仓的https地址。如果根据此命令,成功克隆代码,说明HTTPS密码设置成功。
  • 约束与限制 表1 约束与限制 限制类别 具体限制 权限限制 如果用户账号升级为华为账号,租户级的“使用华为云登录密码”功能将不再获得支持(子账号级仍然有效)。 联邦账号无法绑定邮箱,因此无法使用HTTPS协议。 密码格式限制 HTTPS密码包含两部分: HTTPS用户名,由租户名和 IAM 用户名组成,格式为“租户名/IAM用户名”。 HTTPS密码,密码长度为8到32位字符,至少包含数字、大小写字母及特殊字符三种字符类型,且不能与HTTPS密码的“用户名”或者倒序的“用户名”相同。 传输文件大小限制 HTTPS协议所支持的单文件推送大小不超过200M。如果需要传输大于200M的文件,请参考配置SSH密钥配置SSH密钥,并使用SSH密钥传输文件。
  • 设置分支策略的相关文档 分支策略优先级示例如下: 仓库下的同一分支有A策略与B策略,系统默认使用最新创建的分支策略。 在仓库下有A策略与B策略,A策略配置的分支为a分支与b分支,B策略配置的分支为a分支,在发起目标分支为a分支的合并请求时,系统默认使用B策略。 首次配置分支合并人、审核人、检视人后,后续新建合并请求会自动从浏览器缓存中加载该数据,如果合并人、审核人、检视人用户名称被修改且仓库权限被移除,“新建合并请求”页面会弹出被修改后的用户权限缺失提示与合并人、审核人、检视人列表中的用户名称不一致的现象,此时只需按照提示移除该用户即可,更新缓存数据且后续新建合并请求不会出现该用户。
  • 迁移GitLab仓操作步骤 进入CodeArts Repo首页后,单击“新建仓库”,在“归属项目”下拉框中选择已有的项目或者“新建项目”。 仓库类型选择“导入外部仓库”,导入方式选择“Gitlab”,填写“通过个人访问令牌授权”。 如果报错“授权失败,请检查授权凭证是否正确”,表示用户填写的访问令牌有误或者已失效,用户请参考在GitLab获取Access Token,在GitLab重新配置个人访问令牌。 单击“下一步”,自动跳转到“选择导入仓库”页面,勾选用户需要导入的仓库。单击“下一步”,进入“填写基本信息”页面,请参考填写导入仓库的基本信息和表1 同步仓库设置的参数表格,填写导入仓库的“基本信息”和“同步仓库”信息。 单击“确定”,自动跳转到项目下仓库列表页。如下图所示,表示正在导入仓库。 图1 正在导入仓库 如下图所示,表示成功导入一个GitLab仓。 图2 成功导入GitLab仓 如下图所示,表示导入GitLab仓失败。 图3 导入失败的页面
  • 代码托管(CodeArts Repo)使用流程 代码托管(CodeArts Repo)的使用流程如下图所示。 图1 代码托管的使用流程 表1 CodeArts Repo使用流程说明 流程 说明 新建并配置CodeArts项目 代码托管的所有操作都需要在项目下进行,需要用户新建CodeArts项目。通过此部分,用户可以完成项目的新建、添加CodeArts项目成员、管理成员使用CodeArts其他服务的权限。 在项目下新建代码仓库 Repo支持仓库管理员新建仓库: 新建自定义代码仓库 按模板新建代码仓库 Repo也支持仓库管理员导入仓库,开发可基于导入的仓库开发代码: 使用URL迁移Git仓到Repo 迁移GitHub仓 迁移GitLab仓 迁移自建GitLab仓 迁移Gitee仓 迁移Coding仓 迁移Codeup仓 迁移Bitbucket仓 迁移Gerrit仓 迁移SVN仓库 配置成员权限 Repo支持仓库管理员为仓库所属的项目成员配置代码托管权限:配置项目级的Repo权限; Repo支持仓库管理员为仓库成员配置权限:配置代码仓库级的权限; Repo支持把项目成员同步到仓库或者代码组:同步项目成员到代码托管。 配置仓库规则 Repo支持仓库管理员为仓库设置规则,保证代码的可信安全,支持项目级和仓库级配置。 项目级仓库规则如下: 配置项目级仓库设置、设置保护分支规则、设置保护Tags规则、设置代码提交规则、配置项目级合并请求规则、E2E设置、配置Webhook、给仓库配置部署密钥、给仓库添加水印设置、同步项目成员到代码托管。 代码组的仓库规则如下: 配置代码组信息、配置代码组的仓库设置、风险操作。 配置Git环境 开发人员在克隆代码仓到本地进行代码开发前,需要提前安装与配置Git客户端,并且至少配置一种密钥: Git客户端的安装与配置 配置SSH密钥 配置HTTPS密码 配置访问令牌 配置GPG公钥 克隆代码仓到本地 开发人员在代码开发前,需要通过SSH密钥或者HTTPS协议把代码仓克隆到本地: 使用SSH密钥克隆代码仓库到本地 使用HTTPS协议克隆代码仓库到本地 如果代码仓库成员不进行代码开发,可以把代码仓下载到本地查看:使用浏览器下载代码包到本地。 代码开发 用户可克隆代码仓到本地进行代码开发,Repo也支持在线代码开发:在Repo编辑并创建合并请求。 代码提交 用户在本地开发并自检代码后,即可上传代码文件到Repo: 可通过Git Bash上传代码到Repo:在Git Bash创建分支并开发代码。 可通过Eclispse上传代码到Repo:在Eclipse提交代码并创建合并请求。 用户也可以在Git客户端使用git-crypt传输敏感数据到Repo,保证代码安全:在Git客户端使用git-crypt传输敏感数据。 用户在上传代码时,可能出现代码冲突,可参考解决合并请求的代码冲突,上传代码文件后,可查看代码的提交历史:在Repo查看提交历史。 代码检查 如果仓库管理员在新建代码仓时勾选参数“自动创建代码检查任务(免费)”,那么用户在提交代码代码到Repo后,将自动触发代码检查(CodeArts Check)的流水线,检查代码的规范性。 代码检视 如果代码检查通过后,代码检视者即可组织代码检视,根据仓库管理员的配置,检视者可提出检视意见:1。 代码审核并合入主干 如果仓库管理员设置了评审意见的门禁,用户需要参考门禁的通过,通过检视意见门禁,Committer即可合入用户的合并请求。
  • 迁移Coding仓步骤 进入CodeArts Repo首页后,单击“新建仓库”,在“归属项目”下拉框中选择已有的项目或者“新建项目”。 仓库类型选择“导入外部仓库”,导入方式选择“Coding”,填写“通过个人访问令牌授权”。如果报错“授权失败,请检查授权凭证是否正确”,表示用户填写的访问令牌有误或者已失效,用户请参考在Coding获取Access Token,在Coding重新配置个人访问令牌。 选择需要导入的仓库,单击“下一步”,请参考填写导入仓库的基本信息和表1 同步仓库设置的参数表格,填写导入仓库的“基本信息”和“同步仓库”信息。 单击“确定”,自动跳转到项目下仓库列表页。如下图所示,表示成功导入一个Coding仓。 图1 成功导入Coding仓
  • 可集成系统 与CodeArts Req系统集成,使用CodeArts Req的工作项关联对应代码提交,包括代码提交、代码分支和合并请求场景。Repo系统默认设置了关联。 Repo可关联的工作项类别请参考下表。 表2 Repo可关联工作项参数说明 项目类型 可关联工作项 Scrum Epic,Feature,Story,Task,Bug IPD-系统设备类 IR,SR,AR,Bug IPD-独立软件类 IR,US,Bug IPD-自运营软件/云服务类 Epic,FE,US,Task,Bug
  • 自动提取单号规则 约束与限制: 前缀、后缀、分隔符不能互相包含,否则提取效果不符合预期。 分隔符为空时,前缀和后缀不能为“;”。 后缀为空时,前缀和分隔符不能为“\n”。 前缀、分隔符、后缀为全字符匹配,不支持正则表达式。 配置步骤: 自动提取单号规则表示可以根据代码提交信息自动提取单号,请参考下表进行配置。 表3 自动提取单号规则参数说明 参数 说明 单号前缀 非必填。支持多个前缀,最多10个,每个最多200字符。 分隔符 非必填。默认为“;”。 单号后缀 非必填。默认为使用换行。
  • 集成策略 可选枚举值,用于限定用户在关联工作项时的选择条件。 排除状态:选中状态的工作项不可关联合并请求。例如,当前图片展示是“Scrum”项目可关联的工作项,选择“新建”,表示新建状态的工作项不可关联合并请求。 可关联类别:选中类型的工作项可以被关联。例如,如果选择Epic,表示“Epic”类型的工作项可以关联合并请求,不同类型项目可关联的工作项请参考表2。 应用分支:选中的分支将受,其他分支无限制。例如,如果正则表达式为“Branch_*”,表示所有以“Branch_”开头的分支的合并请求将遵循上述的“排除状态”和“可关联类别”设置,正则表达式规则请参考常见的正则表达式示例。
  • 服务扩展点授权 表1 服务扩展点授权参数 参数 说明 连接名称 必填,根据自定义填写名称,连接名称最大长度不超过256个字符。 验证方式 必填,根据需要选择: 如果选择“OAuth认证”,单击“授权并确定”,将自动跳转到GitHub登录页面,输入GitHub登录的账号和密码后,单击“Authorize huaweidevcloud”即可完成授权。授权成功后,新建扩展点页面将出现“授权成功”,页面右上角会弹出“新建接入点成功!”,这时用户可以下拉框选择刚才创建成功的扩展点。 如果选择“AccessToken认证”,需要使用有仓库管理员权限的账号在GitHub创建的Access Token,可参考获取Access Token。
  • 迁移Gitee代码仓步骤 进入CodeArts Repo首页后,单击“新建仓库”,在“归属项目”下拉框中选择已有的项目或者“新建项目”。 仓库类型选择“导入外部仓库”,导入方式选择“Gitee”,填写“通过个人访问令牌授权”,填写令牌后,单击“下一步”。 如果报错“授权失败,请检查授权凭证是否正确”,表示用户填写的访问令牌有误或者已失效,用户请参考在Gitee获取Access Token,在Gitee重新配置个人访问令牌。 选择需要导入的仓库,单击“下一步”,请参考填写导入仓库的基本信息和表1 同步仓库设置的参数表格,填写导入仓库的“基本信息”和“同步仓库”信息。 单击“确定”,自动跳转到项目下仓库列表页。如下图所示,表示正在导入仓库。 图1 正在导入仓库 如下图所示,表示成功导入一个Gitee仓。 图2 成功导入Gitee仓 如下图所示,表示导入Gitee仓失败。 图3 导入失败的页面
  • 迁移Gerrit仓步骤 进入Repo首页后,单击“新建仓库”,在“归属项目”下拉框中选择已有的项目或者“新建项目”。 仓库类型选择“导入外部仓库”,导入方式选择“Gerrit”。 填写“Host Url”,即Gerrit服务器地址,填写“用户名”和“密码”。 选择需要导入的仓库,单击“下一步”,请参考填写导入仓库的基本信息和表1 同步仓库设置的参数表格,填写导入仓库的“基本信息”和“同步仓库”信息。 单击“确定”,自动跳转到项目下仓库列表页。 搜索仓库名称,如下图所示,表示成功导入Gerrit仓。
  • 迁移代码仓库概述 本章主要介绍如何将用户的仓库迁移到 代码托管服务 中,请结合用户目前的仓库存储方式选择以下迁移方案: 使用URL迁移Git仓到Repo。 迁移第三方Git仓。 导入本地Git仓。 迁移SVN代码仓。 迁移Github仓。 迁移自建GitLab仓。 迁移Gitee仓。 迁移Coding仓。 迁移Codeup仓。 迁移Bitbucket仓。 迁移Gerrit仓。 父主题: 迁移代码与同步仓库
  • 查看扫描结果 扫描任务执行后,可在二进制成分分析页面的任务列表查看当前任务状态。 单击对应任务的任务名称,也可以单击任务列表操作列的“查看报告”,查看扫描报告。扫描报告主要包括:任务概况、开源软件漏洞、开源许可证、密钥和信息泄露、安全编译选项、安全配置、恶意软件扫描。 图1 扫描报告 在扫描报告页面,单击右上角的“生成PDF报告”或“生成Excel报告”,可以生成更详细的扫描报告。单击“生成SBOM报告”可以生成国际通用的SBOM报告。 扫描报告生成完成后,单击右上角的“导出PDF”或“导出Excel”,可以下载扫描报告。 扫描报告主要内容如下:任务概览、结果概览、组件列表、漏洞列表、密钥和信息泄露问题列表、安全编译选项问题列表、安全配置列表、恶意软件扫描问题列表。 SBOM报告生成后,单击右上角的“导出SBOM报告”可以下载SBOM报告。
  • 软件成分分析总览 软件成分分析总览页主要展示:资产信息和最近一次检测情况。 我的资产 展示最近30天被扫描的软件包个数,以及有风险和未完成的软件包个数。 风险信息 TOP5 展示前五项组件风险信息,可查看组件名称、组件版本、语言类型、版本时间、漏洞数、超高危漏洞数、集成风险和引用数量。 最近一次二进制成分分析扫描 展示最近一次扫描详细情况,参数说明如表1所示。 表1 二进制成分分析扫描参数说明 参数 说明 扫描对象 被扫描的软件包/固件,单击可进入本次任务的扫描详情。 文件大小 被扫描的文件的大小。 开始时间 开始扫描的时间。 扫描耗时 扫描耗费的时长。 任务状态 任务扫描状态,包括:等待中、进行中、已完成、已停止、已失败。 检测结果风险统计 显示各检查项的检测项目风险文件总数。 安全漏洞风险项 显示不同风险等级的漏洞个数,风险等级包括:超危、高危、中危、低危。 检测项目合规统计 显示检测项目的合规占比(合规项/总检查项)。 开源许可证 TOP6 显示数量排名前六的开源软件使用许可。 恶意软件扫描 显示各检查项的病毒扫描和恶意代码扫描风险总数。
  • 约束与限制 表1 二进制成分分析使用限制说明 指标类别 指标项 限制说明 任务管理 语言类型 支持C/C++/Java/Go/JavaScript/Python/Rust/Swift/C#/PHP等语言开源软件已知漏洞检测。 扫描包格式 支持上传.7z、.arj、.cpio、.phar、.rar、.tar、.xar、.zip、.jar、.apk、.war、.rpm、.deb等格式文件,以及Android OTA Images、Android sparse、Intel HEX、RockChip、U-Boot等固件。 扫描包上传大小限制 专业版:5GB。 免费版:300MB。
  • 应用场景 据《2024年中国软件行业全景图谱》统计,2023年国内软件市场规模超12万亿,我国软件行业正处于成长期,市场规模增长较快,预计2029年整体行业的市场规模将超21万亿。据《2023年软件供应链状况报告》指出,过去三年针对软件供应链的攻击平均年增长高达742%。因此,开源/第三方软件引入评估面临以下问题: 针对采购的软件或对外交付的软件产品没有很好的安全检测手段。 产品需要对供应商有基础的安全性认证。 开源漏洞响应与修复效率低,安全风险缺乏管理。 通过二进制成分分析服务提供页面和开放API,提供风险快速评估能力。功能特性如下: 全方位风险检测:对软件包/固件进行全面分析,基于各类检测规则,检测相关被测对象的开源软件漏洞和许可证合规、敏感信息(弱口令、硬编码密码等)、安全配置、安全编译选项等存在的潜在风险。 支持各类应用:支持对桌面应用(Windows和Linux)、移动应用程序(APK、IPA、Hap等)、嵌入式系统固件等的检测。 专业分析指导:提供全面、直观的风险汇总信息,并针对不同的扫描告警提供专业的解决方案和修复建议。 恶意代码检查:提供病毒木马等恶意软件的扫描,支持开源软件中敏感信息外发、木马下载执行、反弹shell、恶意命令执行恶意行为检测。
  • 检测能力 二进制成分分析 对用户提供的二进制软件包/固件进行全面分析,通过解压获取包中所有待分析文件,基于组件特征识别技术、静态检测技术以及各种风险检测规则,获得相关被测对象的组件BOM清单和潜在风险清单,并输出一份专业的分析报告。 源码成分分析 对用户提供的源码进行全面分析,通过解压获取源码包中所有待分析源码文件,基于源码特征识别技术,获得相关被测对象的开源软件清单和潜在风险清单,并输出一份专业的分析报告。
  • 专家咨询服务 研发安全咨询服务依据国家主管机构和行业监管机构的合规要求,结合丰富的行业实践经验,帮助客户建设研发安全能力,保障业务顺畅运营和战略达成。 研发安全咨询服务目前提供研发安全SDL培训服务。 SDL(Security Development Lifecycle,安全开发生命周期)是为了应对愈发严峻的网络安全挑战而建立、发展的一系列方法论与最佳实践。华为SDL更是与IPD紧密结合,从公司政策、组织、流程、供应链、服务等方面建立和完善可持续、可信赖的覆盖产品研发全流程的安全保障体系。华为研发安全SDL实践高研班已上线云商店,面向研发高管,提供华为研发安全SDL概述、R&D安全保障体系、网络安全技术能力建设等培训课程。请单击“立即前往”,依照界面提示信息购买专业咨询服务。
  • 二进制成分分析扫描报告模板说明 下载扫描报告后,您可以根据扫描结果,对漏洞进行修复,报告模板主要内容说明如下(以下截图中的数据仅供参考,请以实际扫描报告为准): 概览 查看目标软件包的扫描漏洞数。 图1 查看任务概览信息 结果概览 统计漏洞类型及分布情况。 图2 查看结果概览信息 组件列表 查看软件的所有组件信息。 图3 查看组件列表信息 漏洞列表 您可以参考每个组件扫描出的漏洞详细信息修复漏洞。 图4 查看漏洞列表信息 密钥和信息泄露问题列表 图5 查看密钥和信息泄露问题 安全编译选项问题列表 图6 查看安全编译选项问题列表 安全配置检查列表 图7 查看安全配置检查列表 恶意软件扫描问题列表 图8 查看恶意软件扫描问题
  • 支持审计日志的操作 表1 云审计 服务支持CodeArts Governance操作列表 操作名称 资源类型 事件名称 创建二进制成分分析任务 task createScaTask 删除二进制成分分析任务 task deleteScaTask 生成二进制成分分析报告 task exportPdfScaTask/exportExcelScaTask 清理二进制成分分析资源 resource cleanUpScaResources 创建源码成分分析任务 task registerTask 停止源码成分分析任务 task cancelTask 删除源码成分分析任务 task deleteTask
  • 方案概述 通过API调用启动迁移任务/迁移任务组后,由于网络波动或其他原因导致迁移任务失败,需要重新启动迁移任务/迁移任务组,可以通过以下方式重新启动: 手动调用API重新启动迁移任务/迁移任务组。 在业务代码中自动检测并调用API重新启动迁移任务/迁移任务组。 使用 函数工作流 自动检查并重启失败的迁移任务。 本方案指导用户使用函数工作流检查指定任务id的迁移任务,若该任务迁移失败则自动重启。 该方案只提供参考,需要根据实际情况做出调整,函数工作流的使用方式请参见函数工作流 FunctionGraph。 图1 逻辑架构图 启动 OMS 迁移任务之后,触发函数工作流循环检查该迁移任务的执行状态,当迁移任务状态为失败时: 如果该迁移任务为单个迁移任务,函数工作流调用OMS的API重启该迁移任务。 如果该迁移任务为迁移任务组中的任务,函数工作流调用OMS的API检查迁移任务组的状态,直至迁移任务组的状态为失败,重新启动迁移任务。 当迁移成功或重试次数超过指定次数,则停止检查。
  • 步骤四:配置事件源 函数创建完成后,为函数添加事件源,可以通过添加定时触发器定时检查指定任务的迁移状态并重启。 进入check_retry_task函数详情页,在设置页签,选择“触发器”。 单击“创建触发器”,弹出“创建触发器”界面。 设置以下信息: 触发器类型:选择“定时触发器 (TIMER)”。 定时器名称:您自定义的定时器名称,例如:Timer。 触发规则:固定频率和Cron表达式。 固定频率:固定时间间隔触发函数,该类型下支持配置单位为分、时、天,每种类型仅支持整数配置,其中分钟支持范围(0,60],小时支持范围(0,24],天支持范围(0,30]。 Cron表达式:设置更为复杂的函数执行计划,例如:周一到周五上午08:30:00执行函数等,具体请参见函数定时触发器Cron表达式规则。 是否开启:可选择是否开启定时触发器。 附加信息:如果用户配置了触发事件,会将该事件填写到TIMER事件源的“user_event”字段,详情请参见支持的事件源。 配置完成后,单击“确定”,完成触发器创建。
  • 步骤三:设置环境变量 进入check_retry_task函数详情页,在设置页签,选择环境变量。 单击“添加环境变量”,根据表1,配置环境变量,完成后单击“保存”。 表1 环境变量参数说明 环境变量 说明 region_id 目的端桶所在区域,例如华北-北京4的region_id为cn-north-4 task_id 指定迁移任务id max_retry_count 重试次数 dst_ak 目标端账号的ak(加密参数) dst_sk 目标端账号的sk(加密参数) src_ak 源端账号的ak(加密参数) src_sk 源端账号的sk(加密参数)
  • 操作步骤 登录管理控制台,进入“ 对象存储迁移 服务”页面。 在左侧导航树,选择“同步任务”。 单击“创建同步任务”。 仔细阅读弹出的隐私协议声明,勾选“同意以上隐私协议”,单击“确定”,进入“创建同步任务”页面。 选择源端/目的端。 1. 选择源端,具体参数说明参见表1。 表1 源端选择参数 参数 说明 数据源 待迁移的源端云服务提供商,包括: 华为云 亚马逊云(中国) 阿里云 微软云 腾讯云 谷歌云 七牛云 青云 百度云 金山云 优刻得 APP_ID 如果源端云服务提供商为腾讯云,则需要输入该参数,APPID 是您腾讯云账户的一个标识。 访问密钥 源端云服务提供商的访问密钥(AK)。最大长度是100个字符。 私有访问密钥 源端云服务提供商的私有访问密钥(SK),与AK相匹配。最大长度是100个字符。 是否指定桶名 当您不具备列举桶权限,但具有列举桶中对象、获取对象元数据和获取对象权限时可以开启此参数,通过指定源端桶的路径来进行迁移。 设置说明参见表2。 表2 “是否指定桶名”的设置说明 如果... 那么... 开启“是否指定桶名” 在“选择区域”下拉框中选择源端桶所在区域。 在“桶名或路径”文本框中输入源端桶名或带桶名的路径。 单击“连接源端桶”。 对象存储迁移服务将检查源端信息填写是否正确。如果填写正确,会提示连接桶成功。 关闭“是否指定桶名”(默认设置) 单击“列举源端桶”。 对象存储迁移服务将检查源端信息填写是否正确。如果填写正确,且您的账号具有列举桶名的权限,则会在“桶名”中列举您名下的所有桶。 在“桶名”中选择待迁移数据所在的桶。 2. 选择目的端,具体参数参见表3。 表3 目的端选择参数 参数 说明 访问密钥 华为云的访问密钥(AK)。最大长度是100个字符。 私有访问密钥 华为云的私有访问密钥(SK),与AK相匹配。最大长度是100个字符 桶名 存放迁移数据的华为云OBS桶。 单击“下一步”,设置任务参数。具体选项参见表4。 表4 任务参数 参数 说明 任务名称(可选) 自定义任务名称。若不填写该参数,将会默认任务名称为“源端桶-目的端桶_UUID”。确认创建后,名称暂不支持修改。 元数据迁移方式 忽略元数据:OMS只迁移源端Content-Type、Content-Encoding元数据。 保留元数据:OMS会迁移支持范围内的元数据。支持中文字符、英文字符、数字和中划线【-】迁移。除上述字符外,其他所有字符均不支持。 服务端加密 如果开启“服务端加密”,所有数据在迁移到OBS服务后都将被加密存储。 说明: 默认使用SSE-KMS加密,不支持其它加密方式或者自定义加密。 使用KMS服务端加密可能会降低迁移速率10%左右。 当前区域支持KMS加密时,此参数才可用。 服务端加密的详细介绍请参考:服务端加密。 配置存储策略 选择迁移到华为云OBS后,对象的存储类型。存储策略说明请参见存储类型介绍。 解冻归档数据 归档类型的对象存储要实现迁移,必须预先解冻。当您的源端云服务提供商支持自动解冻归档类型数据时,可以勾选此选项。 选择‘是’:如果遇到归档类型对象,则自动解冻该对象并进行迁移。如果解冻失败,则判定该对象迁移失败并跳过,继续迁移其余对象。 须知: 目前支持以下云服务提供商的归档数据的自动解冻:华为云、阿里云、金山云、腾讯云、优刻得。 解冻预计耗时1分钟及以上,对象越大解冻耗时越长,超过3分钟默认解冻失败。各云服务提供商的解冻耗时可能存在差异,具体请参考各云服务提供商的相关文档。 解冻归档数据的过程中会产生两种费用,一是API调用费用,二是归档数据取回费用,这些均由源端云服务提供商向您收取。 归档数据的解冻状态会持续一段时间,在此时间内支持对象的下载/访问,超过此时间后需要重新解冻。解冻状态持续时间请参考各云服务提供商的相关文档。 默认取回时间为3天,当迁移对象数超过300 w或容量大小超过3 TB时,为避免迁移时间过长,数据再次归档后导致迁移失败,请选择迁移任务组方式迁移。 在迁移任务开始后,暂停/重启操作会导致所有取回重新执行,造成解冻周期延长、存储费用增加,请谨慎操作。 对象存储数据从源端云服务提供商迁移到华为云后,存储类型和目的端桶的存储类型保持一致,与源端对象存储类型无关。 选择‘否’:如果遇到归档类型对象,则直接判定该对象迁移失败并跳过,继续迁移其余对象。 同名对象覆盖方式 大小/最后修改时间对比覆盖:默认配置。迁移前源端对象与目的端对象同名时,通过对比源端和目的端对象大小和最后修改时间,判断是否覆盖目的端,需满足源端/目的端对象的加密状态一致。优先对比源端与目的端的最后修改时间,目的端对象的最后修改时间晚于源端对象的最后修改时间,则代表该对象目的端已存在或目的端发生修改,跳过不迁移;目的端对象的最后修改时间早于源端对象的最后修改时间,则代表源端对象发生修改,迁移覆盖目的端;如果最后修改时间相同,源端与目的端大小不同,则执行覆盖。 不覆盖:对于源端和目的端存在的同名对象,跳过源端对象,保留目的端对象。 CRC64对比覆盖:目前仅支持华为/阿里/腾讯。迁移前源端对象与目的端对象同名时,通过对比源端和目的端对象元数据中CRC64值是否相同,判断是否覆盖目的端,需满足源端/目的端对象的加密状态一致。如果源端与目的端对象元数据中不存在CRC64值,则系统会默认使用SIZE_LAST_MODIFIED_COMPARISON_OVERWRITE(大小/最后修改时间对比覆盖)来对比进行覆盖判断。 全覆盖:对于源端和目的端存在的同名对象,源端对象直接覆盖目的端对象。 一致性校验 大小/最后修改时间校验:默认配置。迁移前后,通过对比源端和目的端对象大小+最后修改时间,判断对象是否已存在或迁移后数据是否完整。源端与目的端同名对象大小相同,且目的端对象的最后修改时间不早于源端对象的最后修改时间,则代表该对象已存在/迁移成功。 CRC64校验:目前仅支持华为/阿里/腾讯。迁移前后,通过对比源端和目的端对象元数据中CRC64值是否相同,判断对象是否已存在/迁移完成。如果源端与目的端对象元数据中不存在CRC64值,则系统会默认使用大小/最后修改时间校验方式来校验。 描述 输入内容不允许超过255个字符。 单击“下一步”,进入确认信息页面。 确认同步任务信息的设置,并启动同步。 1. 浏览各项同步任务参数的设置是否正确。 如果有误,可以单击“上一步”返回之前的页面进行修改。 2. 单击“启动同步”。 提示任务提交成功。返回任务列表查看该同步任务。 关于状态说明,参见表5 同步任务状态。 表5 同步任务状态 状态 说明 同步中 表明源端 对象存储服务 的数据正在进行同步。 说明: 创建同步任务后,该任务状态显示为同步中,仅代表可以接受源端发送的同步请求并进行同步,需要您前往源端完成同步请求的配置,详情请参见源端配置同步请求。通过源端配置,使得源端新增/修改对象能够发送同步请求。配置完成后,您的数据将开始进行同步迁移。 已停止 表明停止对源端对象存储服务数据的同步。 说明: 如要停止对源端对象存储服务数据的同步,请先在源端执行暂停操作,建议等待十五分钟后,然后在同步任务页面单击“停止”。否则由于时间差可能会造成部分已接收到的同步请求对象同步失败。 操作同步任务。 1. 启动同步任务。 状态为“已停止”的同步任务,才可执行同步任务的重新启动。 停止后再次启动同步任务,出于安全考虑,系统不保存个人数据,需要重新输入源端,目的端访问密钥以及私有访问密钥,完成身份验证。 2. 停止同步任务。 状态为“同步中”的同步任务,才可执行同步任务的停止。 如要停止对源端对象存储服务数据的同步,请先在源端执行暂停操作,建议等待十五分钟后,然后在同步任务页面单击“停止”。否则由于时间差可能会造成部分已接收到的同步请求对象同步失败。 3. 删除同步任务。 状态为“已停止”的同步任务,才可执行同步任务的删除。
  • 前提条件 已 注册华为账号 并开通华为云,完成实名认证。 已获取源端和目的端账号的AK/SK。 源端桶对应账户需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数据,获取对象内容。获取方式参见源端桶权限获取。 目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数据,获取对象内容,上传对象,列举已上传段,取回归档存储对象。获取方式参见目的端桶权限获取。 已在华为云OBS服务中创建桶。 您过去24小时内已创建的迁移任务未满1000000个。 您名下处于“等待中”状态的迁移任务未满1000000个。 您名下处于“同步中”状态的同步任务未满5个。
  • 源端同步请求配置方式 基于源端云服务提供商的对象存储服务和函数工作流服务:通过配置源端云服务提供商的对象存储服务和函数工作流服务来触发新增、修改对象的同步请求。 客户需要在源端云服务提供商的函数工作流服务中,创建OMS数据同步函数,然后在对象存储服务中设置基于函数工作流服务的事件通知,从而完成源端对象存储服务,函数工作流服务以及OMS服务之间的数据链调用配置。 当源端对象发生新增、修改时,源端对象存储服务会主动调用函数工作流服务中配置的OMS数据同步函数,从而完成源端对象同步迁移。 基于客户自建业务系统:通过客户自建业务系统触发新增、修改对象的同步请求。 当源端对象发生新增,修改时,客户自建业务系统通过接收源端对象存储服务的 消息通知 或解析业务系统数据库变化来主动捕获对象信息,然后调用OMS服务的同步接口,从而完成源端同步迁移。
  • 操作步骤 登录OMS管理控制台。 单击管理控制台左上角的,在下拉框中选择区域。 在总览页面单击“创建迁移任务”。 仔细阅读弹出的服务声明,勾选“同意以上服务声明”,单击“确定”,进入“创建迁移任务”页面,如图1所示。 图1 创建任务 单击关闭“迁移前评估”。 选择源端/目的端参数。 选择源端参数,参数说明参见表1。 表1 源端参数说明 参数 说明 源端数据源 待迁移的源端云服务提供商。 源端访问密钥(Access Key) 源端云服务提供商的访问密钥(AK)。最大长度是100个字符。 源端私有访问密钥(Secret Access Key) 源端云服务提供商的私有访问密钥(SK),与AK相匹配。最大长度是100个字符。 是否指定桶名 当您不具备列举桶权限,但具有列举桶中对象、获取对象元数据和获取对象权限时可以开启此参数,通过指定源端桶的路径来进行迁移。 设置说明参见表2。 表2 “是否指定桶名”的设置说明 如果... 那么... 开启“是否指定桶名” 在“选择区域”下拉框中选择源端桶所在区域。 在“桶名或路径”文本框中输入源端桶名或带桶名的路径。例如,桶名为obs-test。 使用填写桶名的方式,则直接填写“obs-test”。 使用填写路径的方式,填写格式为桶名+桶内目录,如“obs-test/file”。 单击“连接源端桶”。 对象存储迁移服务将检查源端信息填写是否正确。如果填写正确,会提示连接桶成功。 关闭“是否指定桶名”(默认设置) 单击“桶”下拉框或者单击“刷新”,选择待迁移数据所在的桶。 对象存储迁移服务将检查源端信息填写是否正确。如果填写正确,且您的账号具有列举桶名的权限,则会在“桶”中列举您名下的所有桶。 选择目的端参数,参数说明参见表3。 表3 目的端参数说明 参数 说明 目的端访问密钥(Access Key) 华为云的访问密钥(AK)。最大长度是100个字符。 目的端私有访问密钥(Secret Access Key) 华为云的私有访问密钥(SK),与AK相匹配。最大长度是100个字符。 桶 单击“桶”下拉框或者单击“刷新”,选择存放迁移数据的华为云OBS桶。目的端桶所在region必须和当前所在region一致。 单击“下一步”,进入“设置任务参数”页签。 设置“源端配置选项”区域参数。 选择迁移方式为“选择文件/文件夹”,如图2所示。 图2 选择迁移方式 设置“目的端配置选项”区域参数。 保存到指定前缀。 选择“关闭”,源端对象迁移到目的端后,对象名保持不变。 选择“开启”,如图3所示,输入对象前缀,源端对象迁移到目的端后,会在对象名前增加设置的前缀。 图3 输入对象前缀 关于“保存到指定前缀”参数的详细设置方法请参考指定前缀参数设置规则。 配置存储策略 选择迁移到华为云OBS后,对象的存储类型。存储策略说明请参见存储类型介绍。 (可选)单击“高级选项”前面 ,展开高级选项参数。根据表4,设置高级选项参数。 表4 高级选项参数说明 参数 说明 元数据迁移方式 选择是否迁移元数据。 选择“忽略元数据”,OMS只迁移源端Content-Type、Content-Encoding元数据。 选择“保留元数据”,OMS会迁移支持范围内的元数据。 须知: 仅支持中文字符、英文字符、数字和中划线【-】迁移。除上述字符外,其他所有字符均不支持。 如果选择“忽略元数据迁移”,为保证迁移任务正常运行,仍将迁移Content-Type、Content-Encoding元数据。 迁移指定时间后的对象 选择是否迁移在指定时间后的对象。 选择“关闭”,不过滤源端待迁移对象。 选择“开启”,设置迁移指定时间后,OMS服务仅迁移在指定时间之后修改的源端待迁移对象。 服务端加密 选择是否服务端加密。 选择“关闭”,迁移后对象均不加密。 选择“开启”,所有对象在迁移到OBS桶后都将被加密存储 说明: 默认使用SSE-KMS加密,不支持其它加密方式或者自定义加密。 目的端为并行文件系统(PFS)时,不支持服务端加密。 使用KMS服务端加密可能会降低迁移速率10%左右 当前区域支持KMS加密时,此参数才可用。 服务端加密的详细介绍请参考:服务端加密。 记录失败对象 选择是否记录迁移失败的对象。 选择“关闭”,则不记录迁移失败的对象。如果迁移失败,只能全量重传。 选择“开启”,记录迁移失败的对象。如果迁移失败,支持只对迁移失败对象进行重传。 说明: 单个迁移任务或迁移任务组任务,都会将迁移失败的对象记录在一个以任务名称命名的失败对象列表文件中,并将该文件上传到目的端桶的“oms/failed_object_lists/”路径下。 失败对象列表文件,最多记录10万个失败对象。 失败对象超过10万个的场景,建议基于已有失败对象列表,分析处理后重新迁移。 该文件记录了迁移任务失败的摘要信息,包括:失败原因、发生时间(参照当前区域所属时区)、失败对象(经过URL编码)、失败对象(未经过URL编码)、源端SDK返回的错误码。 当迁移失败对象重传成功后,失败对象列表文件仍会保留在目的端。您如果不再需要该文件,请手动删除。 解冻归档数据 归档类型的对象存储要实现迁移,必须预先解冻。当您的源端云服务提供商支持自动解冻归档类型数据时,可以勾选此选项。 选择“开启”:如果遇到归档类型对象,则自动解冻该对象并进行迁移。如果解冻失败,则判定该对象迁移失败并跳过,继续迁移其余对象。 须知: 目前支持以下云服务提供商的归档数据的自动解冻:华为云、阿里云、金山云、腾讯云、优刻得。 解冻预计耗时1分钟及以上,对象越大解冻耗时越长,超过3分钟默认解冻失败。各云服务提供商的解冻耗时可能存在差异,具体请参考各云服务提供商的相关文档。 解冻归档数据的过程中会产生两种费用,一是API调用费用,二是归档数据取回费用,这些均由源端云服务提供商向您收取。 归档数据的解冻状态会持续一段时间,在此时间内支持对象的下载/访问,超过此时间后需要重新解冻。解冻状态持续时间请参考各云服务提供商的相关文档。 默认取回时间为3天,当迁移对象数超过300 w或容量大小超过3 TB时,为避免迁移时间过长,数据再次归档后导致迁移失败,请选择迁移任务组方式迁移。 在迁移任务开始后,暂停/重启操作会导致所有取回重新执行,造成解冻周期延长、存储费用增加,请谨慎操作。 对象存储数据从源端云服务提供商迁移到华为云后,存储类型和目的端桶的存储类型保持一致,与源端对象存储类型无关。 选择“关闭”:如果遇到归档类型对象,则直接判定该对象迁移失败并跳过,继续迁移其余对象。 发送通知 选择是否使用 SMN 消息通知功能,该功能可以通知您迁移任务的结果。 不勾选,不接收SMN消息。 勾选,接收SMN消息。勾选后,会默认您已同意“OMS服务向主题发布消息”委托授权(SMN FullAccess)。您可以在委托权限后,随时取消授权。 需要执行以下步骤: 单击“选择主题”所在行的“添加”,弹出“选择SMN主题”对话框。 选择接收SMN消息的主题,单击“确定”完成选择。 单击“SMN模板”所在行的“添加”,弹出“选择SMN模板”对话框。如果设置此值,则表示用模板方式发送SMN信息。模板名称下必须有default协议的模板。 选择接收SMN信息的模板,单击“确定”完成选择。 设置“触发条件”参数。您可以只勾选其中一个参数或者两个参数都勾选。 “迁移成功”表示迁移任务成功时发送SMN消息通知。 “迁移失败”表示迁移任务失败时发送SMN消息通知。 说明: 如果您无法正常使用SMN消息通知功能,请参见SMN消息通知功能无法正常使用怎么办?。 流量控制 设置迁移任务在指定时段的最大流量带宽。 选择“关闭”,不进行流量控制。 选择“开启”,进行流量控制。 需要执行以下步骤: 在“开始时间”、“结束时间”和“限制最大流量”文本框中输入数值。 限制最大流量的数值范围:1~ 200MB/s 。 须知: 例如:设置开始时间08:00、结束时间12:00、限制最大流量20 MB/s,当迁移任务运行到(08:00~12:00)该时间段时,最大迁移速度将限制为20 MB/s。该时间段以外,迁移速度不做限制。 时区时间以控制台所选Region的当地时间为准。 单击“新增流量控制”。下方新增一条规则记录。 重复1.~2.,增加新的流量控制规则。 您也可以单击“操作”栏的‘删除’,删除本行记录。 说明: 最多可以创建5条记录。参数中流量控制策略的时间不能重叠。 即使在创建任务后,您也可以在任务详情中继续设置流量控制规则。 同名对象覆盖方式 大小/最后修改时间对比覆盖:默认配置。迁移前源端对象与目的端对象同名时,通过对比源端和目的端对象大小和最后修改时间,判断是否覆盖目的端,需满足源端/目的端对象的加密状态一致。优先对比源端与目的端的最后修改时间,目的端对象的最后修改时间晚于源端对象的最后修改时间,则代表该对象目的端已存在或目的端发生修改,跳过不迁移;目的端对象的最后修改时间早于源端对象的最后修改时间,则代表源端对象发生修改,迁移覆盖目的端;如果最后修改时间相同,源端与目的端大小不同,则执行覆盖。 不覆盖:对于源端和目的端存在的同名对象,跳过源端对象,保留目的端对象。 CRC64对比覆盖:目前仅支持华为/阿里/腾讯。迁移前源端对象与目的端对象同名时,通过对比源端和目的端对象元数据中CRC64值是否相同,判断是否覆盖目的端,需满足源端/目的端对象的加密状态一致。如果源端与目的端对象元数据中不存在CRC64值,则系统会默认使用SIZE_LAST_MODIFIED_COMPARISON_OVERWRITE(大小/最后修改时间对比覆盖)来对比进行覆盖判断。 全覆盖:对于源端和目的端存在的同名对象,源端对象直接覆盖目的端对象。 一致性校验 大小/最后修改时间校验:默认配置。迁移前后,通过对比源端和目的端对象大小+最后修改时间,判断对象是否已存在或迁移后数据是否完整。源端与目的端同名对象大小相同,且目的端对象的最后修改时间不早于源端对象的最后修改时间,则代表该对象已存在/迁移成功。 CRC64校验:目前仅支持华为/阿里/腾讯。迁移前后,通过对比源端和目的端对象元数据中CRC64值是否相同,判断对象是否已存在/迁移完成。如果源端与目的端对象元数据中不存在CRC64值,则系统会默认使用大小/最后修改时间校验方式来校验。 任务优先级 任务较多时,可以通过设置任务优先级制定迁移顺序。 描述 输入本次迁移任务的简单描述信息。 最多可输入255个字符。 单击“下一步”,进入确认信息页面。 确认迁移信息的设置,并启动迁移。 检查各项迁移参数的设置是否正确。 如果有误,可以单击“上一步”返回之前的页面进行修改。 单击“下一步”,提示创建迁移任务成功。 查看迁移任务列表已新增该任务。 关于迁移任务状态,参见查看迁移任务。 任务创建后,会生成一个任务名称供您快速识别。它显示在列表中任务的左上角,由源端桶名+目的端桶名+时间序列标识拼接而成。
共100000条
提示

您即将访问非华为云网站,请注意账号财产安全