华为云用户手册

  • 使用说明 当用户修改权限后,权限信息在一天后生效。 SDK支持跨云/本地上报日志,当前仅支持华北-北京四、华东-上海一、华南-广州、西南-贵阳一。使用详情见Appender配置参数说明表中的“enableLocalTest”参数,当该参数为true时,上报日志规格为单个机器200次/秒(即每秒只能发送200次,每次批量发送数量/大小详情见参数“batchSizeThresholdInBytes、batchCountThreshold、lingerMs”)。 通过SDK上报日志到LTS的时间相距当前时间不超过2天,否则上报日志会被LTS删除。
  • 单个producer性能基线 上报日志时,请参考如下参数的测试性能基线,若超出基线值,可能会导致日志上报异常。 totalSizeInBytes:524288000 ioThreadCount:8 maxBlockMs:0 batchSizeThresholdInBytes:524288 batchCountThreshold:4096 lingerMs:2000 按照参数基线值设置后,使用8U16GB的机器规格测试,上报单条日志大小为1KB。 测试结果:SDK上报日志的数据量为60MB/s,速率为6w条/s。 当日志上报量超过单个producer时: 建议拆分日志流,使用多个producer上报日志,分摊流量,以保障SDK处于正常上报状态。 如果maxBlockMs为0时,SDK处于非阻塞状态,会触发保护机制自动降级,可能会对部分日志做丢弃处理。 如果maxBlockMs大于0时,SDK处于阻塞状态,阻塞时间为maxBlockMs,可能会造成prodcuer.send()发送日志方法处于阻塞状态。
  • 新建变更流水线 访问CodeArts Pipeline首页,进入项目下流水线。 单击“微服务”,进入微服务列表页面。 单击微服务名称,进入微服务“概览”页面。 单击“流水线”,进入微服务流水线列表页面。 单击“新建流水线”,进入“基本信息 ”页面,配置相关参数。 表3 新建流水线 参数项 说明 所属项目 微服务所在的项目。 名称 流水线的名称,默认根据当前时间生成。支持中文、大小写英文字母、数字、“-”、“_”,长度不超过128个字符。 代码源 代码仓库来源,微服务下流水线仅支持Repo。 代码仓 微服务关联的代码仓库。 说明: 修改微服务的代码仓库,微服务下所有流水线配置的代码仓库会自动更改。 默认分支 微服务关联的默认分支。 说明: 修改微服务的默认分支,微服务下所有流水线配置的默认分支会自动更改。 Repo HTTPS授权 配置授权扩展点以提升代码库操作权限,主要用于微服务变更流水线和部分仓库操作插件。单击“新建授权”,可添加CodeArts Repo HTTPS服务扩展点,配置方法请参考新建CodeArts服务扩展点。 说明: 新建CodeArts Repo HTTPS服务扩展点时,如果用户名密码填写错误,会授权失败并导致流水线执行失败。具体问题请参考常见问题。 别名 仓库别名。支持大小写英文字母、数字、“_”,长度不超过128个字符。 设置别名后可生成仓库对应的系统参数,如:“别名_REPOSITORY_NAME”,表示仓库名称。生成的参数可在参数设置页面查看,并在流水线中通过“${参数名}”进行引用。 基于变更触发 开启“基于变更触发”开关的流水线即为变更流水线,在微服务流水线列表中,变更流水线会被标识为。 说明: 单个微服务下仅允许存在一条基于变更触发的流水线。 描述 长度不超过1024个字符。 单击“下一步”,进入“选择模板”页面,根据需要选择对应模板,在模板基础上快速新建任务;也可以选择“空白模板”,即不使用模板,直接新建。 单击“确定”,根据需要编排流水线,然后单击“保存”。
  • 执行变更流水线 访问CodeArts Pipeline首页,进入项目下流水线。 单击“微服务”,进入微服务列表页面。 单击微服务名称,进入微服务“概览”页面。 单击“流水线”,进入微服务流水线列表页面。 单击流水线名称,进入流水线“执行历史”页面。 单击右上角“执行”,弹出“执行配置”侧滑框,进行如下配置。 图2 配置变更流水线执行信息 变更列表:变更列表展示阶段状态为“待发布”和“发布中”的变更,运行变更流水线时需要选择一个或多个变更。 运行参数配置:如果流水线配置了运行时参数,请根据需要设置参数值并保存,可参考流水线参数应用示例。 执行阶段配置:流水线支持选择任务执行,可以选择一个或多个,默认执行全部任务。 执行描述:填写本次运行的调试信息。 配置完成后,单击“执行”,进入变更流水线执行详情页面。 图3 执行变更流水线 变更流水线运行时会默认添加“合并集成分支”和“合并主干”阶段。 合并集成分支:变更流水线会自动从主干分支拉出一条新分支,并将本次运行变更的所有特性分支集成到该新分支,然后通过这条集成分支来运行流水线。 合并主干:将集成分支合并回主干分支。 执行完成后,可查看流水线执行结果。 变更流水线执行成功时,会将本次运行选择的所有变更状态改为“已发布”状态。 单击流水线名称,进入“流水线详情”页面 单击流水线源卡片的“查看更多”,弹出运行变更侧滑框,展示本次流水线运行时选择的变更信息。 单击列表内“变更标题”可以跳转到变更详情页面。 单击“发布列表”页签,切换到“发布列表”页面 发布列表页面展示所有阶段状态为“待发布”和“发布中”的变更。 列表支持在搜索栏中输入变更名称关键字进行搜索。 单击“操作”列,弹出“退出发布”对话框,单击“确认”会将变更退出变更流水线的发布列表,变更状态重置为“开发中”。 阶段状态为“发布中”的变更,如果变更流水线正在运行,则需要等待变更流水线运行完成或停止变更流水线后才可以退出发布。
  • 新建流水线微服务 访问CodeArts Pipeline首页,进入项目下流水线。 单击“微服务”,进入微服务列表页面。 单击“新建微服务”,进入“新建微服务”页面,配置相关参数。 表1 新建微服务 参数项 说明 所属项目 微服务所在项目,不可更改。 微服务名称 微服务的名称。支持大小写英文字母、数字、“_”,不超过128个字符。 代码源 代码仓库来源,当前仅支持Repo。 说明: 可暂不选择代码源,微服务创建成功后,可根据需要通过单击微服务名称,进入微服务概览页再进行关联。 代码仓 微服务关联的代码仓库,选择已创建的代码仓库。 说明: 一个代码仓只能关联一个微服务。 默认分支 微服务关联的默认分支,执行微服务流水线时默认使用的分支。 说明: 变更流水线执行完成后,所有变更特性分支都将会合入默认分支。 语言 微服务的开发语言,支持Java、Python、Node.js、Go、.Net、C++、PHP。 描述 长度不超过1024个字符。 单击“确定”,完成微服务创建并进入微服务“概览”页。 概览页展示微服务的创建人、创建时间、代码源等信息,可修改微服务开发语言、关联的代码仓库和描述信息。 更换代码仓库时,如果微服务下存在没有关闭的变更或运行中的流水线,页面会弹出“数据处理”侧滑框,需先关闭所有变更并停止所有运行中的流水线。 返回微服务列表,可以查看已创建的微服务,列表项说明如下。 表2 微服务列表 列表项 说明 微服务 微服务的名称。 创建人 创建微服务的用户名。 创建时间 创建微服务的时间,将鼠标悬浮至“创建时间”列,单击,可以根据创建时间排序微服务。 状态 展示微服务当前状态信息,创建后会自动处于激活状态。 操作 单击可收藏该微服务,收藏成功后图标变为,再次单击可取消收藏;单击,可删除该微服务。 说明: 删除微服务,微服务内所有变更记录和流水线都将会被删除,请谨慎操作。 微服务列表展示项目下的所有微服务。 支持在搜索栏中输入微服务名称关键字进行搜索。
  • 编排流水线任务 任务是流水线上可管理的最小执行单元,可以在流水线阶段中进行纳管和串并行编排。 访问CodeArts Pipeline首页。 在流水线列表页搜索目标流水线,单击操作列,选择“编辑”。 进入流水线“任务编排”页面,单击阶段下“新建任务”,弹出“新建任务”侧滑框。 单击任务下方的,可以添加一个和该任务串行编排的任务,即按顺序执行,如:构建任务和部署任务应该按顺序先后执行。 单击“并行任务”,可以添加一个和已有任务并行编排的任务,即同时执行,如:代码检查任务和构建任务可以同时执行。 为任务配置插件及任务信息,操作说明如下: 表1 配置任务 操作项 说明 添加插件 流水线插件分为构建插件、代码检查插件、部署插件、测试插件和通用插件5种类型,可以根据不同类型进行过滤或搜索,插件来源请参考管理流水线扩展插件。 将鼠标移动到插件卡片,单击“添加”,即可将插件添加到任务中,请根据需要配置插件相关信息: 填写插件名称。 选择需要调用的任务,如果找不到合适的任务,请根据界面提示新建任务。 如果调用的任务有参数,参数也会显示出来,请根据需要配置相应参数。 插件名称后有对应标记,单个任务中最多只能添加一个带“任务”标记的插件;带“草稿”标记的插件表示当前用户发布为草稿的自定义插件。 “挂起流水线”插件只能添加在不含并行任务的阶段中。 删除插件 将鼠标移动到已经添加的插件卡片,单击,选择“删除”,可以删除当前插件。 更换插件 将鼠标移动到已经添加的插件卡片,单击,选择“更换”,或者单击插件上方“更换插件”,可以返回插件列表,更换当前插件。 排序插件 单击插件卡片不松开,可以移动插件调整插件顺序。 任务配置 配置任务ID、执行主机和执行条件。 任务ID:。流水线阶段任务的ID,同一条流水线上的任务ID不能重复。支持大小写英文字母、数字、“-”、“_”,长度范围为1~128个字符。 执行主机:包括内置执行机和自定义执行机。 内置执行机:服务提供的执行主机,用户无需配置开箱即用。 自定义执行机:支持用户自行配置工具和运行环境,以满足不同任务的需求。选择自定义执行机需提前在资源池添加代理资源池,详细操作请参见资源池管理。 说明: 执行主机仅针对非任务级插件。 任务选择 必须选择:必须执行,执行流水线时该任务默认勾选且无法修改。 禁止选择:禁止执行,执行流水线时该任务禁止勾选。 默认选择:执行流水线时该任务默认勾选但可按需修改。 默认不选择:执行流水线时该任务默认不勾选但可按需修改。 执行条件:即流水线阶段任务执行时需要满足的前提条件,通过配置执行条件,可以控制阶段任务是否执行。 前置任务未选择仍执行:上一个任务状态执行成功或未选择,都继续执行当前任务。 前置任务成功时执行:上一个任务执行成功才执行当前任务。 前置任务失败时执行:上一个任务执行失败才执行当前任务。 始终执行:始终执行当前任务,上一个任务状态是失败、成功、中止或忽略执行,都继续执行当前任务。 表达式:当前置任务到达终态,包括:成功(COMPLETED)、失败(FAILED)、中止(CANCELED)、忽略执行(IGNORED),且表达式结果为“true”时,执行当前任务,否则不执行。表达式形式为“${{ }}”,由流水线上下文、操作符、函数或常量任意组合而成。表达式编写请参考流水线执行条件表达式。 示例: 在执行条件中定义不管前置任务(任务ID为“job_1”)运行成功或失败,均执行当前任务,表达式语法如下: ${{ jobs.job_1.status == 'COMPLETED' || jobs.job_1.status == 'FAILED' }} 配置完任务,单击“确定”,完成任务添加,可根据实际需要编辑、复制、删除、移动任务。 表2 管理任务 操作项 说明 编辑任务 单击任务卡片,可以编辑当前任务。 复制任务 将鼠标移动到任务卡片,单击,可以复制一个和该任务串行编排的任务。 删除任务 将鼠标移动到任务卡片,单击,根据删除提示确定是否删除任务。 排序任务 单击任务卡片不松开,可以移动任务调整任务顺序。 说明: 任务并行执行时不支持调整顺序。 任务编排完成后,保存流水线。 父主题: 配置流水线
  • 新建流水线 访问CodeArts Pipeline首页。 单击“新建流水线”,进入“基本信息”页面,参考表1配置流水线基本信息。 表1 流水线基本信息参数说明 参数项 说明 名称 流水线的名称,自定义。支持中文、大小写英文字母、数字、“-”、“_”,长度不超过128个字符。 所属项目 流水线归属项目。 从流水线服务首页入口新建流水线,请根据实际需要选择已创建的项目。 从项目下流水线入口新建流水线,所属项目默认为当前项目,不可更改。 代码源 流水线关联的代码源类型: CodeArts Repo代码源 Repo:提供企业代码托管的全方位服务,为软件开发者提供基于Git的在线 代码托管服务 。 非CodeArts的第三方代码源 码云:连接码云账号之后可以获取该账号下的仓库、分支等信息。 Github:连接Github账号后可以获取该账号下的仓库、分支等信息。 Gitcode:连接Gitcode账号后可以获取该账号下的仓库、分支等信息。 通用Git:连接第三方通用Git仓库后可以获取该账号下的仓库、分支等信息。 说明: GitCode流水线源当前仅支持“北京四”和“广州”局点白名单用户。如果您需要开通此功能,请新建工单或拨打客服热线进行咨询。 如果用户新建的流水线任务不需要关联代码仓,也可以选择“暂不选择”,不关联代码仓时,如果添加了需要关联代码仓的任务,执行时会提示错误,具体问题请参考常见问题。 服务扩展点 关联非CodeArts的第三方代码源时,需通过服务扩展点实现与对应仓库的连接。可选择准备工作中提前创建的扩展点,也可单击“新建服务扩展点”进行创建,具体操作请参考新建CodeArts服务扩展点。 代码仓 流水线关联的代码仓库。 默认分支 仓库默认分支,手工或定时执行流水线时默认使用的分支。 Repo HTTPS授权 关联Repo代码源时,可配置授权扩展点以提升代码库操作权限,当前主要用于流水线服务的微服务变更功能模块及其相关插件。可选择准备工作中提前创建的扩展点,也可单击“新建授权”进行创建,具体操作请参考新建CodeArts服务扩展点。 别名 仓库别名,设置别名后可基于别名生成仓库对应的系统参数,如:“别名_REPOSITORY_NAME”,表示仓库名称。生成的参数可在参数设置页面查看,并在流水线中通过“${参数名}”进行引用。 描述 不超过1024个字符。 配置完基本信息,单击“下一步”,进入“选择模板”页面。 您可以选择系统模板或自定义模板,在模板基础上快速新建流水线,并自动生成模板预置的任务,模板来源请参考管理流水线模板。 也可以选择“空模板”,即不使用模板,新建空任务流水线。 选择完模板,单击“确定”,完成流水线创建。 页面自动进入流水线“任务编排”页面,您可以继续配置流水线,也可以单击“取消”返回流水线列表。
  • 查看流水线 访问CodeArts Pipeline首页。 流水线列表页展示当前用户下的所有流水线,列表项说明如下: 参数项 说明 名称 流水线名称和流水线所属项目名称。 说明: 项目下流水线列表不显示项目名称。 最近一次执行 最近一次的执行信息:执行方式、分支、最近一次代码提交的CommitID、执行人。 工作流 流水线的调度流程及执行状态(已完成、失败、运行中、已停止等)。 开始时间&执行时长 最近一次执行开始时间和持续时长。 操作 单击,可执行流水线。 单击,可关注流水线,关注成功后图标变为,再次单击可取消关注。 说明: 收藏流水线后,刷新页面或下次进入流水线列表时,该流水线会在流水线列表中置顶显示,收藏多条流水线会按流水线最后一次执行时间降序排列,若未执行过,则按创建时间降序排列。 单击,选择“编辑”,可修改流水线。 单击,选择“复制”,可基于当前流水线快速创建一条新的流水线。 单击,选择“预览”,可预览流水线。 单击,选择“操作历史”,可查看流水线操作历史记录(新建记录、编辑记录)和触发失败记录。 单击,选择“设置标签”,弹出“设置标签”对话框。 单击,为流水线设置标签,最多可选择5个标签。 单击“标签管理”,可新建标签、编辑标签、删除标签。 单击,选择“禁用”,可禁用流水线。 单击,选择“删除”,可删除流水线。 流水线任务列表默认所有用户均可以查看。 单击“全部流水线”的下拉框,可以根据“全部流水线”、“我新建的”及“最后一次记录由我执行的”进行过滤。 支持在搜索栏中输入流水线名称关键字进行搜索。 单击右上方,可根据需要自定义设置流水线列表信息。 单击流水线名称,进入流水线“执行历史”页面,展示流水线执行记录。 单击时间筛选器,可以选择时间段进行过滤,支持查看最近90天执行记录,默认展示最近31天的执行记录,支持最近7天、14天、31天、90天快捷切换。 首次执行时执行历史页面为空,执行一次后才有记录。 单击执行编号,进入“流水线详情”页面,查看对应执行记录详情。 表1 流水线详情页操作 操作项 说明 重试 如果任务执行失败,单击页面右上角“重试”,可从失败处继续执行流水线。 编辑 单击“编辑”,可修改流水线配置信息。 执行 单击“执行”,可按最新的配置重新执行流水线,并生成一条新的执行记录。 下载 单击页面上方产出信息,可下载通过流水线自动构建出来的构建包。 说明: 只有构建类型的任务才有构建包。 存在多个构建包时,单击“全部下载”,可以下载全部构建包。 只展示最新构建的10个包,如需下载其他构建包,请切换到发布库页面自行下载。 查看日志 单击任务卡片,可查看对应任务的任务日志和任务结果。 说明: “延时执行”和“挂起流水线”任务没有日志。 更多操作 单击页面右上角,可复制流水线、查看流水线操作历史、预览流水线、禁用流水线、删除流水线。 说明: 默认只有项目经理或创建者(项目创建者和流水线创建者)才可以删除流水线,可通过配置权限给不同角色添加不同操作权限。 切换到“排队列表”页,可查看流水线排队记录。 如果流水线配置了并发策略,且超过并发后执行策略为排队等待,在该页面可以查看排队等待执行的记录。 单条流水线最多支持100条排队记录。 单条排队记录排队时长超过24小时后会被放弃执行。 单击操作列,可手动取消排队记录,即放弃执行。 排队记录执行时,配置信息以入队时为准。
  • 流水线官方插件 流水线当前内置的官方插件如表1。 表1 流水线官方插件 插件类型 插件名 插件使用介绍 构建 Build构建 调用编译构建能力进行构建。编译构建服务为开发者提供配置简单的混合语言构建平台,实现编译构建云端化,支撑企业实现持续交付,缩短交付周期,提升交付效率。支持编译构建任务一键创建、配置和执行,实现获取代码、构建、打包等活动自动化,实时监控构建状态,让您更加快速、高效地进行云端编译构建。了解更多。 Build构建(模板) 仅支持在流水线模板中配置,该插件会在通过模板生成流水线时,依照当前配置的构建任务模板,自动创建构建任务并配置到所生成的流水线中。 测试 TestPlan接口测试 调用CodeArts TestPlan能力进行测试。测试计划是面向软件开发者提供的一站式云端测试平台,覆盖测试管理、接口测试,融入DevOps敏捷测试理念,帮助您高效管理测试活动,保障产品高质量交付。了解更多。 TestPlan接口测试(模板) 仅支持在流水线模板中配置,该插件会在通过模板生成流水线时,自动创建接口测试任务并配置到所生成的流水线中。 部署 Deploy部署 调用CodeArts Deploy能力进行部署。部署服务(CodeArts Deploy)提供可视化、一键式部署服务,支持部署到虚拟机或者容器,提供Tomcat、SpringBoot等模板或者自由组装编排原子步骤进行部署,支持并行部署和流水线无缝集成,实现部署环境标准化和部署过程自动化。了解更多。 Deploy部署(模板) 仅支持在流水线模板中配置,该插件会在通过模板生成流水线时,依照当前配置的部署任务模板,自动创建部署任务并配置到所生成的流水线中。 Kubernetes发布 将容器镜像部署到云容器引擎(CCE)或原生Kubernetes集群中。支持滚动发布和基于集群Service的蓝绿发布。 云原生发布 云原生发布提供了环境级别的服务发布能力,支持对环境进行自定义编排发布(例如:滚动发布和灰度发布)。 代码检查 Check代码检查 调用CodeArts Check能力进行代码检查。代码检查服务(CodeArts Check)是基于云端实现代码质量管理的服务,软件开发者可在编码完成后执行多语言的代码静态检查和安全检查,获取全面的质量报告,并提供缺陷的改进建议和趋势分析,有效管控代码质量,降低成本。了解更多。 Check代码检查(模板) 仅支持在流水线模板中配置,该插件会在通过模板生成流水线时,自动创建代码检查任务并配置到所生成的流水线中。 分支变动检查 指定目标分支,若当前流水线运行分支落后于指定分支,则流水线运行失败。 通用 创建仓库标签 为代码仓创建标签并推送。 子流水线 配置并调用项目下其他流水线任务。 Jenkins任务 调用Jenkins任务以扩展并实现自定义动作。 挂起流水线 配置以挂起当前流水线。 延时执行 暂停流水线运行一段时间或暂停至指定时间点,用户可以手动继续、终止流水线运行或进行至多3次的额外延时。 人工审核 以单签或会签的方式配置人工审核任务,配置后将以邮件通知的方式提醒审核人审核。 下载仓库 下载流水线源中配置的代码库,可结合执行shell命令、Maven构建等插件使用。 执行shell 用于执行shell命令。 钉钉机器人 在流水线上配置钉钉机器人的webhook,向机器人发送自定义内容。 飞书机器人 在流水线上配置飞书机器人的webhook,向机器人发送自定义内容。 微信机器人 在流水线上配置企业微信机器人的webhook,向机器人发送自定义内容。 上传文件至OBS 将文件上传至华为云OBS。 OBS文件下载 从OBS下载文件至本地。 微服务 创建集成分支 基于微服务默认分支创建集成分支,用于微服务变更流水线运行使用,由变更流水线自动配置,不支持手动配置。 合并集成分支 在微服务变更流水线运行期间,将变更特性分支合并到集成分支,由变更流水线自动配置,不支持手动添加。 合并主干 在微服务变更流水线运行期间,将集成分支合并回微服务默认分支,由变更流水线自动配置,不支持手动添加。 准出条件 标准策略准出条件 选择一个标准插件策略用于门禁拦截。 父主题: 管理流水线扩展插件
  • 配置流水线项目级策略 项目级策略是一种项目级别的资源,可应用于当前项目下所有流水线的准出条件。 访问CodeArts Pipeline首页,进入项目下流水线。 单击“策略”,进入项目级策略列表页面。 单击“新建策略”,进入“新建策略”页面,填写参数信息。 表4 项目级策略参数信息 参数项 说明 名称 策略名称,默认根据当前时间生成。支持输入中文、大小写英文字母、数字、“-”、“_”,长度不超过128个字符。 规则 选中的规则会在界面右侧展示,可对每条规则进行如下操作: 编辑:单击规则右上方“详情”,可查看规则详情,继续单击右上方“编辑”,可修改规则。 开关:单击规则右上方,可打开/关闭规则,关闭后,该规则在应用到流水线准出条件中会自动关闭并不做拦截校验。 说明: 单个策略中最多可配置20个规则。 单击“确定”,即可在策略列表生成一条项目级策略。 在策略列表页面,单击列表右侧,可编辑策略。 在策略列表页面,单击列表右侧,可查看策略,继续单击右上方“编辑”,可编辑策略。 在策略列表页面,单击列表右侧,选中“复制”,可基于当前策略快速复制一个策略。 在策略列表页面,单击列表右侧,选中“删除”,弹出删除警告对话框,确认后单击“删除”,可删除策略。 删除策略时,系统会提示当前有多少流水线引用了该策略,删除后相关流水线调度运行时会运行失败。 在策略列表页面,单击列表右侧,可以打开/关闭策略, 关闭策略时,如果策略有被引用,系统会提示当前有多少流水线引用了该策略,关闭后相关流水线调度运行时会忽略该策略中的准出条件。 在策略列表页面,单击页面右上方“租户策略”,打开“租户策略”侧滑框,可以查看、复制和继承租户级策略。 查看:单击操作列,可查看租户级策略,继续单击右上方“编辑”,可编辑租户级策略。 复制:单击操作列,可基于当前租户级策略复制一个项目级策略。 继承:单击操作列,可基于当前租户级策略继承一个项目级策略,通过继承生成的项目级策略,继承的规则实时和父租户级策略保持一致。。
  • 编排流水线阶段 访问CodeArts Pipeline首页。 在流水线列表页搜索目标流水线,单击操作列,选择“编辑”。 进入流水线“任务编排”页面,单击或“新建阶段”,可以为流水线添加新的阶段,添加完阶段后,可根据实际需要编辑、复制、删除、移动阶段、配置阶段准入类型。 表1 管理阶段 操作项 说明 编辑阶段 单击,弹出“编辑阶段”侧滑框,可以配置阶段名称和阶段是否总是运行。 总是运行:选择“是”,表示流水线执行时,该阶段下的任务默认选中必须执行且不可取消。 总是运行:选择“否”,表示流水线执行时,该阶段下的任务默认选中但可以取消。 复制阶段 单击,可以复制流水线阶段。 删除阶段 单击,根据删除提示确认是否删除阶段。 排序阶段 单击不松开,可以移动阶段调整阶段顺序。 阶段准入 通过阶段准入校验,控制流水线阶段的执行。单击,弹出“准入设置”窗口,可以配置阶段准入类型。 自动:默认执行方式,流水线执行时自动进入下一阶段继续运行。 手动:流水线执行时需手动确认后才能进入下一阶段继续运行。 时间窗:流水线执行时需在配置好的时间段才能进入下一阶段继续执行。 准出条件 流水线服务提供基于规则和策略的准出条件管理能力,是指在流水线阶段中配置的用于自动化看护的质量指标卡点,通过配置规则和策略,来实现阶段准出校验,并最终控制流水线的执行。 规则:基于扩展插件的输出阈值,设置比较关系和阈值条件,供策略使用,并最终应用到流水线准出条件中,作为准出条件的判断依据。配置方法请参考配置流水线规则。 策略:策略是一系列规则的集合,每个规则对应了一个步骤插件的输出指标值的条件模板,通过预定义策略,可以很方便地在多条不同流水线中应用同样的准出条件。策略实行分层管理,可分为租户级策略和项目级策略。用户可根据需要将策略资源应用到流水线作为准出条件来控制流水线的执行,保障产品交付质量。 说明: 当前仅支持“标准策略准出条件”,可以选择当前项目或租户下创建好的策略。 流水线可以在各阶段单独设置准出条件,准出条件只对当前阶段有效。 同一阶段中可以配置多个不同的准出条件。 单击阶段下方“准出条件”,弹出“准出条件”侧滑框,将鼠标移动到准出条件卡片,单击“添加”。 填写准出条件名称,选择策略。 单击“确定”,即可添加一个准出条件。 阶段编排完成后,保存流水线。
  • 操作场景 服务扩展点是CodeArts的一种扩展插件,为CodeArts提供连接第三方服务的能力。 当CodeArts中的一些任务需要连接到远程第三方服务,进行一些获取数据操作时,例如连接第三方GitHub仓库获取项目源码、连接第三方Jenkins服务执行Jenkins任务等,可以通过新建扩展点来实现与相应服务的连接。 CodeArts支持以下扩展点。 表1 服务扩展点 类型 使用场景 Docker repository 用于连接Docker镜像仓库,连接成功后可以通过部署服获取仓库中的Docker镜像。 Jenkins 用于连接Jenkins服务,连接成功后可以在流水线中调用并执行Jenkins服务中所包含的任务。 Kubernetes 用于连接Kubernetes集群,连接成功后可对Kubernetes集群下发部署任务。 nexus repository 用于连接第三方私有Maven仓库,连接成功后可以通过构建任务获取该仓库中文件信息。 通用Git 用于连接第三方Git仓库,连接成功后可以在流水线、构建等服务中获取该仓库的分支等信息。 码云Git 用于连接码云Git账号,连接成功后可以在流水线、构建等服务中获取该账号的仓库、分支等信息。 GitHub 用于连接Github账号,连接成功后可以在流水线、构建等服务中获取该账号的仓库、分支等信息。 IAM 账户 用于委托自己账号的AK/SK给需要执行任务的账号,在该账号执行部署任务的时候可以通过AK/SK获得被委托的账号的token执行更高权限的任务。 CodeArts Repo HTTPS 用于授权CodeArts服务对托管的Repo仓库进行代码下载、分支创建、分支合并、代码提交等操作。当前主要用于流水线服务的微服务变更功能模块及其相关插件。 Gerrit 用于连接第三方Gerrit仓库,连接成功后可以在流水线、构建等服务中获取该仓库代码。 GitCode 用于连接GitCode账号,连接成功后可以在流水线、构建等服务中获取该账号的仓库、分支等信息。
  • 代码化新建流水线 访问CodeArts Pipeline首页。 单击“新建流水线”,进入“基本信息”页面,参考表1配置流水线基本信息。 表1 流水线基本信息参数说明 参数项 说明 名称 流水线的名称,自定义。支持中文、大小写英文字母、数字、“-”、“_”,长度不超过128个字符。 所属项目 流水线归属项目。 从流水线服务首页入口新建流水线,请根据实际需要选择已创建的项目。 从项目下流水线入口新建流水线,所属项目默认为当前项目,不可更改。 代码源 选择“Repo”:即CodeArts Repo,提供企业代码托管的全方位服务,为软件开发者提供基于Git的在线代码托管服务。 说明: 代码化流水线仅支持使用CodeArts Repo代码仓。 创建方式 选择“YAML化编排”:以代码化YAML方式编排流水线,支持语法自动补齐和校验,方便多流水线批量配置。 代码仓 流水线关联的代码仓库。 默认分支 仓库默认分支,手工或定时执行流水线时默认使用的分支。 配置方式 新建yaml文件:创建一个新的YAML文件。 已有yaml文件:基于已有YAML文件进行编排,编排后的内容会覆盖原YAML文件。YAML文件编写请参考YAML语法规范。 选择yaml文件 配置方式选择“已有yaml文件”时,需设置此参数。 选择提前准备好并存储在代码仓库的YAML文件:选择对应分支并输入YAML文件的相对路径。 Repo HTTPS授权 配置授权扩展点以提升代码库操作权限,当前主要用于流水线服务的微服务变更功能模块及其相关插件。可选择准备工作中提前创建的扩展点,也可单击“新建授权”进行创建,具体操作请参考新建CodeArts服务扩展点。 别名 仓库别名,设置别名后可基于别名生成仓库对应的系统参数,如:“别名_REPOSITORY_NAME”,表示仓库名称。生成的参数可在参数设置页面查看,并在流水线中通过“${参数名}”进行引用。 描述 不超过1024个字符。 配置完基本信息,单击“确定”,进入“任务编排”页面。 左侧为YAML编辑区域,请参考YAML语法规范编写YAML。 右侧为流水线插件列表,请根据需要添加步骤yaml。 编排过程支持语法规范校验;单击“预览”,可切换至图形化界面预览效果。 编排完任务,单击“保存”,填写提交信息,选择推送分支。 选项一表示推送到已有分支:如果是“新建yaml文件”方式新建流水线,已有分支为默认分支;如果是基于“已有yaml文件”方式新建流水线,已有分支则为YAML文件所在的分支。 选项二表示推送到新分支:基于上述已有分支创建一个新分支,勾选“创建合并请求”,则会创建一个从新分支到已有分支的合并请求。 单击“确定”,完成流水线创建。
  • YAML文件示例 为了让您快速理解YAML化流水线,以下通过流水线串联编译构建任务、代码检查任务、部署任务,并在编译构建任务中引用流水线参数的YAML文件为您介绍YAML整体结构。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 env: # 以键值对的形式定义环境变量,定义后可在流水线的任意任务中引用 image_version: 1.0.0 jobs: # 定义组成流水线的任务 build: # 任务ID,定义任务的唯一标识 name: maven build # 任务的名称,在图形化界面中会展示该名称 steps: # 定义组成任务的步骤 - name: My build step # 步骤的名称,在图形化界面中会展示该名称 uses: CodeArtsBuild # 指定步骤运行的插件 with: # 以键值对的形式定义插件的运行参数,可引用env中定义的变量。 jobId: 878b4d13cb284d9e8f33f988a902f57c # 任务id。获取方法:在任务详情页,拷贝浏览器URL末尾的32位数字、字母组合的字符串,即为任务ID。 artifactIdentifier: my_image version: ${{ env.image_version }} check: name: code check steps: - name: My check step uses: CodeArtsCheck with: jobId: 43885d46e13d4bf583d3a648e9b39d1e checkMode: full deploy: name: cce deploy needs: # 使任务在指定的任务结束后才开始运行 - build - check if: ${{ completed() }} # 指定任务的运行条件 steps: - name: My deploy step uses: CodeArtsDeploy with: jobId: 9c5a5cda6ffa4ab583380f5a014b2b31 version: ${{ env.image_version }}
  • 执行流水线 访问CodeArts Pipeline首页。 在流水线列表页找到待执行的流水线,单击操作列。 弹出“执行配置”侧滑框,配置如下信息: 代码源:选择代码源的分支或标签。 运行参数配置:如果流水线配置了运行时参数,请根据需要设置参数值。运行参数配置及使用请参见配置流水线参数。 执行阶段配置:流水线支持选择任务执行,可以选择一个或多个,默认执行全部任务。 流水线阶段如果在配置时选择了“总是运行”,则该阶段的任务默认选中且不能取消。 执行描述:填写本次执行的信息说明。 单击“执行”,进入流水线执行详情页面,可实时查看流水线执行进展及任务执行状态。 图1 执行流水线 单击“停止”,可中止任务执行。 单击“编辑”,可修改流水线配置信息。 流水线支持并发执行,继续单击“执行”,可以再次执行流水线,单条流水线最大支持同时执行的次数由购买套餐决定(体验版:1次;基础版:5次;专业版:10次;企业版:20次)。 执行完成后,即可查看流水线执行结果。执行过程遇到的问题请参考流水线常见问题。
  • Webhook触发 通过Webhook触发,用户可以通过任意第三方系统触发流水线执行。 访问CodeArts Pipeline首页。 在流水线列表页搜索目标流水线,单击操作列,选择“编辑”。 进入流水线“任务编排”页面,切换至“执行计划”页面。 打开“Webhook”开关(默认关闭),参数说明如表2,保存流水线后即可生效。 图5 配置Webhook触发 表2 配置Webhook触发 参数项 说明 Webhook触发源 将该地址复制到第三方系统触发器,使用Post方法调用,即可运行流水线。 IAM认证 启用IAM认证,需要将用户IAM Token加入接口请求头,调用示例如下: curl --header "Content-Type: application/json" --header 'x-auth-token: XXXX(IAM Token)' --request POST --data "{}" Webhook触发源 不启用IAM认证,调用示例如下: curl --header "Content-Type: application/json" --request POST --data "{}" Webhook触发源
  • 配置流水线并发策略 默认单条流水线最大执行并发数为5,超过并发数后新的触发忽略不执行。可以通过并发策略为单条流水线配置同时处于运行中和暂停状态的流水线最大实例个数,即并发数,更细粒度地为用户分配并发资源。 访问CodeArts Pipeline首页。 在流水线列表页搜索目标流水线,单击操作列,选择“编辑”。 进入流水线“任务编排”页面,切换至“执行计划”页面。 打开“并发策略”开关(默认关闭),设置并发数和超过并发后执行策略。 图6 配置并发策略 表3 配置并发策略 参数项 说明 并发个数 单条流水线最大执行并发数,受套餐和购买并发数限制。 超过并发后执行策略 超过并发数后可选择如下两种处理方式: 排队等待:超过并发数后新的触发排队等待执行,可进入流水线详情页查看排队记录。 单条流水线最多支持100条排队记录。 单条排队记录排队时长超过24小时后会被放弃执行。 排队记录支持手动取消排队,即放弃执行。 排队记录执行时,配置信息以入队时为准。 忽略不执行:超过并发数后新的触发忽略不执行。 配置完成后,保存流水线。
  • 配置流水线事件触发 事件触发包括代码提交时触发、合并请求时触发、创建标签时触发。码云代码仓还支持Pull Request、新建issue、评论issue等其他事件。 访问CodeArts Pipeline首页。 在流水线列表页搜索目标流水线,单击操作列,选择“编辑”。 进入流水线“任务编排”页面,切换至“执行计划”页面,在“事件触发”勾选触发事件进行配置。 代码提交时触发(代码托管/码云) 监听代码提交触发事件,可以组合分支和具体路径的包含/排除范围,当在关联的代码仓库中有代码提交且所在的分支和变更文件的路径满足包含/排除策略,会自动触发关联流水线执行。 分支过滤:可以通过设置包含或排除分支,来监听触发事件所在的目标分支。 路径过滤:可以通过设置包含或排除路径,来监听触发事件所在的变更文件路径。 图1 配置代码提交时触发 合并请求时触发(代码托管/码云) 监听合并请求触发事件,可以组合分支和具体路径的包含/排除范围,对新建、合并、更新和重新打开事件设置触发策略,当在关联的代码仓库中触发合并请求事件且分支满足包含/排除策略,会自动触发关联流水线执行。 事件说明: 新建:合并请求创建时触发。 合并:合并请求合入时触发,该事件会同时触发代码提交事件。 重新打开:合并请求重新打开时触发。 更新:合并请求内容更新、设置更新或者源代码更新时触发,打开“仅代码更新触发”,则仅源代码更新时触发。 分支说明: 分支过滤:可以通过设置包含或排除分支,来监听触发事件所在的目标分支。 路径过滤:可以通过设置包含或排除路径,来监听触发事件所在的变更文件路径。 图2 配置合并请求时触发 创建标签时触发(代码托管) 监听创建标签触发事件,可以设置标签包含/排除范围,当在关联的代码仓库创建标签且满足标签包含/排除策略,会自动触发关联流水线执行。 图3 配置创建标签时触发 其他事件(码云) 评论Pull Request:评论Pull Request时触发流水线执行。 新建issue:新建issue时触发流水线运行。 评论issue:评论issue时触发流水线运行。 除了上述事件外,码云代码仓还支持开启事件触发成功后自动评论。 先匹配分支,再匹配路径,都匹配成功,则触发流水线。 路径排除优先于路径包含,即先匹配排除的路径,如果变更文件没有全部在排除范围内,则继续匹配包含的路径。若未配置包含路径,则匹配成功,触发流水线;若配置了包含路径,并且变更文件在路径排除范围外有任意一个在包含范围内,则匹配成功,触发流水线。 标签排除优先于标签包含,即标签同时在包含和排除中时,则匹配失败,不触发流水线。 路径匹配范围:单次提交的前300个变更文件,变更文件数超过300建议拆分。 配置完成后,保存流水线。
  • 配置流水线定时执行 配置流水线在指定的时间自动执行。 访问CodeArts Pipeline首页。 在流水线列表页搜索目标流水线,单击操作列,选择“编辑”。 进入流水线“任务编排”页面,切换至“执行计划”页面。 单击“定时任务”区域的“创建定时任务”,增加一个定时任务,打开“启用定时执行”开关(默认开启),配置如下信息: 图4 配置定时任务 表1 定时任务 参数项 说明 执行日 选择执行日期。 时间段 选择执行时间段和时区。 间隔时间 设置间隔时间,即每间隔多长时间触发一次。 最多可以设置10个定时任务。 单击右上角,可删除定时任务;单击右上角,可复制定时任务。 配置完成后,保存流水线。
  • 终端节点简介 终端节点用于在VPC和终端节点服务之间建立便捷、安全、私密的连接通道。 在同一区域中,通过购买终端节点可以实现所属VPC内云资源跨VPC访问终端节点服务。 根据终端节点访问的终端节点服务的类型,终端节点分为接口终端节点、网关终端节点。 接口终端节点:指访问“接口”型终端节点服务的终端节点,是具备私有IP地址的弹性网络接口,作为接口型终端节点服务的通信入口。 网关终端节点:指访问“网关”型终端节点服务的终端节点,是作为一个网关,在其上配置路由,用于将流量指向网关型终端节点服务。 终端节点的资源实例类型分为专业型、基础型,不同实例类型的特点如下: 专业型:新上线终端节点实例类型,目前已在华东二、中东-利雅得、华东-青岛、非洲-开罗区域开放。单实例带宽规格最大支持10Gbps、支持IPv6双栈等功能。 基础型:原终端节点实例类型。 本章节介绍如何购买并管理终端节点,如表1所示。 表1 终端节点管理说明 操作 说明 使用限制 购买终端节点 介绍如何购买连接终端节点服务的终端节点。 终端节点属于区域级资源,在购买时需要设置区域和项目。 每个租户支持购买50个终端节点。 购买时需要保证所连接的终端节点服务已经存在,且与终端节点服务位于同一区域。 在相同VPC的相同子网中,连接同一个终端节点服务的基础型终端节点只能创建一个。 在相同VPC内创建关联相同终端节点服务的多个终端节点时,仅支持开启一个终端节点的“创建内网 域名 ”开关,如果想通过内网域名访问多个终端节点,请自行修改DNS配置。 终端节点按购买时长计费。 查询并访问终端节点 介绍如何查看终端节点的详细信息。 一个终端节点支持最大并发连接数: 基础型:3000 专业型:1000000 删除终端节点 介绍如何删除终端节点。 终端节点删除后无法恢复,请谨慎操作。 设置接口型终端节点的访问控制 介绍如何开启终端节点的访问控制功能,并通过白名单设置允许访问终端节点的IP地址或网段。 只有连接“接口”型终端节点服务的终端节点支持访问控制功能。 如果关闭访问控制功能,表示允许任何IP访问终端节点。 管理终端节点的标签 介绍如何管理终端节点的标签,包括查看、添加、编辑和删除标签。 支持为终端节点创建10个标签。 父主题: 终端节点管理
  • 购买连接“网关”型终端节点服务的终端节点 进入终端节点列表页。 在“终端节点”列表页,单击“购买终端节点”,进入“购买终端节点”页面。 在“购买终端节点”页面,根据提示配置参数。 图3 购买终端节点(云服务-网关型) 表3 终端节点配置参数 参数 说明 区域 终端节点所在区域。不同区域的资源之间内网不互通。请选择靠近您的区域,可以降低网络时延、提高访问速度。 计费方式 按需计费是后付费模式,按终端节点的实际使用时长计费,可以随时开通/删除终端节点。 仅支持按需计费。 服务类别 可选择“云服务”或“按名称查找服务”。 云服务:当您要连接的终端节点服务为云服务时,需要选择“云服务”。 按名称查找服务:当您要连接的终端节点服务为用户私有服务时,需要选择“按名称查找服务”。 选择服务 若“服务类别”选择“云服务”,则会出现该参数。 在列表中,选择“类型”列为“网关”类型的终端节点服务。 终端节点服务实例已由运维人员预先创建完成,您可以直接使用。 说明: 仅“拉美-墨西哥城一”、“拉美-圣保罗一”和“拉美-圣地亚哥”区域支持通过控制台直接选择“网关”类型的OBS终端节点服务。 此处请根据具体的区域选择对应的OBS服务实例: 拉美-墨西哥城一:com.myhuaweicloud.na-mexico-1.obs 拉美-圣保罗一:com.myhuaweicloud.sa-brazil-1.obs 拉美-圣地亚哥:com.myhuaweicloud.la-south-2.obs 其他区域的“网关”类型的OBS终端节点服务目前需要按照名称查找并关联终端节点,终端节点服务名称请提交工单或联系OBS服务运维人员获取。 服务名称 若“服务类别”选择“按名称查找服务”,则会出现该参数。 输入查看终端节点服务详情中记录的终端节点服务名称,单击“验证”: 若显示“已找到服务”,继续后续操作。 若显示“未找到服务”,请检查“区域”是否和终端节点服务所在区域一致或输入的“服务名称”是否正确。 虚拟私有云 选择终端节点所属的虚拟私有云。 路由表 当创建连接“网关”类型终端节点服务的终端节点时,则会出现该参数。 说明: 该参数仅在开放区域可见。 建议选择所有路由表,否则可能导致网络无法访问。 根据实际需求选择终端节点所属的虚拟私有云的路由表。 添加路由的详细操作请参考《虚拟私有云用户指南》中的“添加自定义路由”。 策略 双端固定策略,即设置 VPC终端节点 策略与桶策略,可以对OBS的资源提供VPC粒度的权限控制。 设置VPC终端节点策略可以限制VPC中的服务器(E CS /CCE/BMS)访问OBS中的特定资源。 设置桶策略可以限定OBS中的桶被特定VPC中的服务器访问。 标签 可选参数。 终端节点的标识,包括键和值。可以为终端节点创建20个标签。 标签的命名规则请参考表4。 说明: 如果已经通过TMS的预定义标签功能预先创建了标签,则可以直接选择对应的标签键和值。 预定义标签的详细内容,请参见预定义标签简介。 如果您的组织已经设定VPC终端节点的相关标签策略,则需按照标签策略规则为终端节点添加标签。标签如果不符合标签策略的规则,则可能会导致终端节点创建失败,请联系组织管理员了解标签策略详情。 描述 终端节点服务描述内容。 表4 终端节点标签命名规则 参数 规则 键 不能为空。 对于同一资源键值唯一。 长度不超过36个字符。 取值只能包含大写字母、小写字母、数字、中划线、下划线、以及从\u4e00到\u9fff的Unicode字符。 值 不能为空。 长度不超过43个字符。 取值只能包含大写字母、小写字母、数字、中划线、下划线、以及从\u4e00到\u9fff的Unicode字符。 参数配置完成,单击“立即购买”,进行规格确认。 规格确认无误,单击“提交”,任务提交成功。 参数信息配置有误,需要修改,单击“上一步”,修改参数,然后单击“提交”。
  • 购买连接“接口”型终端节点服务的终端节点 进入终端节点列表页。 在“终端节点”列表页,单击“购买终端节点”,进入“购买终端节点”页面。 在“购买终端节点”页面,根据提示配置参数。 图1 购买终端节点(云服务-接口型) 图2 购买终端节点(按名称查找服务-接口型) 表1 终端节点配置参数 参数 说明 区域 终端节点所在区域。不同区域的资源之间内网不互通。请选择靠近您的区域,可以降低网络时延、提高访问速度。 计费方式 按需计费是后付费模式,按终端节点的实际使用时长计费,可以随时开通/删除终端节点。仅支持按需计费。 服务类别 可选择“云服务”或“按名称查找服务”。 云服务:当您要连接的终端节点服务为云服务时,需要选择“云服务”。 按名称查找服务:当您要连接的终端节点服务为用户私有服务时,需要选择“按名称查找服务”。 选择服务 若“服务类别”选择“云服务”,则会出现该参数。 终端节点服务实例已由运维人员预先创建完成,您可以直接使用。 服务名称 若“服务类别”选择“按名称查找服务”,则会出现该参数。 在终端节点服务列表的“名称”列,拷贝并输入待访问终端节点服务的名称,单击“验证”: 若显示“已找到服务”,继续后续操作。 若显示“未找到服务”,请检查“区域”是否和终端节点服务所在区域一致或输入的“服务名称”是否正确。 创建内网域名 如果您想要以域名的方式访问终端节点,则选择“创建内网域名”,终端节点创建完成后,即可通过内网域名直接访问终端节点。 关联终端节点服务类型为“接口”时需要在页面设置此选项。 终端节点类型 根据选择关联的终端节点服务的类型展示。 选择关联接口终端节点服务时,默认展示“接口终端节点”。 选择关联网关终端节点服务时,默认展示“网关终端节点”。 实例类型 选择关联接口终端节点服务时,需要配置该参数。 支持选择“专业型”、“基础型”。 专业型:新上线终端节点实例类型,目前已在华东二、中东-利雅得、华东-青岛、非洲-开罗区域开放。单实例带宽规格最大支持10Gbps、支持IPv6双栈等功能。 基础型:原终端节点实例类型。 网络类型 选择关联接口终端节点服务且开启高级模式时,需要配置该参数。 支持选择“IPv4”、“双栈”。 IPv4:表示仅支持IPv4网络类型。 双栈:表示同时支持IPv4和IPv6网络类型。 虚拟私有云 选择终端节点所属的虚拟私有云。 子网 当“选择服务”的“类型”为“接口”时,则会出现该参数。 选择终端节点所属的子网。 IPv4地址 支持自动分配IPv4地址或手动指定IP地址。 IPv6地址 实例类型选择“专业型”,同时网络类型选择“双栈”,需要配置该参数。 支持自动分配IPv6地址或手动指定IP地址。 节点IP 当“选择服务”的“类型”为“接口”时,则会出现该参数。 终端节点的私网IP。可选择“自动分配”或“手动分配”。 访问控制 当“选择服务”的“类型”为“接口”时,则会出现该参数。 用于设置允许访问终端节点的IP地址或网段。 开启:只允许白名单列表中的IP地址或网段访问终端节点。 关闭:允许任何IP地址或网段访问终端节点。 白名单 当“选择服务”的“类型”为“接口”时,打开“访问控制”开关,则会出现该参数。 用于设置允许访问的IP地址或网段,最多支持添加20个记录。 请输入允许访问的IP地址或网段,不支持格式:0.0.0.0和x.x.x.x/0。 策略 双端固定策略,即设置VPC终端节点策略与桶策略,可以对OBS的资源提供VPC粒度的权限控制。 设置VPC终端节点策略可以限制VPC中的服务器(ECS/CCE/BMS)访问OBS中的特定资源。 设置桶策略可以限定OBS中的桶被特定VPC中的服务器访问。 标签 可选参数。 终端节点的标识,包括键和值。可以为终端节点创建20个标签。 标签的命名规则请参考表2。 说明: 如果已经通过TMS的预定义标签功能预先创建了标签,则可以直接选择对应的标签键和值。 预定义标签的详细内容,请参见预定义标签简介。 如果您的组织已经设定VPC终端节点的相关标签策略,则需按照标签策略规则为终端节点添加标签。标签如果不符合标签策略的规则,则可能会导致终端节点创建失败,请联系组织管理员了解标签策略详情。 描述 终端节点服务描述内容。 表2 终端节点标签命名规则 参数 规则 键 不能为空。 对于同一资源键值唯一。 长度不超过36个字符。 取值只能包含大写字母、小写字母、数字、中划线、下划线、以及从\u4e00到\u9fff的Unicode字符。 值 不能为空。 长度不超过43个字符。 取值只能包含大写字母、小写字母、数字、中划线、下划线、以及从\u4e00到\u9fff的Unicode字符。 参数配置完成,单击“立即购买”,进行规格确认。 规格确认无误,单击“提交”,任务提交成功。 参数信息配置有误,需要修改,单击“上一步”,修改参数,然后单击“提交”。
  • 约束与限制 终端节点属于区域级资源,在购买时需要设置区域和项目。 每个租户支持购买50个终端节点。 购买时需要保证所连接的终端节点服务已经存在,且与终端节点服务位于同一区域。 在相同VPC的相同子网中,连接同一个终端节点服务的基础型终端节点只能创建一个。 在相同VPC内创建关联相同终端节点服务的多个终端节点时,仅支持开启一个终端节点的“创建内网域名”开关,如果想通过内网域名访问多个终端节点,请自行修改DNS配置。 终端节点按购买时长计费。
  • 操作场景 终端节点用于在VPC和终端节点服务之间建立便捷、安全、私密的连接通道。 在同一区域中,通过购买终端节点可以实现所属VPC内云资源跨VPC访问终端节点服务。 终端节点与终端节点服务一一对应,访问不同类型终端节点服务的终端节点存在差异: 访问“接口”型终端节点服务的终端节点:是具备私有IP地址的弹性网络接口,作为接口型终端节点服务的通信入口。 访问“网关”型终端节点服务的终端节点:是一个网关,在其上配置路由,用于将流量指向网关型终端节点服务。 仅“拉美-墨西哥城一”、“拉美-圣保罗一”和“拉美-圣地亚哥”区域支持购买访问“网关”型终端节点服务的终端节点。 其他区域的“网关”类型的OBS终端节点服务目前需要按照名称查找并关联终端节点,终端节点服务名称请提交工单或联系OBS服务运维人员获取。 您可以根据实际需求,购买连接不同终端节点服务类型的终端节点: 购买连接“接口”型终端节点服务的终端节点 购买连接“网关”型终端节点服务的终端节点
  • 操作步骤 进入终端节点列表页。 在“终端节点”列表页,单击“购买终端节点”。 进入“购买终端节点”页面。 根据界面提示配置参数。 表1 终端节点配置参数 参数 示例 说明 区域 华北-北京四 终端节点所在区域,与终端节点服务所在区域保持一致。 计费方式 按需计费 按需计费是后付费模式,按终端节点的实际使用时长计费,可以随时开通/删除终端节点。 仅支持按需计费。 服务类别 按名称查找服务 可选择“云服务”或“按名称查找服务”。 云服务:当您要连接的终端节点服务为云服务时,需要选择“云服务”。 按名称查找服务:当您要连接的终端节点服务为用户私有服务时,需要选择“按名称查找服务”。 此处选择“按名称查找服务”。 服务名称 - 若“服务类别”选择“按名称查找服务”,则会出现该参数。 输入查看终端节点服务详情中记录的终端节点服务名称,单击“验证”: 若显示“已找到服务”,继续后续操作。 若显示“未找到服务”,请检查“区域”是否和终端节点服务所在区域一致或输入的“服务名称”是否正确。 创建内网域名 - 如果您想要以域名的方式访问终端节点,则选择“创建内网域名”,终端节点创建完成后,即可通过内网域名直接访问终端节点。 关联终端节点服务类型为“接口”时需要在页面设置此选项。 终端节点类型 接口 根据选择关联的终端节点服务的类型展示。 选择关联接口终端节点服务时,默认展示“接口终端节点”。 选择关联网关终端节点服务时,默认展示“网关终端节点”。 实例类型 专业型 选择关联接口终端节点服务时,需要配置该参数。 支持选择“专业型”、“基础型”。 专业型:新上线终端节点实例类型,目前已在华东二、中东-利雅得、华东-青岛、非洲-开罗区域开放。单实例带宽规格最大支持10Gbps、支持IPv6双栈、组织粒度的策略授权等功能。 基础型:原终端节点实例类型。 网络类型 IPv4 选择关联接口终端节点服务且开启高级模式时,需要配置该参数。 支持选择“IPv4”、“双栈”。 IPv4:表示仅支持IPv4网络类型。 双栈:表示同时支持IPv4和IPv6网络类型。 虚拟私有云 - 选择终端节点所属的虚拟私有云。 子网 - 选择终端节点所属的子网。 IPv4地址 - 支持自动分配IPv4地址或手动指定IP地址。 IPv6地址 - 实例类型选择“专业型”,同时网络类型选择“双栈”,需要配置该参数。 支持自动分配IPv6地址或手动指定IP地址。 节点IP - 当创建连接“接口”类型终端节点服务的终端节点时,则会出现该参数。 终端节点的私网IP。可选择“自动分配”或“手动分配”。 访问控制 开启 当创建连接“接口”类型终端节点服务的终端节点时,则会出现该参数。 用于设置允许访问终端节点的IP地址或网段。 开启:只允许白名单列表中的IP地址或网段访问终端节点。 关闭:允许任何IP地址或网段访问终端节点。 白名单 - 当创建连接“接口”类型终端节点服务的终端节点时,则会出现该参数。 用于设置允许访问的IP地址或网段,最多支持添加20个记录。 策略 - 双端固定策略,即设置VPC终端节点策略与桶策略,可以对OBS的资源提供VPC粒度的权限控制。 设置VPC终端节点策略可以限制VPC中的服务器(ECS/CCE/BMS)访问OBS中的特定资源。 设置桶策略可以限定OBS中的桶被特定VPC中的服务器访问。 标签 example_key1 example_value1 您按需为终端节点绑定标签,标签可用来分类和标识资源。 终端节点购买完成后支持修改该参数。 描述 - 终端节点描述内容。 表2 终端节点标签命名规则 参数 规则 键 不能为空。 对于同一资源键值唯一。 长度不超过36个字符。 取值只能包含大写字母、小写字母、数字、中划线、下划线、以及从\u4e00到\u9fff的Unicode字符。 值 不能为空。 长度不超过43个字符。 取值只能包含大写字母、小写字母、数字、中划线、下划线、以及从\u4e00到\u9fff的Unicode字符。 参数配置完成,单击“立即购买”,进行规格确认。 规格确认无误,单击“提交”,任务提交成功。 参数信息配置有误,需要修改,单击“上一步”,修改参数,然后单击“提交”。 连接管理。 如果终端节点状态为“已接受”,表示终端节点已成功连接至终端节点服务;如果终端节点状态为“待接受”,表示要连接的终端节点服务开启了“连接审批”功能,需要先进行审批,操作如下: 单击对应的终端节点服务名称,进入终端节点服务详情页面。 在终端节点服务详情页面,单击“连接管理” 如果同意终端节点的连接,在连接管理页面的“操作”栏下,单击“接受”。 如果不同意终端节点的连接,在连接管理页面的“操作”栏下,单击“拒绝”。 再返回终端节点列表查看终端节点状态变为“已接受”,表示终端节点已成功连接至终端节点服务。 单击终端节点ID,即可查看终端节点的详细信息。 终端节点创建成功后,会生成一个“节点IP”(就是私有IP)和“内网域名”(如果在创建终端节点时您勾选了“创建内网域名”)。 您可以使用节点IP或内网域名访问终端节点服务,进行跨VPC资源通信。
  • 操作步骤 进入终端节点列表页。 在“终端节点”列表页,单击“购买终端节点”。 进入“购买终端节点”页面。 根据界面提示配置参数。 表1 终端节点配置参数 参数 示例 说明 区域 华北-北京四 终端节点所在区域,与终端节点服务所在区域保持一致。 计费方式 按需计费 按需计费是后付费模式,按终端节点的实际使用时长计费,可以随时开通/删除终端节点。 仅支持按需计费。 服务类别 按名称查找服务 可选择“云服务”或“按名称查找服务”。 云服务:当您要连接的终端节点服务为云服务时,需要选择“云服务”。 按名称查找服务:当您要连接的终端节点服务为用户私有服务时,需要选择“按名称查找服务”。 此处选择“按名称查找服务”。 服务名称 - 若“服务类别”选择“按名称查找服务”,则会出现该参数。 输入查看终端节点服务详情中记录的终端节点服务名称,单击“验证”: 若显示“已找到服务”,继续后续操作。 若显示“未找到服务”,请检查“区域”是否和终端节点服务所在区域一致或输入的“服务名称”是否正确。 创建内网域名 - 如果您想要以域名的方式访问终端节点,则选择“创建内网域名”,终端节点创建完成后,即可通过内网域名直接访问终端节点。 关联终端节点服务类型为“接口”时需要在页面设置此选项。 终端节点类型 接口 根据选择关联的终端节点服务的类型展示。 选择关联接口终端节点服务时,默认展示“接口终端节点”。 选择关联网关终端节点服务时,默认展示“网关终端节点”。 实例类型 专业型 选择关联接口终端节点服务时,需要配置该参数。 支持选择“专业型”、“基础型”。 专业型:新上线终端节点实例类型,目前已在华东二、中东-利雅得、华东-青岛、非洲-开罗区域开放。单实例带宽规格最大支持10Gbps、支持IPv6双栈、组织粒度的策略授权等功能。 基础型:原终端节点实例类型。 网络类型 IPv4 选择关联接口终端节点服务且开启高级模式时,需要配置该参数。 支持选择“IPv4”、“双栈”。 IPv4:表示仅支持IPv4网络类型。 双栈:表示同时支持IPv4和IPv6网络类型。 虚拟私有云 - 选择终端节点所属的虚拟私有云。 子网 - 选择终端节点所属的子网。 IPv4地址 - 支持自动分配IPv4地址或手动指定IP地址。 IPv6地址 - 实例类型选择“专业型”,同时网络类型选择“双栈”,需要配置该参数。 支持自动分配IPv6地址或手动指定IP地址。 节点IP - 当创建连接“接口”类型终端节点服务的终端节点时,则会出现该参数。 终端节点的私网IP。可选择“自动分配”或“手动分配”。 访问控制 开启 当创建连接“接口”类型终端节点服务的终端节点时,则会出现该参数。 用于设置允许访问终端节点的IP地址或网段。 开启:只允许白名单列表中的IP地址或网段访问终端节点。 关闭:允许任何IP地址或网段访问终端节点。 白名单 - 当创建连接“接口”类型终端节点服务的终端节点时,则会出现该参数。 用于设置允许访问的IP地址或网段,最多支持添加20个记录。 策略 - 双端固定策略,即设置VPC终端节点策略与桶策略,可以对OBS的资源提供VPC粒度的权限控制。 设置VPC终端节点策略可以限制VPC中的服务器(ECS/CCE/BMS)访问OBS中的特定资源。 设置桶策略可以限定OBS中的桶被特定VPC中的服务器访问。 标签 example_key1 example_value1 您按需为终端节点绑定标签,标签可用来分类和标识资源。 终端节点购买完成后支持修改该参数。 描述 - 终端节点描述内容。 表2 终端节点标签命名规则 参数 规则 键 不能为空。 对于同一资源键值唯一。 长度不超过36个字符。 取值只能包含大写字母、小写字母、数字、中划线、下划线、以及从\u4e00到\u9fff的Unicode字符。 值 不能为空。 长度不超过43个字符。 取值只能包含大写字母、小写字母、数字、中划线、下划线、以及从\u4e00到\u9fff的Unicode字符。 参数配置完成,单击“立即购买”,进行规格确认。 规格确认无误,单击“提交”,任务提交成功。 参数信息配置有误,需要修改,单击“上一步”,修改参数,然后单击“提交”。 连接管理。 如果终端节点状态为“已接受”,表示终端节点已成功连接至终端节点服务;如果终端节点状态为“待接受”,表示要连接的终端节点服务开启了“连接审批”功能,需要先进行审批,操作如下: 单击对应的终端节点服务名称,进入终端节点服务详情页面。 在终端节点服务详情页面,单击“连接管理” 如果同意终端节点的连接,在连接管理页面的“操作”栏下,单击“接受”。 如果不同意终端节点的连接,在连接管理页面的“操作”栏下,单击“拒绝”。 再返回终端节点列表查看终端节点状态变为“已接受”,表示终端节点已成功连接至终端节点服务。 单击终端节点ID,即可查看终端节点的详细信息。 终端节点创建成功后,会生成一个“节点IP”(就是私有IP)和“内网域名”(如果在创建终端节点时您勾选了“创建内网域名”)。 您可以使用节点IP或内网域名访问终端节点服务,进行跨VPC资源通信。
  • 产品架构 VPC终端节点由“终端节点服务”和“终端节点”两种资源实例组成。 终端节点服务:指将云服务或用户私有服务配置为VPC终端节点支持的服务,可以被终端节点连接和访问。 更多内容,请参考终端节点服务。 终端节点:用于在VPC和终端节点服务之间建立便捷、安全、私密的连接通道。 根据终端节点访问的终端节点服务的类型,终端节点分为接口终端节点、网关终端节点。 接口终端节点:指访问“接口”型终端节点服务的终端节点,是具备私有IP地址的弹性网络接口,作为接口型终端节点服务的通信入口。 网关终端节点:指访问“网关”型终端节点服务的终端节点,是作为一个网关,在其上配置路由,用于将流量指向网关型终端节点服务。 终端节点的资源实例类型分为专业型、基础型,不同实例类型的特点如下: 专业型:新上线终端节点实例类型,目前已在华东二、中东-利雅得、华东-青岛、非洲-开罗区域开放。单实例带宽规格最大支持10Gbps、支持IPv6双栈、组织粒度的策略授权等功能。 基础型:原终端节点实例类型。 更多内容,请参考终端节点。 图1 VPC终端节点组网示意图 如图1所示,建立了“终端节点”到“终端节点服务”的访问通道,实现: VPC 1中的云资源(ECS 1)通过内网访问VPC 3中的云资源(ECS 3)。 VPC 2中的云资源(ECS 2)通过内网访问云服务(如OBS、DNS)。 本地数据中心(IDC)通过VPN或者DC的方式与VPC 2连通,实现IDC通过内网访问云服务(如OBS、DNS)。 更多关于VPC终端节点的组网应用信息,请参见应用场景。
  • 方案架构 结合用户业务需求分析,不仅需要实现云下用户数据中心与华为云上互通,同时要不借助公网访问云上VPC内的资源和其他云服务。 本实践中主要用到以下两个服务来实现用户业务需求: 云专线(Direct Connect),用于搭建用户本地数据中心与华为云VPC之间高速、低时延、稳定安全的专属连接通道,充分利用华为云服务优势的同时,继续使用现有的IT设施,实现灵活一体,可伸缩的混合云计算环境。 云专线服务在本方案中主要用于实现云下用户数据中心与华为云VPC上互通 VPC终端节点(VPC Endpoint),可以在VPC内提供便捷、安全、私密的通道与终端节点服务(华为云服务、用户私有服务)进行连接,该服务使用华为云内部网络,无需弹性公网IP。 VPC终端节点服务在本方案中主要用于实现通过华为云内网访问云上VPC内的资源和其他云服务。 如图2所示: 通过云专线实现云下IDC与云上VPC1互通。 通过终端节点1,IDC可以访问VPC1内的云资源ELB。 通过终端节点2,IDC可以跨VPC访问VPC2内的云资源ECS。 通过终端节点3,IDC可以通过内网访问云服务DNS。 通过终端节点4,IDC可以通过内网访问云服务OBS。 图2 通过云专线和VPC终端节点实现云下IDC访问华为云服务 并非所有的云服务都支持用户云下通过VPCEP走内网访问,仅支持提供了VPCEP的服务可以通过内网访问云上资源和云服务。
  • 应用场景 在企业IDC上云的过程中,用户云下IDC长期保持复杂的混合云架构:云下IDC生产、云下IDC测试、云上华为云生产、云上华为云测试、云上其他云的生产和测试等等,因此经常存在云下IDC通过内网(专线或VPN)上云访问云上业务的功能需求,而单纯依赖专线或VPN上云后很多云上资源和云服务依然无法访问。 如图1所示,云下IDC希望不通过公网的方式访问云上VPC1、VPC2内的资源(ELB、ECS)以及其他云服务(OBS、DNS)。 图1 云下IDC访问华为云服务(业务需求)
  • 配置HBase/CloudTable目的端参数 作业中目的连接为HBase连接或CloudTable连接时,即导入数据到以下数据源时,目的端作业参数如表1所示。 表1 HBase/CloudTable作为目的端时的作业参数 参数名 说明 取值样例 表名 写入数据的HBase表名。如果是创建新HBase表,支持从源端复制字段名。单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过 DataArts Studio 数据开发调度 CDM 迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 TBL_2 导入前清空数据 选择目的端表中数据的处理方式: 是:任务启动前会清除目标表中数据。 否:导入前不清空目标表中的数据,如果选“否”且表中有数据,则数据会追加到已有的表中。 是 自动创表 只有当源端为关系数据库时,才有该参数。表示写入表数据时,用户选择的操作: 不自动创建:不自动建表。 不存在时创建:当目的端的数据库没有“表名”参数中指定的表时,CDM会自动创建该表。如果“表名”参数配置的表已存在,则不创建,数据写入到已存在的表中。 说明: Hbase自动建表包含列族与协处理器Coprocessor信息。其他属性按默认值设置,不跟随源端。 不自动创建 Row key拼接分隔符 可选参数,用于多列合并作为rowkey,默认为空格。 , Rowkey冗余 可选参数,是否将选做Rowkey的数据同时写入HBase的列,默认值“否”。 否 压缩算法 可选参数,创建新HBase表时采用的压缩算法,默认为值“NONE”。 NONE:不压缩。 SNAPPY:压缩为Snappy格式。 GZ:压缩为GZ格式。 NONE WAL开关 选择是否开启HBase的预写日志机制(WAL,Write Ahead Log)。 是:开启后如果出现HBase服务器宕机,则可以从WAL中回放执行之前没有完成的操作。 否:关闭时能提升写入性能,但如果HBase服务器宕机可能会造成数据丢失。 否 匹配数据类型 是:源端数据库中的Short、Int、Long、Float、Double、Decimal类型列的数据,会转换为Byte[]数组(二进制)写入HBase,其他类型的按字符串写入。如果这几种类型中,有合并做rowkey的,则依然当字符串写入。 该功能作用是:降低存储占用空间,存储更高效;特定场景下rowkey分布更均匀。 否:源端数据库中所有类型的数据,都会按照字符串写入HBase。 否 父主题: 配置CDM作业目的端参数
共100000条