华为云用户手册

  • Flink流式读Hudi表规则 Flink流式读Hudi表参数规范如下所示。 表1 Flink流式读Hudi表参数规范 参数名称 是否必填 参数描述 示例 Connector 必填 读取表类型。 hudi Path 必填 表存储的路径。 根据实际情况填写 table.type 必填 Hudi表类型,默认值为COPY_ON_WRITE。 MERGE_ON_READ hoodie.datasource.write.recordkey.field 必填 表的主键。 根据实际填写 write.precombine.field 必填 数据合并字段。 根据实际填写 read.tasks 选填 读Hudi表task并行度,默认值为4。 4 read.streaming.enabled 必填 true:开启流式增量模式。 false:批量读。 根据实际填写,流读场景下为true read.streaming.start-commit 选填 指定 ‘yyyyMMddHHmmss’ 格式的起始commit(闭区间),默认从最新commit。 - hoodie.datasource.write.keygenerator.type 选填 上游表主键生成类型。 COMPLEX read.streaming.check-interval 选填 流读检测上游新提交的周期,默认值为1分钟。 5(流量大建议使用默认值) read.end-commit 选填 Stream增量消费,通过参数read.streaming.start-commit指定起始消费位置; Batch增量消费,通过参数read.streaming.start-commit指定起始消费位置,通过参数read.end-commit指定结束消费位置(闭区间),即包含起始、结束的commit。默认到最新commit。 - changelog.enabled 选填 是否写入changelog消息。默认值为false,CDC场景填写为true。 false 父主题: Flink流式读Hudi表规范
  • 配置多个ClickHouseBalancer实例IP 配置多个ClickHouseBalancer实例IP可以避免ClickHouseBalancer实例单点故障。相关配置(with属性)如下: 'url' = 'jdbc:clickhouse://ClickHouseBalancer实例IP1:ClickHouseBalancer端口,ClickHouseBalancer实例IP2:ClickHouseBalancer端口/default',
  • Sink表配置合适的攒批参数 攒批写参数: Flink会将数据先放入内存,到达触发条件时再flush到数据库表中。 相关配置如下: sink.buffer-flush.max-rows:攒批写ClickHouse的行数,默认100。 sink.buffer-flush.interval:攒批写入的间隔时间,默认1s。 两个条件只要有一个满足,就会触发一次sink,即到达触发条件时再flush到数据库表中。 示例1:60秒sink一次 'sink.buffer-flush.max-rows' = '0', 'sink.buffer-flush.interval' = '60s' 示例2:100条sink一次 'sink.buffer-flush.max-rows' = '100', 'sink.buffer-flush.interval' = '0s' 示例3:数据不sink 'sink.buffer-flush.max-rows' = '0', 'sink.buffer-flush.interval' = '0s'
  • Kafka作为source表时必须指定“properties.group.id”配置项 【示例】以“testGroup”为用户组读取主题为“test_sink”的Kafka消息: CREATE TABLE KafkaSource( `user_id` VARCHAR, `user_name` VARCHAR, `age` INT ) WITH ( 'connector' = 'kafka', 'topic' = 'test_sink', 'properties.bootstrap.servers' = 'Kafka的Broker实例业务IP:Kafka端口号', 'scan.startup.mode' = 'latest-offset', 'properties.group.id' = 'testGroup', 'value.format' = 'csv', 'properties.sasl.kerberos.service.name' = 'kafka', 'properties.security.protocol' = 'SASL_PLAINTEXT', 'properties.kerberos.domain.name' = 'hadoop.系统 域名 ' ); SELECT * FROM KafkaSource;
  • Kafka作为sink表时必须指定“topic”配置项 【示例】向Kafka的“test_sink”主题插入一条消息: CREATE TABLE KafkaSink( `user_id` VARCHAR, `user_name` VARCHAR, `age` INT ) WITH ( 'connector' = 'kafka', 'topic' = 'test_sink', 'properties.bootstrap.servers' = 'Kafka的Broker实例业务IP:Kafka端口号', 'scan.startup.mode' = 'latest-offset', 'value.format' = 'csv', 'properties.sasl.kerberos.service.name' = 'kafka', 'properties.security.protocol' = 'SASL_PLAINTEXT', 'properties.kerberos.domain.name' = 'hadoop.系统域名' ); INSERT INTO KafkaSink (`user_id`, `user_name`, `age`)VALUES ('1', 'John Smith', 35);
  • 为保证数据准确性将同key数据写入Kafka的同一个分区 Flink写Kafka使用fixed策略,并在写入之前根据key进行Hash。 【示例】 CREATE TABLE kafka ( f_sequence INT, f_sequence1 INT, f_sequence2 INT, f_sequence3 INT ) WITH ( 'connector' = 'kafka', 'topic' = 'yxtest123', 'properties.bootstrap.servers' = '192.168.0.104:9092', 'properties.group.id' = 'testGroup1', 'scan.startup.mode' = 'latest-offset', 'format' = 'json', 'sink.partitioner'='fixed' ); insert into kafka select /*+ DISTRIBUTEBY('f_sequence','f_sequence1') */ * from datagen;
  • Kafka作为source表时应设置限流 本章节适用于 MRS 3.3.0及以后版本。 防止上限超过流量峰值,导致作业异常带来不稳定因素。因此建议设置限流,限流上限应该为业务上线压测的峰值。 【示例】 #如下参数作用在每个并行度 'scan.records-per-second.limit' = '1000' #真实的限流流量如下 min( parallelism * scan.records-per-second.limit,partitions num * scan.records-per-second.limit)
  • 操作场景 SFS容量型文件系统除了支持多VPC访问,还支持跨账号跨VPC访问。 只要将其他账号使用的VPC的VPC ID添加到SFS容量型文件系统的权限列表下,且云服务器IP地址或地址段被添加至授权地址中,则实际上不同账号间的云服务器也能共享访问同一个文件系统。 更多关于VPC的信息请参见虚拟私有云 VPC。 SFS Turbo文件系统基于VPC的对等连接功能,实现跨账号访问。更多关于VPC对等连接功能信息和实现方法请参见VPC对等连接。 本章节介绍SFS容量型文件系统如何实现跨账号跨VPC访问。SFS容量型文件系统目前仅北京四支持跨账号访问功能。
  • SFS容量型操作步骤 登录弹性文件服务管理控制台。 在文件系统列表中单击目标文件系统名称,进入权限列表界面。 可以为文件系统添加多个其他账号使用的VPC,单击“租户授权添加VPC”,弹出“租户授权添加VPC”对话框。如图1所示。 图1 租户授权添加VPC 可以根据参数说明如表1所示完成添加。 表1 参数说明 参数 说明 虚拟私有云 添加VPC的VPC ID。VPC ID可以前往虚拟私有云控制台,查看目标VPC详情获取。 授权地址 只能输入一个IPv4地址/地址段。 输入的IPv4地址/地址段必须合法,且不能为除0.0.0.0/0以外之前0开头的IP地址或地址段,其中当设置为0.0.0.0/0时表示VPC内的任意IP。同时,不能为127以及224~255开头的IP地址或地址段,例如127.0.0.1,224.0.0.1,255.255.255.255,因为以224-239开头的IP地址或地址段是属于D类地址,用于组播;以240-255开头的IP地址或地址段属于E类地址,用于研究。使用非合法的IP或IP地址段可能会导致添加访问规则失败或者添加的访问规则无法生效。 无法输入多个地址,如:10.0.1.32,10.5.5.10用逗号分隔等形式的多个地址。 如果要表示一个地址段,如192.168.1.0-192.168.1.255的地址段应使用掩码形式:192.168.1.0/24,不支持192.168.1.0-255等其他地址段表示形式。掩码位数的取值为0到31的整数,且只有为0.0.0.0/0时掩码位数可取0,其他情况均不合法。 优先级 优先级只能是0-100的整数。0表示优先级最高,100表示优先级最低。同一VPC内挂载时会优先使用该优先级高的IP地址/地址段所拥有的权限,存在相同优先级时会优先匹配最新添加或修改的IP地址/地址段。例如:用户在执行挂载操作时的IP地址为10.1.1.32,而在已经授权的IP地址/地址段中10.1.1.32(读写)优先级为100和10.1.1.0/24(只读)优先级为50均符合要求,则用户权限会使用优先级为50的10.1.1.0/24(只读)的只读权限。10.1.1.0/24内的所有地址包括10.1.1.32,在无其他授权优先级的情况下,则将会使用优先级为50的10.1.1.0/24(只读)的只读权限。 读或写权限 分为读/写权限和只读权限。默认为“读/写”。 用户权限 设置是否保留共享目录的UID和GID。默认为“no_all_squash”。 all_squash:共享文件的UID(User ID)和GID(Group ID)映射给nobody用户,适合公共目录。 no_all_squash:保留共享文件的UID和GID。 CIFS类型的文件系统添加授权地址时,不涉及该参数。 用户root权限 设置是否允许客户端的root权限。默认为“no_root_squash”。 root_squash:不允许客户端以root用户访问,客户端使用root用户访问时映射为nobody用户。 no_root_squash:允许客户端以root用户访问,root用户具有根目录的完全控制访问权限。 CIFS类型的文件系统添加授权地址时,不涉及该参数。 单击“确定”,完成添加。添加成功的VPC会出现在列表中。 单击VPC名称左边的,可以查看目标VPC添加的IP地址/地址段的详细信息。可以对其进行添加、编辑和删除IP地址/地址段的操作。在目标VPC的“操作”列,单击“添加”,弹出“添加授权地址”的弹窗,如图2所示。可以根据参数说明如表1所示完成添加。 图2 增加授权地址
  • 查看微服务 进入微服务,在微服务列表页单击微服务名称,可查看微服务详细信息。 概览 概览页展示微服务的创建人、创建时间以及代码源等信息,可根据需要编辑微服务语言、关联的代码仓库和描述信息。 更换代码仓库时,如果微服务下存在没有关闭的变更或运行中的流水线,页面会弹出“数据处理”侧滑框,需先关闭所有变更并停止所有运行中的流水线。 变更 管理微服务下的变更信息,详情请参见变更管理。 流水线 管理微服务下的流水线资源,微服务下的流水线和普通流水线有如下区别: 微服务中,创建流水线时代码仓库不可更改,默认与微服务绑定的代码仓库一致。 修改微服务的代码仓库,微服务下所有流水线配置的代码库会自动更改。 微服务中,可创建一条“变更流水线”,用于联动微服务下的变更,发布变更资源,更多变更流水线的说明,参见变更与流水线。 父主题: 微服务管理
  • 函数 表达式中可使用如下内置函数。 contains 格式 contains(search, item) 含义 如果“search”包含“item”,则函数返回“true”。如果“search”是一个数组,那么如果“item”是数组中的一个元素,则此函数返回“true”;如果“search”是一个字符串,那么如果“item”是“search”的子字符串,则函数返回“true”。 示例 contains('abc', 'bc') ,函数将返回“true”。 startsWith 格式 startsWith(searchString, searchValue) 含义 如果“searchString ”以“searchValue”开始,则函数返回“true ”。 示例 startsWith('abc', 'ab'),函数将返回“true”。 endsWith 格式 endsWith(searchString, searchValue) 含义 如果“searchString”以“searchValue”结束,则函数返回“true”。 示例 endsWith('abc', 'bc'),函数将返回“true”。 对象筛选器 使用“*”语法应用筛选器并选择集合中的匹配项。 示例: 如下是流水线某次运行的jobs上下文。 则“jobs.*.status”返回“[ 'COMPLETED', 'FAILED' ]”。 可结合contains函数一起使用,如:contains(jobs.*.status, 'FAILED'),函数将返回“true”。 { "check_job": { "status": "COMPLETED", "metrics": { "critical": "0", "major": "0" } }, "demo_job": { "status": "FAILED" } }
  • 查看变更 进入变更列表页,在变更列表页单击变更标题,进入变更详情页面。 页面展示变更概览信息、关联工作项、操作历史,还可以对变更执行提交发布、退出发布、撤销变更操作。 以下详细介绍提交发布、退出发布、撤销变更具体操作: 提交发布 针对阶段状态为“开发中”的变更,在变更详情页单击“提交发布”,弹出“提交变更”对话框。 如果微服务下不存在变更流水线,请根据提示创建变更流水线,创建流程请参见变更与流水线。 如果微服务下存在变更流水线,直接单击“确定”,即可将变更提交到变更流水线。 提交发布后,变更状态由“开发中”改变为“待发布”。 退出发布 针对阶段状态为“待发布”或“发布中”的变更,在变更详情页单击“退出发布”,弹出“退出发布”对话框。 单击“确定”,即可将变更退出变更流水线的发布列表,变更状态重置为“开发中”。 阶段状态为“发布中”的变更,如果变更流水线正在运行,则需要等待变更流水线运行完成或停止变更流水线后才可以退出发布。 撤销变更 针对阶段状态为“开发中”的变更,在变更详情页单击“撤销变更”,弹出“撤销变更”对话框。 单击“确定”,即可将变更状态改为“已撤销”。 父主题: 变更管理
  • 响应参数 状态码: 200 表4 result 参数 参数类型 描述 result Array of ImageMainObjectDetectionInstance objects 主体列表集合。 表5 ImageMainObjectDetectionInstance 参数 参数类型 描述 label String 主体的类别,现阶段分为:main_object_box(主要主体)和bounding_box(边缘主体)。 location location object 目标检测框位置信息,包括4个值: width:检测框区域宽度 height:检测框区域高度 top_left_x:检测框左上角到垂直轴距离 top_left_y:检测框左上角到水平轴距离 confidence String 主体框的置信度。将Float型置信度转为String类型返回,Float取值范围(0~100)。 状态码: 400 表6 响应Body参数 参数 参数类型 描述 error_code String 调用失败时的错误码,具体请参见错误码。 调用成功时无此字段。 error_msg String 调用失败时的错误信息。 调用成功时无此字段。
  • 请求示例 “endpoint”即调用API的请求地址,不同服务不同区域的“endpoint”不同,具体请参见终端节点。 例如,服务部署在“华北-北京四”区域的“endpoint”为“image.cn-north-4.myhuaweicloud.com”,请求URL为“https://image.cn-north-4.myhuaweicloud.com/v2/{project_id}}/image/main-object-detection”,“project_id”为项目ID,获取方法请参见获取项目ID和名称。 方式一:使用图片的BASE64编码,判断图片主体并返回主体坐标,置信度的阈值为30。 POST https://{endpoint}/v3/{project_id}image/main-object-detection { "image" : "/9j/4AAQSkZJRgABAgEASABIAAD/4RFZRXhpZgAATU0AKgAAAAgABwESAAMAAAABAAEAAAEaAAUAAAABAAAAYgEbAA...", "url" : "", "threshold" : 30 } 方式二:使用图片URL,判断图片主体并返回主体坐标,置信度的阈值为30。 POST https://{endpoint}/v3/{project_id}image/main-object-detection { "image" : "", "url" : "https://BucketName.obs.myhuaweicloud.com/ObjectName", "threshold" : 30 }
  • 响应示例 状态码: 200 成功响应结果 { "result" : [ { "label" : "bounding_box", "location" : { "height" : 133.32, "top_left_x" : 53.13, "top_left_y" : 254.21, "width" : 117.58 }, "confidence" : "92.38" }, { "label" : "main_object_box", "location" : { "height" : 261.32, "top_left_x" : 256.13, "top_left_y" : 85.21, "width" : 139.58 }, "confidence" : "66.38" } ] } 状态码: 400 失败响应结果 { "error_code" : "AIS.0005", "error_msg" : "The service does not exist." }
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 用于获取操作API的权限。获取方法请参见 获取Token 接口,响应消息头中X-Subject-Token的值即为Token。 表3 请求Body参数 参数 是否必选 参数类型 描述 image 否 String 与url二选一 图像数据,base64编码,要求base64编码后大小不超过10M,最短边至少1px,最长边最大10000px,支持JPEG/PNG/BMP/WEBP格式。 url 否 String 与image二选一 图片的URL路径,目前支持: 公网HTTP/HTTPS URL 华为云OBS提供的URL,使用OBS数据需要进行授权。包括对服务授权、临时授权、匿名公开授权。详情参见配置OBS服务的访问权限。 说明: 接口响应时间依赖于图片的下载时间,如果图片下载时间过长,会返回接口调用失败。 请保证被检测图片所在的存储服务稳定可靠,建议您使用华为云OBS存储。 threshold 否 Float 置信度的阈值(0~100),低于此置信数的检测结果,将不会返回。 默认值:30,最小值:0,最大值:100。
  • 海外自建全力防高级版 华为云原生防护全力防高级版(海外)主要服务亚太(不含中国大陆)地区,若客户有非亚太地区以及中国大陆跨境访问的客户端,请提前做好网络测试,华为云原生防护全力防高级版(海外)服务不承诺非亚太地区和中国大陆跨境的网络访问质量和防护能力,客户确认接受该风险后方可接入。 海外网络环境比较复杂,偶尔可能会有运营商网络波动,如果客户业务有长连接业务,使用原生防护全力防高级版在海外运营商网络波动异常场景触发机房调度可能会导致长连接断连需要重新建立长连接,请客户知晓此项风险。 如果同一个源IP短时间内频繁发起大量异常连接状态的报文时,需要通过配置连接防护策略,才能将该源IP纳入黑名单中进行封禁惩罚,等封禁结束后可恢复访问。 如果需要配置连接防护策略,需要您评估正常业务日常目的IP地址并发连接数和目的IP地址新建连接速率,超出则会触发启动针对TCP连接耗尽攻击的防御,评估正常源IP最大并发连接数和正常源IP最大的每秒新建连接速率,作为拉黑源IP的条件,如果配置过小会有把正常源IP拉黑的风险。可参考配置连接防护。 如果不配置连接防护策略,或者配置目的IP地址并发连接数和目的IP地址每秒新建连接速率触发阈值过大,或者配置正常源IP最大并发连接数和正常源IP最大的每秒新建连接速率阈值过大,可能会有源站后端连接被打满的风险。 请客户根据历史攻击情况评估是否需要开启四层CC连接类攻击防护,并知晓会有拉黑正常源IP的风险,如果需要使用,请联系后台配置。
  • 国内高防 如果同一个源IP短时间内频繁发起大量异常连接状态的报文时,需要通过配置连接防护策略,才能将该源IP纳入黑名单中进行封禁惩罚,等封禁结束后可恢复访问。 如果需要配置连接防护策略(仅云原生全力防高级版和高防支持,可联系保障同事配置),需要您评估正常业务日常目的IP地址并发连接数和目的IP地址新建连接速率,超出则会触发启动针对TCP连接耗尽攻击的防御,评估正常源IP最大并发连接数和正常源IP最大的每秒新建连接速率,作为拉黑源IP的条件,如果配置过小会有把正常源IP拉黑的风险。可参考配置连接防护。 如果不配置连接防护策略,或者配置目的IP地址并发连接数和目的IP地址每秒新建连接速率触发阈值过大,或者配置正常源IP最大并发连接数和正常源IP最大的每秒新建连接速率阈值过大,可能会有源站后端连接被打满的风险。 请客户根据历史攻击情况评估是否需要开启四层cc连接类攻击防护,并知晓会有拉黑正常源IP的风险,如果需要使用,请联系后台配置。 IP接入方式存在单线路单点故障风险,当机房掉电,运营商线路故障,机房硬件设施故障等场景,造成服务IP不可用或者IP存在大量丢包时延增加的情况无法保证客户业务连续性,无法承诺服务SLA,请客户充分知悉上述风险,实例IP接入的客户在发生单点故障时华为云后台无法进行调度。 推荐客户购买一个备用实例,故障发生时客户评估自行调度流量到备用实例IP,进行故障的恢复。或者通过域名接入高防能够在该高防IP故障情况下自动调度到其他机房高防IP,如果客户源站在华为云上,优选推荐使用云原生基础版/高级版接入。 请客户检查弹性带宽阈值,流量达到弹性带宽阈值会被机房封堵。 弹性防护带宽是先防护后缴费,请客户把弹性防护带宽阈值调整到比以往的最大攻击流量带宽更高。 请客户对齐高防域名/IP接入的业务总带宽和购买高防实例的带宽是否一致,如果购买高防实例的业务带宽比实际域名/IP接入的总带宽小,可能会有被限速风险。 需要评估是否需要扩容业务带宽或者申请短期暂时后台放大业务带宽。 客户源站IP是否有对外暴露过,高防防护原理就是隐藏源站IP, 如果暴露过有被绕过高防直接打源站IP的风险。 有暴露过源站IP需要提醒客户更换没有暴露过的IP作为高防源站。 如果客户业务有长连接业务,使用云原生全力防高级版/高防在网络波动异常场景触发机房调度可能会导致长连接断连需要重新建立长连接。 有长连接场景的客户建议使用云原生基础版,云原生高级版和高防在丢包率高的异常场景会触发调度到其他机房,调度瞬间可能会导致长连接断连需要重新建立长连接。 接入业务稳定后尽量不要调整界面上的配置,以免比如打开一些封禁协议开关影响业务。 请在接入正式业务前进行充分测试。 如果客户业务没有海外流量访问。 建议您在防护策略界面上封禁海外流量。 以上风险请知悉!
  • 原生防护-标准版 标准版防护能力只有20G,如果不满足防护需求,可以购买全力防基础版。 如果同一个源IP短时间内频繁发起大量异常连接状态的报文时,需要通过配置连接防护策略,才能将该源IP纳入黑名单中进行封禁惩罚,等封禁结束后可恢复访问。 如果需要配置连接防护策略(仅云原生全力防高级版和高防支持,可联系保障同事配置),需要您评估正常业务日常目的IP地址并发连接数和目的IP地址新建连接速率,超出则会触发启动针对TCP连接耗尽攻击的防御,评估正常源IP最大并发连接数和正常源IP最大的每秒新建连接速率,作为拉黑源IP的条件,如果配置过小会有把正常源IP拉黑的风险。可参考配置连接防护。 如果不配置连接防护策略,或者配置目的IP地址并发连接数和目的IP地址每秒新建连接速率触发阈值过大,或者配置正常源IP最大并发连接数和正常源IP最大的每秒新建连接速率阈值过大,可能会有源站后端连接被打满的风险。 请客户根据历史攻击情况评估是否需要开启四层CC连接类攻击防护,如果需要,请使用云原生全力防高级版。 3. 如果客户业务没有UDP协议,建议客户在防护策略界面上封禁UDP。 以上风险请知悉!
  • 海外自建高防 华为云海外高防主要服务亚太(不含中国大陆)地区,若客户有非亚太地区以及中国大陆跨境访问的客户端,请提前做好网络测试,华为云海外高防服务不承诺非亚太地区和中国大陆跨境的网络访问质量和防护能力,客户确认接受该风险后方可接入。 海外网络环境比较复杂,偶尔可能会有运营商网络波动,有长连接场景的客户在运营商网络波动丢包率高的异常场景可能会导致长连接断连需要重新建立长连接,请客户知晓此项风险。 如果同一个源IP短时间内频繁发起大量异常连接状态的报文时,需要通过配置连接防护策略,才能将该源IP纳入黑名单中进行封禁惩罚,等封禁结束后可恢复访问。 如果需要配置连接防护策略,需要您评估正常业务日常目的IP地址并发连接数和目的IP地址新建连接速率,超出则会触发启动针对TCP连接耗尽攻击的防御,评估正常源IP最大并发连接数和正常源IP最大的每秒新建连接速率,作为拉黑源IP的条件,如果配置过小会有把正常源IP拉黑的风险。可参考配置连接防护。 如果不配置连接防护策略,或者配置目的IP地址并发连接数和目的IP地址每秒新建连接速率触发阈值过大,或者配置正常源IP最大并发连接数和正常源IP最大的每秒新建连接速率阈值过大,可能会有源站后端连接被打满的风险。 请客户根据历史攻击情况评估是否需要开启四层CC连接类攻击防护,并知晓会有拉黑正常源IP的风险,如果需要使用,请联系后台配置。
  • CDN调度规则知会 CDN切换到高防 连续3分钟内3次触发QPS超过阈值或连续10分钟内出现6次以上,并且CDN/DCDN上流量不超过10Gbps业务流量,触发切换流程。(cdn数据上报有3-4分钟延迟, 总体调度延迟可能6-7分钟)。 高防回切到CDN 连续12小时以上,域名QPS低于QPS阈值的80%,触发回切流程。回切时间范围:上午08时到晚上23时,其他时间不触发回切。 请客户做好手动调度到高防CNAME的准备。
  • 海外全力防高级版(nxg) 使用海外全力防高级版如果涉及跨境访问(大陆访问海外高防),可能会增加150-200ms时延。 当前海外全力防高级版产品是转售产品,需要通过线下接入方式给客户配置,并且客户在界面上无法看到报表和防护策略配置。 海外网络环境比较复杂,偶尔可能会有运营商网络波动,有长连接场景的客户在运营商网络波动丢包率高的异常场景可能会导致长连接断连需要重新建立长连接,请客户知晓此项风险。 海外全力防高级版不支持四层CC防护,不支持连接类防御。 客户首次业务接入,建议接入测试业务免费测试三天(供应商只在工作日时间接受测试),免费测试期间提供不超过10G防护,客户如果有攻击打流测试需求需要额外申请。
  • 原生防护-全力防高级版 使用云原生全力防高级版需要在EIP购买处选择5_DDoSAlways1bgp池子的EIP,需要更换EIP。 客户知晓此项需要更换EIP的限制并且能够接受,高级版IP需要提前几分钟加到防护策略里,因为高级版IP启用的时候需要过几分钟才能完全生效。 如果同一个源IP短时间内频繁发起大量异常连接状态的报文时,需要通过配置连接防护策略,才能将该源IP纳入黑名单中进行封禁惩罚,等封禁结束后可恢复访问。 如果需要配置连接防护策略(仅云原生全力防高级版和高防支持,可联系保障同事配置),需要您评估正常业务日常目的IP地址并发连接数和目的IP地址新建连接速率,超出则会触发启动针对TCP连接耗尽攻击的防御,评估正常源IP最大并发连接数和正常源IP最大的每秒新建连接速率,作为拉黑源IP的条件,如果配置过小会有把正常源IP拉黑的风险。可参考配置连接防护。 如果不配置连接防护策略,或者配置目的IP地址并发连接数和目的IP地址每秒新建连接速率触发阈值过大,或者配置正常源IP最大并发连接数和正常源IP最大的每秒新建连接速率阈值过大,可能会有源站后端连接被打满的风险。 请客户根据历史攻击情况评估是否需要开启四层CC连接类攻击防护,并知晓会有拉黑正常源IP的风险,如果需要使用,请联系后台打开白名单。 如果有找过DDoS后台调大过带宽档位,如果在界面上调整清洗档位,会有覆盖原本调大带宽的风险。 请客户业务在现网跑稳定后尽量不要在界面上调整清洗档位。 原生防护全力防高级版专属IP在实例过期后或者将IP从实例中移除,IP会被移到拉黑防护对象,业务将不可用。 原生防护全力防高级版专属IP在实例快过期前更换成普通EIP, 日常不要将高级版IP从高级版实例里移除。 如果客户购买的原生防护全力防高级版实例的带宽比加到原生防护全力防高级版实例的EIP/ELB购买的总带宽小,EIP/ELB可能在原生防护高级版实例里会有被限速风险。 请客户对齐加到原生防护全力防高级版实例的EIP/ELB购买的总带宽和原生防护全力防高级版实例的带宽是否一致,评估是否需要扩容原生防护实例带宽或者申请短期暂时后台放大原生防护实例带宽。 如果客户业务有长连接业务,使用云原生全力防高级版/高防在网络波动异常场景触发机房调度可能会导致长连接断连需要重新建立长连接。 有长连接场景的客户建议使用云原生基础版,云原生高级版和高防在丢包率高的异常场景会触发调度到其他机房,调度瞬间可能会导致长连接断连需要重新建立长连接。 如果客户业务没有UDP协议,建议客户在防护策略界面上封禁UDP。 如果客户业务没有海外流量访问,建议客户在防护策略界面上封禁海外流量。 接入业务稳定后尽量不要调整界面上的配置,以免比如打开一些封禁协议开关影响业务。 请客户在接入正式业务前进行充分测试。 以上风险请知悉!
  • 海外高防(nxg) 使用海外高防如果涉及跨境访问(大陆访问海外高防),可能会增加150-200ms时延。 当前海外高防产品是转售产品,需要通过线下接入方式给客户配置,并且客户在界面上无法看到报表和防护策略配置。 海外网络环境比较复杂,偶尔可能会有运营商网络波动,有长连接场景的客户在运营商网络波动丢包率高的异常场景可能会导致长连接断连需要重新建立长连接,请客户知晓此项风险。 需要客户确认业务有没有API调用,如果客户业务有API调用,有机机调用场景,需要注意不能开启人机认证模式。 需要确认客户有没有CC防护需求,有CC防护需求需要海外高防开启限制源IP每秒请求量与每分钟请求量。如正常单个源IP每秒不超过50请求,每分钟不超过300请求。 客户首次业务接入,建议接入测试业务免费测试三天(供应商只在工作日时间接受测试),免费测试期间提供不超过10G防护,客户如果有攻击打流测试需求需要额外申请。
  • CCE存储类型选择 创建工作负载时,可以使用以下类型的存储。建议将工作负载pod数据存储在 云存储 上。若存储在本地磁盘上,节点异常无法恢复时,本地磁盘中的数据也将无法恢复。 本地硬盘:将容器所在宿主机的文件目录挂载到容器的指定路径中(对应Kubernetes的HostPath),也可以不填写源路径(对应Kubernetes的EmptyDir),不填写时将分配主机的临时目录挂载到容器的挂载点,指定源路径的本地硬盘数据卷适用于将数据持久化存储到容器所在宿主机,EmptyDir(不填写源路径)适用于容器的临时存储。配置项(ConfigMap)是一种用于存储工作负载所需配置信息的资源类型,内容由用户决定。密钥(Secret)是一种用于存储工作负载所需要认证信息、密钥的敏感信息等的资源类型,内容由用户决定。 云硬盘存储卷:CCE支持将EVS创建的云硬盘挂载到容器的某一路径下。当容器迁移时,挂载的云硬盘将一同迁移。这种存储方式适用于需要永久化保存的数据。 文件存储卷: CCE支持创建SFS存储卷并挂载到容器的某一路径下,也可以使用底层SFS服务创建的文件存储卷,SFS存储卷适用于多读多写的持久化存储,适用于多种工作负载场景,包括 媒体处理 、内容管理、大数据分析和分析工作负载程序等场景。 对象存储卷:CCE支持创建OBS对象存储卷并挂载到容器的某一路径下,对象存储适用于云工作负载、数据分析、内容分析和热点对象等场景。 极速文件存储卷:CCE支持创建SFS Turbo极速文件存储卷并挂载到容器的某一路径下,极速文件存储具有按需申请,快速供给,弹性扩展,方便灵活等特点,适用于DevOps、容器微服务、企业办公等应用场景。
  • 解决方法 一般情况下,您需要从证书提供商处获取有效的合法证书。如果您需要在测试环境下使用,您可以自建证书和私钥,方法如下: 自建的证书通常只适用于测试场景,使用时界面会提示证书不合法,影响正常访问,建议您选择手动上传合法证书,以便通过浏览器校验,保证连接的安全性。 自己生成tls.key。 openssl genrsa -out tls.key 2048 将在当前目录生成一个tls.key的私钥。 用此私钥去签发生成自己的证书。 openssl req -new -x509 -key tls.key -out tls.crt -subj /C=CN/ST=Beijing/O=Devops/CN=example.com -days 3650 生成的私钥格式必须为: ----BEGIN RSA PRIVATE KEY----- …………………………………………….. -----END RSA PRIVATE KEY----- 生成的证书格式必须为: -----BEGIN CERTIFICATE----- …………………………………………………………… -----END CERTIFICATE----- 导入证书。 新建TLS密钥时,对应位置导入证书及私钥文件即可。
  • CCE节点上监听的端口列表 表1 Node节点监听端口 目的端口 协议 端口说明 10248 TCP kubelet健康检查端口 10250 TCP kubelet服务端口,提供节点上工作负载的监控信息和容器的访问通道 10255 TCP kubelet只读端口,提供节点上工作负载的监控信息 动态端口(与宿主机限制的范围有关,比如 内核参数 net.ipv4.ip_local_port_range) TCP kubelet 随机监听一个端口,与CRI Shim通信获取Exec URL 10249 TCP kube-proxy metric端口,提供kube-proxy组件的监控信息 10256 TCP kube-proxy健康检查端口 动态端口(32768~65535) TCP docker exec等功能的websocket监听端口 动态端口(32768~65535) TCP containerd exec等功能的websocket监听端口 28001 TCP icagent本地侦听端口,接受节点syslog日志 28002 TCP icagent健康检查端口 20101 TCP yangtse-agent/canal-agent健康检查端口(容器隧道网络模式涉及) 20104 TCP yangtse-agent/canal-agent的metric端口,提供组件的监控信息(容器隧道网络模式涉及) 3125 TCP everest-csi-driver侦听健康检查端口 3126 TCP everest-csi-driver pprof端口 19900 TCP node-problem-detector 健康检查server端口 19901 TCP node-problem-detector对接普罗采集监控数据端口 4789 UDP ovs侦听端口,容器网络vxlan报文的传输通道(容器隧道网络模式涉及) 4789 UDPv6 ovs侦听端口,容器网络vxlan报文的传输通道(容器隧道网络模式涉及) 动态端口30000~32767 TCP kube-proxy侦听端口,做4层负载均衡。K8s会给NodePort和Loadbalancer类型的服务分配一个随机端口,默认范围在30000~32767 动态端口30000~32767 UDP kube-proxy侦听端口,做4层负载均衡。K8s会给NodePort和Loadbalancer类型的服务分配一个随机端口,默认范围在30000~32767 123 UDP ntpd侦听端口,负责时间同步 20202 TCP PodLB侦听端口,做7层负载均衡,负责转发容器镜像拉取请求 父主题: 节点运行
  • 云原生网络2.0( CCE Turbo 集群)安全组规则 Node节点安全组 集群自动创建的Node节点安全组名称为{集群名}-cce-node-{随机ID},默认端口说明请参见表5。 表5 CCE Turbo集群Node节点安全组默认端口说明 方向 端口 默认源地址 说明 是否可修改 修改建议 入方向规则 TCP:10250 Master节点网段 Master节点主动访问Node节点的kubelet(如执行kubectl exec {pod})。 不可修改 不涉及 TCP:30000-32767 所有IP地址(0.0.0.0/0) 集群NodePort服务默认访问端口范围。 可修改 端口需对VPC网段、容器网段和ELB的网段放通。 UDP:30000-32767 TCP:22 所有IP地址(0.0.0.0/0) 允许SSH远程连接Linux弹性云服务器。 建议修改 不涉及 全部 Node节点安全组 限制Node节点安全组外的访问,但对于Node节点安全组中的实例互相访问不做限制。 不可修改 不涉及 全部 容器子网网段 允许集群中的容器访问节点。 不可修改 不涉及 出方向规则 全部 所有IP地址(0.0.0.0/0) 默认全部放通,通常情况下不建议修改。 可修改 如需加固出方向规则,请注意指定端口需要放通,详情请参见安全组出方向规则加固建议。 Master节点安全组 集群自动创建的Master节点安全组名称为{集群名}-cce-control-{随机ID},默认端口说明请参见表6。 表6 CCE Turbo集群Master节点安全组默认端口说明 方向 端口 默认源地址 说明 是否支持修改 修改建议 入方向规则 TCP:5444 所有IP地址(0.0.0.0/0) kube-apiserver服务端口,提供K8s资源的生命周期管理。 不可修改 不涉及 TCP:5444 VPC网段 不可修改 不涉及 TCP:9443 VPC网段 Node节点网络插件访问Master节点。 不可修改 不涉及 TCP:5443 所有IP地址(0.0.0.0/0) Master的kube-apiserver的监听端口。 建议修改 端口需保留对VPC网段、容器网段和托管网格控制面网段放通。 说明: 如果您需要使用CloudShell功能,请保留5443端口对198.19.0.0/16网段放通,否则将无法访问集群。 TCP:8445 VPC网段 Node节点存储插件访问Master节点。 不可修改 不涉及 全部 Master节点安全组 限制Master节点安全组外的访问,但对于Master节点安全组中的实例互相访问不做限制。 不可修改 不涉及 全部 容器子网网段 属于容器子网网段的源地址需全部放通。 不可修改 不涉及 出方向规则 全部 所有IP地址(0.0.0.0/0) 默认全部放通。 不可修改 不涉及 ENI安全组 CCE Turbo集群会额外创建名为{集群名}-cce-eni-{随机ID}的安全组,默认为集群中的容器绑定该安全组,默认端口说明请参见表7。 表7 ENI安全组默认端口说明 方向 端口 默认源地址 说明 是否可修改 修改建议 入方向规则 全部 ENI安全组 允许集群中的容器互相访问。 不可修改 不涉及 VPC网段 允许集群VPC中的实例访问容器。 不可修改 不涉及 出方向规则 全部 所有IP地址(0.0.0.0/0) 默认全部放通。 不可修改 不涉及
  • 安全组出方向规则加固建议 对于出方向规则,CCE创建的安全组默认全部放通,通常情况下不建议修改。如需加固出方向规则,请注意如下端口需要放通。 表8 Node节点安全组出方向规则最小范围 端口 放通地址段 说明 UDP:53 子网的DNS服务器 用于域名解析。 UDP:4789(仅容器隧道网络模型的集群需要) 所有IP地址 容器间网络互访。 TCP:5443 Master节点网段 Master的kube-apiserver的监听端口。 TCP:5444 VPC网段、容器网段 kube-apiserver服务端口,提供K8s资源的生命周期管理。 TCP:6443 Master节点网段 - TCP:8445 VPC网段 Node节点存储插件访问Master节点。 TCP:9443 VPC网段 Node节点网络插件访问Master节点。 所有端口 198.19.128.0/17网段 访问VPCEP服务。 UDP:123 100.125.0.0/16网段 Node节点访问内网NTP服务器端口。 TCP:443 100.125.0.0/16网段 Node节点访问内网OBS端口用于拉取安装包。 TCP:6443 100.125.0.0/16网段 Node节点上报节点安装成功。
  • VPC网络模型安全组规则 Node节点安全组 集群自动创建的Node节点安全组名称为{集群名}-cce-node-{随机ID},默认端口说明请参见表1。 表1 VPC网络模型Node节点安全组默认端口说明 方向 端口 默认源地址 说明 是否可修改 修改建议 入方向规则 UDP:全部 VPC网段 Node节点之间互访、Node节点与Master节点互访。 不可修改 不涉及 TCP:全部 ICMP:全部 Master节点安全组 Master节点访问Node节点。 不可修改 不涉及 TCP:30000-32767 所有IP地址(0.0.0.0/0) 集群NodePort服务默认访问端口范围。 可修改 端口需对VPC网段、容器网段和ELB的网段放通。 UDP:30000-32767 全部 容器网段 允许集群中的容器访问节点。 不可修改 不涉及 全部 Node节点安全组 限制Node节点安全组外的访问,但对于Node节点安全组中的实例互相访问不做限制。 不可修改 不涉及 TCP:22 所有IP地址(0.0.0.0/0) 允许SSH远程连接Linux弹性云服务器。 建议修改 不涉及 出方向规则 全部 所有IP地址(0.0.0.0/0) 默认全部放通,通常情况下不建议修改。 可修改 如需加固出方向规则,请注意指定端口需要放通,详情请参见安全组出方向规则加固建议。 Master节点安全组 集群自动创建的Master节点安全组名称为{集群名}-cce-control-{随机ID},默认端口说明请参见表2。 表2 VPC网络模型Master节点安全组默认端口说明 方向 端口 默认源地址 说明 是否支持修改 修改建议 入方向规则 TCP:5444 VPC网段 kube-apiserver服务端口,提供K8s资源的生命周期管理。 不可修改 不涉及 TCP:5444 容器网段 TCP:9443 VPC网段 Node节点网络插件访问Master节点。 不可修改 不涉及 TCP:5443 所有IP地址(0.0.0.0/0) Master的kube-apiserver的监听端口。 建议修改 端口需保留对VPC网段、容器网段和托管网格控制面网段放通。 说明: 如果您需要使用CloudShell功能,请保留5443端口对198.19.0.0/16网段放通,否则将无法访问集群。 TCP:8445 VPC网段 Node节点存储插件访问Master节点。 不可修改 不涉及 全部 Master节点安全组 限制Master节点安全组外的访问,但对于Master节点安全组中的实例互相访问不做限制。 不可修改 不涉及 出方向规则 全部 所有IP地址(0.0.0.0/0) 默认全部放通。 不可修改 不涉及
共100000条