云服务器内容精选
-
背景信息 GaussDB (DWS)支持在变更操作前（扩/缩容、经典规格变更、升级）进行集群巡检，即在对应变更页面单击“立即巡检”按钮后会巡检当前集群的健康状态和集群指标是否满足变更要求，检查通过后可开始变更。如果巡检不通过，可打开巡检详情，查看不通过的巡检项，根据详情说明处理不通过的巡检项。巡检项检查标准详情请参见表1。 该特性仅8.1.1及以上集群版本支持。 如果用户无法处理不通过的巡检项，请联系技术支持人员。
-
缩容对系统的影响 缩容前，需关闭创建了临时表的客户端连接，因为在缩容过程中及缩容成功之前创建的临时表将会失效，操作临时表也会失败。但是缩容后创建的临时表不受影响。 在执行缩容操作后，集群会进行一次自动快照，快照创建成功后进行集群缩容，若用户不想自动创建快照，可以在缩容界面选择取消自动备份功能。 缩容前，需确保倾斜率不超过10%，脏页率没有硬性指标，但对于50G以上的大表，建议倾斜率不要超过20%~30%。 正在缩容的集群禁用重启集群、扩容集群、创建快照、节点管理、智能运维、资源管理、参数修改、安全设置、日志服务、重置数据库管理员密码和删除集群的功能。 离线缩容过程中，应该停止所有业务或运行少量查询语句。表重分布期间会对表加共享锁，所有插入、更新、删除操作和表DDL操作都会长时间阻塞，会出现等锁超时情况。一旦表重分布完成后方可正常访问。在重分布执行过程中，应当避免执行超过20分钟的查询（在重分布执行时申请写锁的默认时间为20分钟）。否则可能导致重分布出现等待加锁超时失败的问题。 在线缩容过程中，表重分布期间用户可以对该表执行插入、更新、删除等操作，但重分布过程仍然会短时间阻塞用户的数据更新操作，会影响用户语句的执行性能。缩容重分布过程会消耗大量的CPU和IO资源，因此会对用户作业性能影响较大，应该尽可能在停止业务或业务轻载的情况下执行缩容重分布。 在线缩容删除节点的瞬间，如果有DDL语句正在执行，例如创建schema或function并发执行，这些DDL可能因为DN不存在而报错，用户重试即可成功。 如果集群缩容失败，数据库不会在后台自动执行缩容回滚操作，此时数据库所有运维操作不可用，需要用户在管理控制台页面上单击缩容按钮来重新执行数据库缩容操作。 在云原生9.0.2版本缩容场景下，新集群的bucket数量不满足条件：每个DN分配的bucket数量在[3, 20]之间时，系统会触发调整bucket的缩容。bucket数量可以通过GUC参数table_buckets查看。 此bucket缩容目前仅支持离线模式，使用方式与现有缩容相同，触发修改bucket的缩容过程为系统自动判断和执行。 触发过程集群会重启，关闭所有连接，重启会花费数分钟。 重启完毕后，数据库可以读，但不允许写，直到数据重分布结束。
-
前提条件 集群状态需为可用状态，不支持只读状态，并且确保集群没有进行重分布操作。 集群配置文件已经生成，配置的信息正确并且和当前集群状态一致。 缩容前用户需要确保default_storage_nodegroup参数值为installation。 集群按照环的方式配置，比如4个或5个主机组成一个环，这些主机上的DN主节点、备节点和从节点都部署在这个环里， 缩容的最小单元是一个环。 缩容的主机不能包含ETCD组件、GTM组件、CM Server组件。 缩容不支持包括CN的节点，如果包括CN，先进行删除CN操作后再缩容。 缩容不支持回滚，支持重入。缩容数据重分布失败，不影响业务，用户可选择合适的时间尽快完成重分布，否则会导致数据长期分布不均匀。 重分布前，需要保证对应数据库下的data_redis为重分布预留schema，不允许用户操作该schema和其内部表。因为在重分布过程中，会使用到data_redis并且重分布。结束后会删除该schema，如果存在用户表，则可能会出现数据误删。 缩容过程不支持gs_cgroup操作。 缩容后的节点必须有足够的存储空间存放整个集群的数据，否则缩容无法正常进行，执行缩容前，需对集群剩余容量进行检查，条件满足后可进行缩容。 所有节点已使用物理磁盘空间均小于80%。 所有用户和角色的使用量均小于配额的80%。 总数据量缩容后的空间预估要小于80%。 所有剩余可用空间均是最大单表大小的1.5倍以上。 缩容过程中系统将关闭“自动剔除故障CN”功能，在缩容完成后系统再次打开该功能。
-
HTTP(S)取消订阅消息的格式 HTTP(S)订阅终端取消订阅确认后，终端将收到 SMN 推送的取消订阅确认消息，下面将描述HTTP Content信息，它是JSON串，具体字段说明如表4所示。 表4 HTTP(S)取消订阅消息的格式参数说明 参数 说明 type 消息类型，UnsubscribeConfirmation。 signature 签名信息。 签名字段包括message，message_id，subscribe_url、timestamp，topic_urn和type,具体签名信息校验，请参见校验消息签名。 topic_urn 主题的唯一标识，表示消息归属的主题。 message_id 消息唯一标识。 signature_version 签名的版本信息，目前是V1。 message 取消订阅确认消息的描述。 subscribe_url 再次订阅确认需要访问的URL。 signing_cert_url 用于消息签名的证书URL。 timestamp 消息第一次发送的时间戳。 HTTP(S)取消订阅消息样例如下： { "signature": "ViE96uGbBkl+S8eWqgebi5KdmRht2U8+Rs88yuyMHq1k4h3jUkcDZ6HCqTqdpJ8nrLcdqETyyEiOQyTszJdU05z+LhfE8jerCCdSbL4zeInVkydHh0kcCRWmORye0/EuQ/gLC1UIXwvUsqbUCPnBRhNFXOeXMOPPCzK+d04xjy4QHd1H/bHxgsY3AlTe0gCFT068Zru7OK6w9aQaY44mXnN3OWGmBmoHyFab5TRXLSQNz/9u/Vj646cQMMaI0PPQ30QzGYD0MtzgDZi12m8jMTHAnMkTEcbLaEgaqmaoEnATSpEcspFKNXv2skwk7rsVakMOISpMH3+qC6RzhE******", "topic_urn": "urn:smn:region01:0a419ac94f80f2c62f14c01e34******:test_******", "message_id": "d86c201092574e71a3ca85826652c58b", "signature_version": "v1", "type": "UnsubscribeConfirmation", "message": "You are unsubscribed from topic: urn:smn:region01:0a419ac94f80f2c62f14c01e34******:test_******. To subscribe to this topic again, please visit the subscribe_url included in this message. The subscribe_url is valid only within 48 hours.", "subscribe_url": "https://console.******.com/smn/subscription/confirm?token=0a419ac94f80f2c62f14c01e34ae5dfcf6b0b92ef46241218eaae5b4cb90d5d423cf104593284665a1f98691b1576976785114fb4408450e8de153b9f1******&topic_urn=urn:smn:region01:0a419ac94f80f2c62f14c01e34******:test_******®ion=region01®ion_id=region01", "signing_cert_url": "https://smn.region01.******.com/smn/SMN_region01_3190c26a56fb435f9882e3435b******.pem", "timestamp": "2024-07-10T11:45:00Z" }
-
操作场景 接收SMN服务发送的HTTP(S)消息时，终端证书的CN名称请参考业界规范，部分特殊字符可能导致https消息发送失败。 在互联网上传递未加密的http协议消息内容存在信息泄漏风险，推荐用户终端添加订阅时对接通道优先使用https类型。 描述SMN服务向HTTP(S)终端发送消息的格式，您可以通过消息头部信息中的消息类型来区分消息格式。消息格式包括：HTTP(S)订阅确认消息的格式、HTTP(S)推送消息的格式和HTTP(S)取消订阅消息的格式三种消息格式，HTTP/HTTPS协议均为POST方式。 当SMN服务向HTTP(S)终端发送消息时，头部包括请求X-SMN-MESSAGE-TYPE，X-SMN-MESSAGE-ID，X-SMN-TOPIC-URN，如表1所示。 表1 消息HTTP(S)头部参数说明 参数 说明 X-SMN-MESSAGE-TYPE 消息类型，消息类型分别有： SubscriptionConfirmation Notification UnsubscribeConfirmation X-SMN-MESSAGE-ID 消息唯一标识。 X-SMN-TOPIC-URN 主题的唯一标识，表示消息归属的主题。 关于HTTP(S)头部字段的说明： RFC 7230 章节3.2中规定，HTTP(S)头部的字段名称不区分大小写。 RFC 7540 章节8.1.2中规定，对于支持HTTP/2的服务端，头部字段信息需要统一改为全小写。 对于用户自定义的HTTP(S)头部字段，SMN也将采用上述的处理策略。 用户如果从HTTP(S)头部中获取相关字段，建议采用不区分大小写的方式。
-
HTTP(S)订阅确认消息的格式 添加HTTP(S)订阅终端以后，SMN会向订阅终端推送一条订阅确认的消息，下面将描述消息的HTTP Content，它是JSON格式的字符串，其中包括subscribe_url值，订阅确认需要GET请求subscribe_url地址进行确认，具体JSON字段说明如表2所示。 表2 HTTP(S)订阅确认消息的格式参数说明 参数 说明 type 消息类型，SubscriptionConfirmation。 signature 签名信息。 签名字段包括message，message_id，subscribe_url，timestamp，topic_urn和type，具体签名信息校验，请参见校验消息签名。 topic_urn 主题的唯一标识，表示消息归属的主题。 message_id 消息唯一标识。 signature_version 签名的版本信息，目前是V1。 message 订阅确认消息的描述。 subscribe_url 订阅确认需要访问的URL。 signing_cert_url 用于消息签名的证书URL，不需要鉴权，可直接访问。 timestamp 消息第一次发送的时间戳。 HTTP(S)订阅确认消息样例如下： { "subscribe_url": "https://console.******.com/smn/subscription/confirm?token=0a419ac94f80f2c62f14c01e34ae5dfcf6b0b92ef46241218eaae5b4cb90d5d423cf104593284665a1f98691b1576976785114fb4408450e8de153b9f1******&topic_urn=urn:smn:region01:0a419ac94f80f2c62f14c01e34******:test_******®ion=region01®ion_id=region01", "signature": "W/DQSiqpRkY6En0jNaFtCYOpmUjMhzoJIdMPLhnRv37iPzNhH+SxlievFoUIyS29z7Ig4hL/ECWNfGrRhTqoasiAeOaXOjoRNoQ73YfyqWm7x7OdX+2c202zxaOS5GcsUHohxAS+wCYd6W6aVhx6eQpWzpzLwrGgE+iPmsd5I00HXIBeZEeBx/VuoqkPyBDnSvGNNDTJ2gw+fL7XuKqf/DUUjjI8dkPsp3gAcETe/XMgf3UTMFDvLLrq2fAZVhr/jMR/9m81PwuDs1k9i3iBxT67afzmQ1AhY/a/ayQX7Fmwf/FBpehG1o8e98lXAZFS2nzhvTpttawUFG8Z82******", "topic_urn": "urn:smn:region01:0a419ac94f80f2c62f14c01e34******:test_******", "message_id": "54bb04eddfc842e9b44ca36393f77cd3", "signature_version": "v1", "type": "SubscriptionConfirmation", "message": "You are invited to subscribe to topic: urn:smn:regionid:0a419ac94f80f2c62f14c01e34******:test_******. To confirm this subscription, please visit the subscribe_url included in this message. The subscribe_url is valid only within 48 hours.", "signing_cert_url": "https://smn.region01.******.com/smn/SMN_region01_3190c26a56fb435f9882e3435b******.pem", "timestamp": "2024-07-10T09:43:44Z" }
-
HTTP(S)推送消息的格式 HTTP(S)订阅终端订阅确认后，终端将收到SMN推送的消息，下面将描述HTTP Content信息，它是JSON串，具体字段说明如表3所示。 表3 HTTP(S)推送消息的格式参数说明 参数 说明 type 消息类型，Notification。 signature 签名信息。 签名字段包括message，message_id，subject， timestamp，topic_urn和type,具体签名信息校验，如果subject不存在，则不参与校验，请参见校验消息签名。 subject 消息标题。 topic_urn 主题的唯一标识，表示消息归属的主题。 message_id 消息唯一标识。 signature_version 签名的版本信息，目前是V1。 message 订阅推送消息的描述。 unsubscribe_url 通过访问该链接可以取消终端订阅。 signing_cert_url 用于消息签名的证书URL。 timestamp 消息第一次发送的时间戳。 HTTP(S)推送消息样例如下： { "signature": "WmSQ2/0kp2v2u2T33lMqKYrrLxnJoW2NHqIy5QowDuHH3y+HvhCNlCgHDUiAGpb3suCXJm16hWF+EJAYR+tPaTY1q0N3p0p+oBbhlD30fOTxRNsEWRAg73k4qArmQajhdDZOtd57xelQiNhzl2r6iCs0en4kR2iY78zZM/9caZQGBTlNcjkd2lyXYP6aSc7MOgxTsYrRus0A6yipD3zsUA7TvTdfsauAe2hZLR5W0l+um+S3ytT7sA1CMlIJPBXHP5WlqS4iMAeivmufZv7T+G43DbwWfw/seKnK6uFKWd214oqsY2/oLY3C4dcyLdvsy0/7/W8zvxXbgHeSL4******", "subject": "SMN", "topic_urn": "urn:smn:region01:0a419ac94f80f2c62f14c01e34******:test_******", "message_id": "d84bd6629ef04513ad2e37bffd6e17cb", "signature_version": "v1", "type": "Notification", "message": "{\"enterpriseProjectId\": \"0\", \"eventTime\": \"2019-08-12 22:40:55.040632\", \"chargingMode\": \"postPaid\", \"cloudserviceType\": \"xxx.service.type.bandwidth\", \"eventType\": 1, \"regionId\": \"region01\", \"tenantId\": \"057eefe55400d2742f8cc00178******\", \"resourceType\": \"xxx.resource.type.bandwidth\", \"resourceSpecCode\": \"19_bgp\", \"resourceSize\": 10, \"resourceId\": \"e091f1b1-08ef-4e2b-a27e-f85e4c******\", \"resouceSizeMeasureId\": 15, \"resourceName\": \"elbauto_2019_08_13_06_40_46\"}", "unsubscribe_url": "https://console.******.com/smn/subscription/unsubscribe?region=region01®ion_id=region01&subscription_urn=urn:smn:region01:0a419ac94f80f2c62f14c01e34******:test_******:23cf104593284665a1f98691b1******", "signing_cert_url": "https://smn.region01.******.com/smn/SMN_region01_3190c26a56fb435f9882e3435b******.pem", "timestamp": "2024-07-10T09:45:00Z" }
-
容忍度（Toleration）说明 容忍度应用于Pod上，允许（但并不要求）Pod调度到带有与之匹配的污点的节点上。 污点和容忍度相互配合，可以用来避免Pod被分配到不合适的节点上。每个节点上都可以拥有一个或多个污点，而对这些污点没有设置容忍度的Pod，将不会被调度到该节点上。 在Pod中设置容忍度的示例如下： apiVersion: v1 kind: Pod metadata: name: nginx labels: env: test spec: containers: - name: nginx image: nginx imagePullPolicy: IfNotPresent tolerations: - key: "key1" operator: "Equal" value: "value1" effect: "NoSchedule" 上面示例中表示节点上存在键名为“key1”，键值为“value1”，且效果为“NoSchedule”的污点时，该Pod能够调度到节点上。 容忍度还可以按如下方式进行设置，表示当节点上存在键名为“key1”，且效果为“NoSchedule”的污点时，该Pod也可以调度到节点上。 tolerations: - key: "key1" operator: "Exists" effect: "NoSchedule"
-
节点标签使用场景 节点标签的主要使用场景有两类。 节点分类：通过添加标签对节点进行分类。 工作负载与节点的亲和与反亲和： 有的工作负载需要的CPU大，有的工作负载需要的内存大，有的工作负载需要IO大，可能会影响其他工作负载正常工作，此时建议给节点添加不同标签。在部署工作负载的时候，就可以选择相应标签的节点亲和部署，保证系统正常工作；反之，可以使用节点的反亲和部署。 一个系统可以分为多个模块，每个模块由多个微服务组成，为保证后期运维的高效，可以将节点打上对应模块的标签，让各模块的工作负载部署到各自的节点上，互不干扰、利于维护。
-
节点固有标签 创建节点后，U CS 会为节点添加固有标签，这些标签是无法编辑和删除的。节点固有标签的含义请参见表1。 表1 节点固有标签 键 值 failure-domain.beta.kubernetes.io/region 表示节点当前所在区域 failure-domain.beta.kubernetes.io/zone 表示节点所在区域的可用区 beta.kubernetes.io/arch 表示节点处理器架构 例如：amd64，表示AMD64位的处理器 beta.kubernetes.io/os 表示节点的操作系统 例如：linux，表示Linux操作系统 kubernetes.io/availablezone 表示节点所在区域的可用区 kubernetes.io/hostname 表示节点主机名称 os.architecture 表示节点处理器架构 例如：amd64，表示AMD64位的处理器 os.name 表示节点的操作系统名称 例如：EulerOS_2.0_SP2，表示欧拉2.2的版本 os.version 表示节点内核版本
-
管理节点标签/污点 登录集群控制台。 在左侧导航栏中单击“节点管理”，在节点列表中选择节点，并单击“标签与污点管理”。 单击按钮，设置节点标签/污点。如需执行多项操作，可多次添加，最多支持10条操作。 图1 添加标签/污点 选择“添加”或“删除”操作。 选择操作对象为“K8S标签”或“污点（Taints）”。 填写需要增加标签/污点的“键”和“值”。 如选择操作对象为“污点（Taints）”，需选择污点效果，关于污点效果说明请参见污点（Taints）说明。 单击“确定”，对所选节点执行标签/污点操作。
-
什么是数据血缘 大数据时代，数据爆发性增长，海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息，通过联姻融合、转换变换、流转流通，又生成新的数据，汇聚成数据的海洋。 数据的产生、加工融合、流转流通，到最终消亡，数据之间自然会形成一种关系。我们借鉴人类社会中类似的一种关系来表达数据之间的这种关系，称之为数据的血缘关系。与人类社会中的血缘关系不同，数据的血缘关系还包含了一些特有的特征： 归属性：一般来说，特定的数据归属特定的组织或者个人，数据具有归属性。 多源性：同一个数据可以有多个来源（多个父亲）。一个数据可以是多个数据经过加工而生成的，而且这种加工过程可以是多个。 可追溯性：数据的血缘关系，体现了数据的生命周期，体现了数据从产生到消亡的整个过程，具备可追溯性。 层次性：数据的血缘关系是有层次的。对数据的分类、归纳、总结等对数据进行的描述信息又形成了新的数据，不同程度的描述信息形成了数据的层次。 DataArts Studio 生成的血缘关系图如图1所示，为数据表对象，为作业节点对象，通过对象和箭头的编排表示血缘信息。从血缘关系图中可以看到，wk_02表数据是由wk_01表数据经过hive_1作业节点加工而生成的，wk_02表数据经由hive_2作业节点加工又分别生成了wk_03、wk_04和wk_05的表数据。 图1 数据血缘关系示例
-
DataArts Studio数据血缘实现方案 数据血缘的产生： DataArts Studio数据血缘解析方案包含自动分析血缘和手动配置血缘两种方式。一般推荐使用自动血缘解析的方式，无需手动配置即可生成血缘关系，在不支持自动血缘解析的场景下，再手动配置血缘关系。 自动血缘解析，是由系统解析数据开发作业中的数据处理和数据迁移类型节点后自动产生的，无需进行手动配置。支持自动血缘解析的节点类型和场景请参见自动血缘解析。 手动配置血缘，是在数据开发作业节点中，自定义血缘关系的输入表和输出表。注意手动配置血缘时，此节点的自动血缘解析将不生效。支持手动配置血缘的节点类型请参见手动配置血缘。 数据血缘的展示： 首先在数据目录组件完成元数据采集任务，当数据开发作业满足自动血缘解析要求或已手动配置血缘，然后成功完成作业调度后，则可以在数据目录模块可视化查看数据血缘关系。
-
功能 通过Rest Client节点执行一个华为云内的RESTful请求。 Rest Client算子的具体使用教程，请参见获取Rest Client算子返回值教程。 当由于网络限制，Rest Client某些API无法调通时，可以尝试使用Shell脚本进行API调用。您需要拥有ECS弹性云服务器，并确保ECS主机和待调用的API之间网络可通，然后在DataArts Studio创建主机连接，通过Shell脚本使用CURL命令进行API调用。 Rest Client算子目前不支持大量的response返回体，目前代码限制30M。
-
运行动作 输入参数 用户配置运行动作执行动作，相关参数说明如表1所示。 表1 运行动作属性配置输入参数说明 参数 必须 说明 函数名称 是 选择下拉列表中的函数，一般是之前已定义保存的函数，也可以进行以下操作。 单击：可以直接在弹出的“创建函数”页面快速创建函数，参数配置完成后可单击“创建”保存函数。 单击：选择函数后，单击该图标可以在弹出的“编辑函数”页面中快速编辑函数，参数编辑完成后可单击“更新”保存函数。 单击：创建或编辑函数后，单击该图标，可刷新下拉列表中的函数列表。 单击：选择函数后，单击该图标可快速复制函数。 连接 否 可选项，选择了连接，在Code代码时可通过连接器认证参数mssiAuthData获取该连接认证信息。 创建流时，当选择该执行动作后，根据选择的函数不同，需要输入的参数不同，具体请以界面为准。 输出参数 该执行动作是根据用户定义的函数内容输出指定参数。
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格
