检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi常见配置参数 本章节介绍Hudi重要配置的详细信息,更多配置请参考hudi官网:https://hudi.apache.org/cn/docs/0.11.0/configurations/。 提交DLI Spark SQL作业时,在SQL编辑器界面右上角的”设置”->”参数设置”中可以配置Hudi参数。
开始使用 安全组规则修改(可选) Kafka默认使用9092端口,该方案默认针对子网网段及DLI网段开放,请参考修改安全组规则,配置IP地址白名单,以便能正常访问服务。 云数据库RDS 默认使用3306端口,该方案默认针对子网网段及DLI网段开放,请参考修改安全组规则,配置IP地址白名单,以便能正常访问服务。
ECS自建PostgreSQL同步到RDS for PostgreSQL 数据复制服务(Data Replication Service,简称DRS)支持将ECS自建数据库的数据同步到本云云数据库 PostgreSQL 实例。通过DRS提供的实时同步任务,实现在数据库同步过程中业务和数据库不停机,业务中断时间最小化。
将MySQL同步到GaussDB(DWS) 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 本地自建MySQL数据库(MySQL 5.5、5.6、5.7、8.0版本) ECS自建MySQL数据库(MySQL 5.5、5.6、5.7、8.0版本) 其他云上MySQL数据库(MySQL
创建集群 功能介绍 该API用于创建一个空集群(即只有控制节点Master,没有工作节点Node)。请在调用本接口完成集群创建之后,通过创建节点添加节点。 集群管理的URL格式为:https://Endpoint/uri。其中uri为资源路径,也即API访问的路径。 调用该接口创
资源管理 未对数据库资源做控制时,容易出现并发任务抢占资源导致操作系统过载甚至最终崩溃。操作系统过载时,其响应用户任务的速度会变慢甚至无响应;操作系统崩溃时,整个系统将无法对用户提供任何服务。GaussDB(DWS)的负载管理功能能够基于可用资源的多少均衡数据库的负载,以避免数据库系统过载。
将GaussDB(for MySQL)同步到GaussDB(for MySQL) 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 GaussDB(for MySQL)主备实例 8.0版本 GaussDB(for MySQL)主备实例 8.0版本 数据库账号权限要求
将MariaDB同步到GaussDB(for MySQL) 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 本地自建MariaDB数据库 10.0、10.1、10.2、10.3、10.4、10.5版本 ECS自建MariaDB数据库 10.0、10.1、10.2、10
将MariaDB同步到MySQL 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 本地自建MariaDB数据库 10.0、10.1、10.2、10.3、10.4、10.5版本 ECS自建MariaDB数据库 10.0、10.1、10.2、10.3、10.4、10.5版本
新建数据流转流控策略 功能介绍 应用服务器可调用此接口在物联网平台创建数据流转流控策略。 调用方法 请参见如何调用API。 URI POST /v5/iot/{project_id}/routing-rule/flowcontrol-policy 表1 路径参数 参数 是否必选 参数类型
将MySQL同步到GaussDB(for MySQL) 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 本地自建MySQL数据库(MySQL 5.5、5.6、5.7、8.0版本) ECS自建MySQL数据库(MySQL 5.5、5.6、5.7、8.0版本) 其他云上MySQL数据库(MySQL
CREATE TABLE 功能描述 在当前数据库中创建一个新的空白表。 该表由命令执行者所有,但系统管理员在普通用户同名schema下创建的表,表的所有者为schema的同名用户(非系统管理员)。 注意事项 列存表支持的数据类型请参考列存表支持的数据类型。 创建列存和HDFS分区表的数量建议不超过1000个。
Kafka 功能描述 Kafka 连接器提供从 Kafka topic 中消费和写入数据的能力。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。 表1 支持类别
数据仓库服务 GaussDB(DWS) Organizations服务中的服务控制策略(Service Control Policy,以下简称SCP)可以使用以下授权项元素设置访问控制策略。 SCP不直接进行授权,只划定权限边界。将SCP绑定到组织单元或者成员账号时,并没有直接对
使用Spark作业访问DLI元数据 操作场景 DLI支持用户编写代码创建Spark作业来创建数据库、创建DLI表或OBS表和插入表数据等操作。本示例完整的演示通过编写java代码、使用Spark作业创建数据库、创建表和插入表数据的详细操作,帮助您在DLI上进行作业开发。 该功能公
快速操作CloudLink Board 熟悉操作界面和唤醒 连通电源后,打开背部的电源按键,Board将自动开机。 如果Board正在休眠,您也可以通过如下方式唤醒: 触摸Board屏幕。 按压Home键。 如果智能助手已启用,可以通过语音唤醒,例如“小微、小微”。 拿起触控笔,即可唤醒。
修改设备代理 功能介绍 应用服务器可调用此接口修改物联网平台中指定设备代理的基本信息。 调用方法 请参见如何调用API。 URI PUT /v5/iot/{project_id}/device-proxies/{proxy_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
查询规则条件列表 功能介绍 应用服务器可调用此接口查询物联网平台中设置的规则条件列表。 调用方法 请参见如何调用API。 URI GET /v5/iot/{project_id}/routing-rule/rules 表1 路径参数 参数 是否必选 参数类型 描述 project_id
车辆基础安全信息(bsm) 功能介绍 RSU上报bsm消息到平台,平台经过处理后将该消息推送到对应的数据转发配置通道。 车辆基本安全信息,用来在车辆之间交换安全状态数据。车辆通过该消息的广播,将自身的实时状态告知周围车辆,以此支持一系列协同安全等应用。 TOPIC v2x-v1-bsm
创建防护策略 功能介绍 创建防护策略,系统会在生成策略时配置一些默认的配置项,如果需要修改策略的默认配置项需要通过调用更新防护策略接口实现 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/waf/policy 表1 路径参数 参数 是否必选 参数类型