检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
滚动重启实例 配置Spark代理权限 登录MRS FusionInsight Manager。 选择“集群 > 服务 > Spark> 配置 > 基础配置”或“集群 > 服务 > Spark2x> 配置 > 基础配置”,在搜索框中输入参数名“spark.core-site.customized
HANA连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 sap_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。
Flink写Kafka时的语义保证机制。 at-least-once:在 checkpoint 时会等待 Kafka 缓冲区中的数据全部被 Kafka producer 确认。消息不会因 Kafka broker 端发生的事件而丢失,但可能会在 Flink 重启时重复,因为 Flink 会重新处理旧数据。 exactly-once:该模式下,Kafka
神通(ST)数据库连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 st_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的数据库实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。
前往MRS管理控制台进行新建。 如何新建集群,请参见《MapReduce服务(MRS) 使用指南》中的创建集群章节。 MRS资源队列 否 选择已创建好的MRS资源队列。 说明: 您需要先在数据安全服务队列权限功能中,配置对应的队列后,才能在此处选择到已配置的队列。当有多处同时
compaction.schedule.enabled boolean true - 生成compaction计划的开关。compaction计划必须由本服务生成,计划的执行可以交给Spark。 compaction.delta_commits int 40 次 生成compaction request的频率。compaction
csv后缀,选择“UTF-8”编码格式(不能带BOM),则能以CSV格式保存该文件。 将源数据CSV文件上传到OBS服务。 登录控制台,选择“存储 > 对象存储服务 OBS”,进入OBS控制台。 单击“创建桶”,然后根据页面提示配置参数,创建一个名称为“fast-demo”的OBS桶。
是否支持OBS存储,如果hudi表数据存储在OBS,需要打开此开关。 是 访问标识(AK) “OBS支持”设置为“是”时,呈现此参数。 AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。
连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 adb_link 连接器 默认为关系数据库,不可更改。 - 数据库服务器 配置为要连接的数据库的IP地址或域名,多个值以;分隔。 192.168.0.1;192.168.0.2 端口 配置为要连接的数据库的端口。
较低,可能会出现无法支持建表语句执行的报错,这种情况下建议您选择自建队列运行业务。如需“default”队列支持建表语句执行,可联系DLI服务客服或技术支持人员协助解决。 DLI的“default”队列为共享队列,仅用于用户体验,用户间可能会出现抢占资源的情况,不能保证每次都可以
ID为1dd3bc…d93f0。 图2 获取实例ID和工作空间ID 获取终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。 数据治理中心的终端节点Endpoint构造规则如下,请您根据业务需要选择对应区域的终端节点。 CDM数据集成接口:cdm
本章主要描述如何通过创建空间权限集和配置空间权限集定义工作空间权限范围。 前提条件 配置权限集前,已在管理中心创建数据仓库服务(DWS)、数据湖探索(DLI)、MapReduce服务(MRS Hive)和MapReduce服务(MRS Ranger)类型的数据连接,请参考创建DataArts Studio数据连接。
将字段值直接写入目的端。 如果字段映射关系不正确,您可以通过拖拽字段、单击对字段批量映射两种方式来调整字段映射关系。 如果是导入到数据仓库服务(DWS),则还需在目的字段中选择分布列,建议按如下顺序选取分布列: 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景,建议设置所有主键作为分布列。
选择数据类型,具体说明请参见《数据仓库服务开发指南》的数据类型。 列描述 否 填写列的描述信息。 是否建ES索引 否 单击复选框时,表示需要建立ES索引。建立ES索引时,请同时在“CloudSearch集群名”中选择建立好的CSS集群。如何创建CSS集群,请参见《云搜索服务用户指南》的创建集群。
选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。 基础与网络连通配置 主机地址 是 Linux操作系统主机的IP地址。 请参考查看云服务器详细信息获取。 绑定Agent 是 选择CDM集群,CDM集群提供Agent。如果没有可用的CDM集群,请参考创建CDM集群进行创建。 说明:
将字段值直接写入目的端。 如果字段映射关系不正确,您可以通过拖拽字段、单击对字段批量映射两种方式来调整字段映射关系。 如果是导入到数据仓库服务(DWS),则还需在目的字段中选择分布列,建议按如下顺序选取分布列: 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景,建议设置所有主键作为分布列。
PostgreSQL/SQLServer连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 sql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。
将字段值直接写入目的端。 如果字段映射关系不正确,您可以通过拖拽字段、单击对字段批量映射两种方式来调整字段映射关系。 如果是导入到数据仓库服务(DWS),则还需在目的字段中选择分布列,建议按如下顺序选取分布列: 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景,建议设置所有主键作为分布列。
动建库和模式,需用户自行在目的端手动建出库和模式后再使用本功能建表。 自动建表时对应的字段类型映射关系请参见字段映射关系章节。 配置DDL消息处理规则。 实时集成作业除了能够同步对数据的增删改等DML操作外,也支持对部分表结构变化(DDL)进行同步。针对支持的DDL操作,用户可根据实际需求配置为正常处理/忽略/出错。
您可以通过以下两种方式导出质量报告: 若使用局点有OBS服务,系统默认导出到关联的OBS桶中。 由于质量报告数据量较大,单个导出文件字段条数最多为2000条,因此OBS桶里或许会有多个导出文件。 导出的报告仅限当前工作空间内。 若使用局点没有OBS服务,系统默认导出到本地。 在DataArts