检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS Spark 功能 通过MRS Spark节点实现在MRS中执行预先定义的Spark作业。 参数 用户可参考表1,表2和表3配置MRS Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”
开放连接端口。 DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由
服务节点 一个或者多个节点的地址,以“;”分隔。建议同时配置多个节点。 192.168.0.1;192.168.0.2 端口 连接的Cassandra节点的端口号。 9042 用户名 连接Cassandra的用户名。 cdm 密码 连接Cassandra的密码。 - 连接超时时长
怎样查看质量规则模板关联的作业? 可能原因 质量规则模板关联的作业不清楚如何查看。 解决方案 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据质量”模块,进入数据质量页面。 选择“数据质量监控 > 规则模板”。 单击待操作规则模板操作列的“发布历史”。
resources and check YARN or Spark driver's logs for further information”,如何处理? 问题描述 执行SQL语句失败后,系统提示错误信息“Failed to create ThriftService instance,
情请参见数据目录章节。数据地图包含业务资产和技术资产,业务资产就是指逻辑实体和业务对象,技术资产就是指数据连接、数据库对象等。 本章节介绍如何在DataArts Studio数据目录中查看业务资产和技术资产。例如,在技术资产的事实表中,您可以查看数据血缘等详细信息,在技术资产的汇总表中,您可以查看预览结果等详细信息。
支持的数据源 实时处理集成作业可以实现表或文件级别的数据实时增量迁移。 实时处理集成作业支持的数据源如表1所示。 表1 实时增量数据迁移支持的数据源 数据源分类 源端数据源 对应的目的端数据源 关系型数据 MySQL Hadoop:MRS Hudi 消息系统:DMS Kafka 数据仓库:DWS
API编排典型配置 API编排的典型使用场景如下: 对返回消息进行映射或格式转换:通过API编排的方式能够灵活实现消息映射及格式转换。 数据请求依赖多个数据API:使用API编排后,可以降低调用次数,减少集成成本,提升调用效率。 约束与限制 仅3.0.6及以上版本的数据服务专享版集群支持API编排。
(HTTPS)两个端口。 出方向:如果后端服务部署在公网,或者其他安全组内,则需要为专享版实例绑定的安全组的出方向放开后端服务地址与API调用监听端口。 如果API的前后端服务与专享版实例绑定了相同的安全组、相同的虚拟私有云,则无需专门为专享版实例开放上述端口。 路由配置 在物理
CDM集群的内网IP获取方式请参见查看并修改CDM集群配置。 端口 是 主机的SSH端口号。 Linux操作系统主机的默认登录端口为22,如有修改可通过主机路径“/etc/ssh/sshd_config”文件中的port字段确认端口号。 KMS密钥 是 通过KMS加解密数据源认证信息,选
数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同,请根据具体情况配置。 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数
EL表达式使用实例 通过本示例,用户可以了解数据开发模块EL表达式的如下应用: 如何在数据开发模块的SQL脚本中使用变量? 作业如何传递参数给SQL脚本变量? 在参数中如何使用EL表达式? 背景信息 使用数据开发模块的作业编排和作业调度功能,每日通过统计交易明细表,生成日交易统计报表。
数据迁移 数据迁移进阶实践 本最佳实践提供了数据集成CDM组件的高阶使用技巧,例如如何实现增量迁移、时间宏变量表达式写法等。 数据开发 数据开发进阶实践 本最佳实践提供了数据开发DLF组件的高阶使用技巧,例如如何使用IF条件判断、For Each节点使用等。 DataArts Studio+X
分的连接名。 ftp_link 主机名或IP FTP或SFTP服务器的IP地址或者主机名。 ftp.apache.org 端口 FTP或SFTP服务器的端口,FTP默认值为21;SFTP默认值为22。 21 用户名 登录FTP或SFTP服务器的用户名。 cdm 密码 登录FTP或SFTP服务器的密码。
MRS Spark SQL 功能 通过MRS Spark SQL节点实现在MRS中执行预先定义的SparkSQL语句。 参数 用户可参考表1,表2和表3配置MRS Spark SQL节点的参数。 表1 属性参数 参数 是否必选 说明 MRS作业名称 否 MRS的作业名称。 如果未
MRS MapReduce 功能 通过MRS MapReduce节点实现在MRS中执行预先定义的MapReduce程序。 参数 用户可参考表1和表2配置MRS MapReduce节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数
管理静态脱敏任务 本章主要介绍如何创建静态脱敏任务,静态脱敏支持的源端和目的端可通过参考:静态脱敏场景介绍查看。 数据静态脱敏,可以防止隐私数据在未经脱敏的情况下从企业流出。满足企业既要保护隐私数据,同时又保持监管合规,满足企业合规性。敏感数据通过静态脱敏,提供内置高效、丰富的脱
市汇总表的导入导出,暂不支持时间限定、审核中心和配置中心数据的导入导出。 本例中以导入和导出关系建模表为例说明如何进行导入导出,其他数据操作类似。如果您想了解其他数据如何导入导出以及使用场景等,请参考数据架构数据搬迁。 约束与限制 导入关系建模表、逻辑实体、维度建模维度/事实表、
数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同,请根据具体情况配置。 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数
- 后端数据源 输入后端数据库的类型,当前仅支持MYSQL。 MYSQL 数据源列表 输入后端数据库的IP、端口、数据库名称、账户名、密码,以“:”隔开。即ip:port:dbs:username:password,其中username:password可以不填,此时以“用户名”、“密码”配置为准。