检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同,如果不同,您需要修改工作空间的企业项目。
选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在本地IDC场景下,通过公网打通网络的方案。 图1 网络示意图 约束限制 资源组不具有公网网段,只能通过公网NAT转换成固定的弹性公网IP访问公网,且该IP不能与数据源公网IP重复。 前提条件 已购买资源组,详情请参见购买数据集成资源组。
同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同,如果不同,您需要修改工作空间的企业项目。
性能,可以减少处理许多小文件的时间,并通过减少需要从远程存储中读取的文件数量来提高数据本地性。) 如果不使用的话,可以手动配置相关参数进行关闭,参数值设置为false。 DWS SQL属性 数据连接 选择数据连接。 数据库 选择数据库。 脏数据表 SQL脚本中定义的脏数据表名称。
GRANT SELECT,UPDATE,DELETE ON TABLE table_name TO user1,user2,user3; 约束与限制 仅DAYU Administrator、Tenant Administrator用户或者数据安全管理员可以创建、修改或删除行级访问控制策略,其他普通用户无权限操作。
方式能够灵活实现消息映射及格式转换。 数据请求依赖多个数据API:使用API编排后,可以降低调用次数,减少集成成本,提升调用效率。 约束与限制 仅3.0.6及以上版本的数据服务专享版集群支持API编排。 API工作流发布前,需确保其中的普通API均已处于已发布状态。 开发API工作流1:对返回消息进行映射或格式转换
前提条件 启用账号映射策略前,请确保已经为MRS系统账号或ldap账号配置了业务所需的数据权限,避免开启后因用户无数据权限导致业务中断。 约束与限制 当前开发态账号映射仅支持代理模式的MRS Hive、MRS SPARK,MRS Hetu、MRS Impala类型数据连接。当修改MRS
同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同,如果不同,您需要修改工作空间的企业项目。
同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同,如果不同,您需要修改工作空间的企业项目。
关系数据库连接 介绍 通过JDBC连接,可以对以下关系型数据库抽取、加载数据: 云数据库 PostgreSQL 云数据库 SQL Server PostgreSQL Microsoft SQL Server 连接样例 { "links": [ {
您可以通过管理中心配置数据搬迁进行搬迁,也可以参考本章节通过数据架构的导入导出功能进行搬迁。 数据架构数据搬迁依赖于数据架构的导入导出功能。 约束与限制 导入关系建模表、逻辑实体、维度建模维度/事实表、数据集市汇总表前请确保已创建管理中心连接,确保数据连接可用。 数据架构中的时间限定、审核
作业执行机制默认以启动作业的用户身份执行该作业。如果作业被低权限的用户启动,也会因为权限不足导致作业执行失败,您可通过配置调度身份来解决该问题。 约束限制 创建或修改委托需要用户具有Security Administrator权限。 配置工作空间级的调度身份,需要用户具有DAYU Administrator或者Tenant
同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同,如果不同,您需要修改工作空间的企业项目。
同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同,如果不同,您需要修改工作空间的企业项目。
自定义规则:在创建质量作业时,“规则类型”选择为“自定义规则”,然后您可以通过输入完整的SQL语句,定义如何对数据对象进行数据质量监控。 SQL语句可以包含同一数据库下的多张表,但不同数据库的表无法共存。 本文以新建自定义模板为例,说明如何创建规则。如果您需要新建自定义规则,请直接参考新建数据质量作业进行自定义规则质量作业的创建。
数据表与数据库强相关,基于已选择的数据库。数据库基于已建立的数据连接。 SQL 当“规则类型”选择“自定义规则”时,需要配置该参数。此处需输入完整的SQL语句,定义如何对数据对象进行数据质量监控。 默认参数值 自定义SQL可设置入参用于执行,SQL入参需要与参数默认值顺序匹配(数据质量单点执行时)。 说明:
部分功能。 授权:授权会给予APP在有效期内访问API的权利。 续约:续约会更新授权有效期,仅支持延长有效期,不能减少。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/apis/{api_id}/instances/{instance_id}/authorize
若需要立即执行下线/停用,需要发起请求后,无有效的授权应用或是有效的授权应用均处理完消息(立即执行,或定期后完成执行)。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/apis/{api_id}/instances/{instance_id}/action
送至API网关专享版、ROMA-APIC、或不发布网关。 发布请求的发起者若非审核人,需要API的审核人完成申请的审核。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/apis/{api_id}/instances/{instance_id}/publish
详见元数据采集任务。 管理中心组件对应的数据连接,已开启“元数据实时同步”功能,详见创建DataArts Studio数据连接。 约束与限制 当前仅支持对数据仓库服务(DWS)、数据湖探索(DLI)、MapReduce服务(MRS Hive)类型的数据源进行敏感数据识别,且仅支持标准数仓类型的DWS数据源。