检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果选择写入到OBS,此参数表示相应的OBS桶下的目录,例如:“/data/dirtydata/”。 throttlingConfig.maxErrorRecords 否 String 单个分片的最大错误记录数。单个map的错误记录超过设置的最大错误记录数时,任务自动结束,已经导入的数据不回退。 schedulerConfig
无法获得所有列),则可以单击后选择“添加新字段”来手动增加,确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。
同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同,如果不同,您需要修改工作空间的企业项目。
作业优先级 选择作业的优先级,提供高、中、低三个等级。 说明: 作业优先级是作业的一个标签属性,不影响作业的实际调度执行的先后顺序。 委托配置 配置委托后,作业执行过程中,以委托的身份与其他服务交互。若该工作空间已配置过委托,参见配置公共委托,则新建的作业默认使用该工作空间级委托。
同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同,如果不同,您需要修改工作空间的企业项目。
无法获得所有列),则可以单击后选择“添加新字段”来手动增加,确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。
产,明确业务领域和业务对象的关联关系。 主题域分组:基于业务场景对主题域进行分组。 主题域:互不重叠数据的高层面的数据分类,用于管理其下一级的业务对象。 业务对象:指企业运作和管理中不可缺少的重要人、事、物信息。 流程设计:针对流程的一个结构化的整体框架,描述了企业流程的分类、层
其中: 数据Owner(Data Owners):数据Owner是领域数据治理工作的责任人。 制定本领域数据治理的目标,工作计划和执行优先级。 建立数据治理责任机制,将本领域的数据治理工作分解到工作组成员,并跟进及管理工作组工作。 设计数据质量规格,承接数据需求,对数据问题及争议进行裁决。
PI授权给账号使用。添加白名单授权后,从IAM服务获取的授权账号及其归属用户的Token才能通过安全认证,成功调用API。 本章节为您介绍如何通过IAM类型应用授权将API授权给当前账号。 约束与限制 通过IAM应用授权的IAM认证方式API,仅支持通过当前账号及其归属用户的To
Schema和SQL需指定其中一项。 请确认Schema和SQL是否同时为空,请指定其中一项后,再重试。 Cdm.0916 400 增量读取情况下必须指定上次的值。 增量读取时未指定上次的值。 请指定上次的值后再重试。 Cdm.0917 400 缺少字段检查将无法获得上次的值。 缺少字段。 请联系客服或技术支持人员协助解决。
这个不影响字段值的传输,CDM会将字段值直接写入目的端。 这里“添加新字段”的功能,要求源端数据源为:MongoDB、HBase、关系型数据库或Redis,其中Redis必须为Hash数据格式。 全部字段添加完之后,检查源端和目的端的字段映射关系是否正确,如果不正确可以拖拽字段调整字段位置。
表2所示。 表2 Hive与Hetu的策略映射关系 Hive Hetu 资源映射关系 hive数据源 Hetu Catalog hive数据库 Hetu Schema hive表 Hetu表 hive列 Hetu列 权限映射关系 select select、use update
说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dli_link 访问标识(AK) 访问DLI数据库时鉴权所需的AK和SK。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 登录控制台,在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面,选择“访问密钥
port=21050, auth_mechanism='GSSAPI', kerberos_service_name='impala',database='default') cursor = conn.cursor() cursor.execute("show databases;")
DAYU”进行搜索,然后勾选需要授予用户组的权限,如“DAYU User”。 DataArts Studio部署时通过物理区域划分,为项目级服务。授权时,“授权范围方案”如果选择“所有资源”,则该权限在所有区域项目中都生效;如果选择“指定区域项目资源”,则该权限仅对此项目生效。I
配置执行用户调度功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 调度身份的优先级 系统按照作业委托>公共委托>执行用户>公共IAM账号的优先级顺序来获取权限,然后以该权限来执行作业。 作业执行机制默认以启动作业的用户身份执行该作业。如果作业被低权限的
DAYU”进行搜索,然后勾选需要授予用户组的权限,如“DAYU User”。 DataArts Studio部署时通过物理区域划分,为项目级服务。授权时,“授权范围方案”如果选择“所有资源”,则该权限在所有区域项目中都生效;如果选择“指定区域项目资源”,则该权限仅对此项目生效。I
同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同,如果不同,您需要修改工作空间的企业项目。
同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同,如果不同,您需要修改工作空间的企业项目。
择共享VPC子网。通过共享VPC子网功能,可以简化网络配置,帮助您统一配置和运维多个账号下的资源,有助于提升资源的管控效率,降低运维成本。如何共享VPC子网,请参考《共享VPC》。 子网 安全组 企业项目 DataArts Studio专享版集群关联的企业项目。企业项目管理是一种