检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDM集群和数据服务专享版集群在工作空间之间相互隔离,建议您在新空间提前准备好对应旧空间的集群。 搬迁依赖于OBS功能,请您提前规划OBS桶和文件夹目录。 DataArts Studio数据搬迁时,依赖各组件的备份或导入导出能力。您可以根据自己的数据需求,自由选择搬迁哪个组件的数据。
作的协助者。 确保领域治理工作的流程和内容规范,符合数据治理要求。 协助数据代表进行问题跟踪和解决。 梳理、维护并更新领域数据元数据(业务对象、数据标准、数据模型)。 推广和维护数据治理工具和平台在本领域的应用。 数据专员(Data Specialists):数据专员是领域数据治理工作的专家团队。
迁移数据到DLI时,DLI要在OBS的dli-trans*内部临时桶生成数据文件,因此在需要赋予DLI连接中使用AK/SK所在用户对dli-trans*桶的读、写、创建目录对象等权限,否则会导致迁移失败。dli-trans*内部临时桶的权限策略添加请参见新增dli-trans*内部临时桶授权策略。 表1 DLI连接参数
current[0]}或#{Loop.current[1]}等,表示循环中取遍历到的数据集二维数组当前行的第一个值或第二个值等,详见Loop内嵌对象;循环执行的子作业的作业参数名配置后,参数值无需配置可置为空。 当循环执行的子作业需要使用自身参数变量运行时,则本参数可置为空;循环执行的子作业的作业参数需配置参数值。
主题域中文名,只读,创建和更新时无需填写。 l3 String 业务对象中文名,只读,创建和更新时无需填写。 l1_id String 主题域分组ID,只读,ID字符串。 l2_id String 主题域ID。 l3_id String 业务对象ID,只读,ID字符串。 partition_conf
支持记录迁移和文件迁移 默认为记录迁移。仅当源端为Hive2.x且数据存储在HDFS、目的端为Hive3.x且数据存在OBS并行文件系统时,才支持文件迁移。 当选择文件迁移时,需保证源端和目的端的表格式和属性需一致才能迁移成功。 记录迁移 文件迁移 分区过滤条件 “读取方式”选择“HDFS”时显示此参数。
整库(多表)实时增量数据同步至目标多表。 单表增量数据实时同步:支持单表实时同步。 分库分表:支持将多个来源的多个数据库的多个分表迁移到目的端的一个表中,支持灵活配置来源库来源表和目标表的映射关系。 整库增量数据实时同步:支持同时对源端多张库表批量操作。 支持将整个数据库的变化日
除新建的存储桶即可;另外,DataArts Studio作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中,在退订DataArts Studio后可以一并删除。 DLI DLI计费说明 DLI服务未购买专属队列时,涉及存储收费和扫描量计费。
主题域中文名,只读,创建和更新时无需填写。 l3 否 String 业务对象中文名,只读,创建和更新时无需填写。 approval_info 否 ApprovalVO object 审批信息,只读参数。业务对象最近一次的审批信息,包括审批的业务详情、审核人信息、审核时间等。 new_biz
MRS Hetu数据连接参数说明 表1 MRS Hetu数据连接 参数 是否必选 说明 数据连接类型 是 MRS Hetu连接固定选择为MapReduce服务(MRS Hetu)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签
MRS Impala数据连接参数说明 表1 MRS Impala数据连接 参数 是否必选 说明 数据连接类型 是 MRS Impala连接固定选择为MapReduce服务(MRS Impala)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。
Doris数据连接参数说明 表1 Doris数据连接 参数 是否必选 说明 数据连接类型 是 Doris连接固定选择为Doris。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。
downloadMap("url") 将IP与地址映射对象缓存起来并指定一个key值用于检索,例如“ipList”。 表达式:CommonUtils.setCache("ipList",HttpsUtils.downloadMap("url")) 取出缓存的IP与地址映射对象。 表达式:CommonUtils
主题域分组。 l2 String 主题域。 l3 String 业务对象。 l1_id String 主题域分组ID,只读,ID字符串。 l2_id String 主题域ID。 l3_id String 业务对象ID,只读,ID字符串。 new_biz BizVersionManageVO
在技术资产搜索结果列表,单击任意数据表,进入数据表详情页面。 在“详情”页签,可查看技术元数据基本属性、编辑描述;可给数据表添加标签和密级;可给数据表的列和OBS对象添加或删除分类、标签和密级。 图1 查看详情 在“权限”页签,可申请数据表权限或给其他用户授权。 在未上线数据安全组件的区域,申请权限和授
是 String 请求语言。 表3 请求Body参数 参数 是否必选 参数类型 描述 cluster 是 cluster object 集群对象,请参见cluster参数说明。 auto_remind 否 Boolean 选择是否开启消息通知。开启后,支持配置20个手机号码或邮箱,
MRS Ranger数据连接参数说明 表1 MRS Ranger数据连接 参数 是否必选 说明 数据连接类型 是 MRS Ranger连接固定选择为MapReduce服务(MRS Ranger)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。
脏数据要写入的连接,目前只支持写入到OBS连接或HDFS连接。例如:“obslink”。 throttlingConfig.obsBucket 否 String 写入脏数据的OBS桶的名称,只有当脏数据要写入OBS连接的时候,此参数才生效。例如:“dirtyData”。 throttlingConfig.dirtyDataDirectory
empty. 作业的节点为空。 请检查节点。 400 DLF.1242 The OBS bucket does not exist. OBS桶不存在。 请检查OBS桶。 400 DLF.2014 The job object type is invalid. 作业类型不合法。 请检查作业类型。
对请求进行签名,并为请求添加x-Authorization头,值与Authorization头相同。然后生成okhttp3.Request对象来访问API。 1 2 3 4 5 okhttp3.Request signedRequest = Client.signOkhttp(request);