检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据标准全部属性,集合中是单个StandElementFieldVO对象 optional Array of StandElementFieldVO objects 可选项,集合中是单个StandElementFieldVO对象 system_default Array of StandElementFieldVO
records int 500 消费者每次poll时返回的最大消息条数。Kafka单条消息大的场景,可以适当调高每次获取的数据量,以提高性能。 目的端优化 Kafka写入优化 Kafka写入通常速率极快,若有阻塞的场景请优先增加并发解决。 父主题: 任务性能调优
DAY)}*”(这是CDM支持的日期宏变量格式,详见时间宏变量使用解析)。 图1 文件过滤 配置作业定时自动执行,“重复周期”为1天。 这样每天就可以把昨天生成的文件都导入到目的端目录,实现增量同步。 文件增量迁移场景下,“路径过滤器”的使用方法同“文件过滤器”一样,需要路径名称里带有时间字段,这样可以定期增量同步指定目录下的所有文件。
relationship_attributes Object 关联关系属性,数据类型Map<String, Object>,key:关系类型:value:关联关系对象。 super_type_names Array of strings 父类资产类型。 business_attributes Object
records int 500 消费者每次poll时返回的最大消息条数。Kafka单条消息大的场景,可以适当调高每次获取的数据量,以提高性能。 目的端优化 OBS写入优化 若开启了自动合并可尝试关闭,否则请优先增加并发解决。 父主题: 任务性能调优
relationship_attributes 否 Object 关联关系属性,数据类型Map<String, Object>,key:关系类型:value:关联关系对象。 super_type_names 否 Array of strings 父类资产类型。 business_attributes 否 Object
S连接。 OBS_test_link 列表文件OBS桶 当“列表文件”选择为“是”时,才有该参数。该参数表示列表文件所在的OBS桶名。 01 列表文件或目录 当“列表文件”选择为“是”时,才有该参数。该参数表示列表文件所在的OBS桶中的绝对路径或目录。 /0521/Lists.txt
开发一个DWS SQL作业 介绍如何在数据开发模块上通过DWS SQL节点进行作业开发。 场景说明 本教程通过开发一个DWS作业来统计某门店的前一天销售额。 环境准备 已开通DWS服务,并创建DWS集群,为DWS SQL提供运行环境。 已开通CDM增量包,并创建CDM集群。 CD
DAY)}*”(这是CDM支持的日期宏变量格式,详见时间宏变量使用解析)。 图1 文件过滤 配置作业定时自动执行,“重复周期”为1天。 这样每天就可以把昨天生成的文件都导入到目的端目录,实现增量同步。 文件增量迁移场景下,“路径过滤器”的使用方法同“文件过滤器”一样,需要路径名称里带有时间字段,这样可以定期增量同步指定目录下的所有文件。
主题域分组。 l2 String 主题域。 l3 String 业务对象。 l1_id String 主题域分组ID,只读,ID字符串。 l2_id String 主题域ID。 l3_id String 业务对象ID,只读,ID字符串。 new_biz BizVersionManageVO
OFFLINE: 已下线 REJECT: 已驳回 approval_info ApprovalVO object 审批信息,只读参数。业务对象最近一次的审批信息,包括审批的业务详情、审核人信息、审核时间等。 new_biz BizVersionManageVO object 业务版本管理,只读。
starting at 1 but was 0”,即数组下标必须从1开始,a[1]表示数组中的第一个元素。 查看该CDM实时作业:配置源端为Kafka,目的端为DLI字段映射,赋值来源为“源表字段”,赋值框使用kafka消息中的嵌套json数组写入方式为a[0]。由于在字段映射使用源表字段对目标
以“fromJobConfig.”开头,具体可参见源端作业参数说明下相应的源端参数说明;对于目的端连接参数,则以“toJobConfig.”开头,具体可参见目的端作业参数说明下相应的目的端参数说明;对于作业任务参数,请参见作业任务参数说明下相应的任务参数说明。 value Object
设置“基本配置”参数: 图1 事实表基本配置 表1 基本配置参数说明 参数名称 说明 *所属主题 单击“选择主题”,选择表所属的主题域分组、主题域和业务对象。 *表名称 只允许除\、<、>、%、"、'、;及换行符以外的字符。 *表英文名称 只能以fact_开头,支持英文字母、数字、下划线。 *数据连接类型
作的协助者。 确保领域治理工作的流程和内容规范,符合数据治理要求。 协助数据代表进行问题跟踪和解决。 梳理、维护并更新领域数据元数据(业务对象、数据标准、数据模型)。 推广和维护数据治理工具和平台在本领域的应用。 数据专员(Data Specialists):数据专员是领域数据治理工作的专家团队。
迁移数据到DLI时,DLI要在OBS的dli-trans*内部临时桶生成数据文件,因此在需要赋予DLI连接中使用AK/SK所在用户对dli-trans*桶的读、写、创建目录对象等权限,否则会导致迁移失败。dli-trans*内部临时桶的权限策略添加请参见新增dli-trans*内部临时桶授权策略。 表1 DLI连接参数
current[0]}或#{Loop.current[1]}等,表示循环中取遍历到的数据集二维数组当前行的第一个值或第二个值等,详见Loop内嵌对象;循环执行的子作业的作业参数名配置后,参数值无需配置可置为空。 当循环执行的子作业需要使用自身参数变量运行时,则本参数可置为空;循环执行的子作业的作业参数需配置参数值。
主题域中文名,只读,创建和更新时无需填写。 l3 String 业务对象中文名,只读,创建和更新时无需填写。 l1_id String 主题域分组ID,只读,ID字符串。 l2_id String 主题域ID。 l3_id String 业务对象ID,只读,ID字符串。 partition_conf
CDM集群和数据服务专享版集群在工作空间之间相互隔离,建议您在新空间提前准备好对应旧空间的集群。 搬迁依赖于OBS功能,请您提前规划OBS桶和文件夹目录。 DataArts Studio数据搬迁时,依赖各组件的备份或导入导出能力。您可以根据自己的数据需求,自由选择搬迁哪个组件的数据。
主题域中文名,只读,创建和更新时无需填写。 l3 否 String 业务对象中文名,只读,创建和更新时无需填写。 approval_info 否 ApprovalVO object 审批信息,只读参数。业务对象最近一次的审批信息,包括审批的业务详情、审核人信息、审核时间等。 new_biz