检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 cdm 自动创表 是否自动创建Hudi表。
bConfig”,连接的配置名称固定为“linkConfig”。 id 否 Integer 配置ID,由系统生成,用户无需填写。 type 否 String 配置类型,由系统生成,用户无需填写。值为LINK或者JOB,如果是连接管理API,则为LINK;如果是作业管理API,则为JOB。
如果没有配置默认存储路径,单击“批量导出”后,配置存储路径,可以将该存储路径设为OBS默认地址。 当前导出数据量最大为30M,超过30M系统会自动截断。 导出的作业实例与作业节点存在对应关系。目前不支持通过勾选作业名称导出所勾选的数据,可以通过筛选条件选择需要导出的数据。 单击作业名称,在打开
执行SQL语句失败,系统提示“Failed to create ThriftService instance, please check the cluster has available resources and check YARN or Spark driver's logs
检查集群版本与权限 统一权限治理对数据连接Agent、数据源版本和用户权限等均有相应的要求。在使用前,您应先按照表1,检查并准备相关配置。 DLI权限管理仅涉及授权dlg_agency委托,不涉及检查集群版本与权限。 使用前检查checklist 表1 使用前检查checklist
SQL只能手动输入,不支持选择。 选择执行DLI作业的资源队列。当脚本为DLI SQL时,配置该参数。选择了资源队列以后,单击可以查看队列性能,系统支持查看DLI运行作业数和队列CU使用量,系统显示队列近24小时性能情况。 说明: 当队列选择为“default”时,会提示“暂不支持"default"队列性能展示”。
Administrator可升级企业模式或创建企业模式。 前提条件 创建工作空间模式前,您需要先了解以下内容: 已了解简单模式与企业模式工作空间的区别,包括不同工作空间的开发流程等差异,详情请参见简单模式与企业模式介绍。 已配置空间级的身份调度,包含公共委托和公共IAM账号,详情请参见配置公共委托和配置公共IAM账号。
文件查看效果。 结构化数据 *水印内容 系统会将水印标识嵌入到数据表中,标识长度不超过16个字符即可。 *数据选择 结构化数据仅支持csv、xml和json格式文件。 *选择注入字段 选择需要注入水印的字段。 非结构化数据 *水印内容 系统会将水印标识嵌入到数据表中,标识长度不超过16个字符即可。
hon脚本,系统自动默认显示Python版本,例如Python3。如果脚本未创建,请参考新建脚本和开发Python脚本先创建和开发脚本。 说明: 若选择Python语句方式,数据开发模块将无法解析您输入Python语句中携带的参数。 若选择Python脚本方式,系统自动默认显示的
骤。 整库迁移没有配置字段映射关系这一步骤。 迁移过程中可能存在源端与目标端字段类型不匹配,产生脏数据,导致数据无法正常写入目标端,迁移过程中关于脏数据的容忍条数,请参考下一步任务属性进行配置。 当源端某字段未与目标端字段进行映射时,源端该字段数据将不会同步到目标端。 其他场景下
例如,过去一年中,地区订单总金额 / 地区有效经营面积总和。 *统计周期 选择该指标的统计周期,以便指导开发者根据统计周期设计时间周期。 统计周期是系统预设的,系统会提供默认值。 统计维度 支持手动输入,也可以在下拉列表中选择已经创建的维度。维度的创建请参见新建维度。 已创建的统计维度来自数据架构模块。
提交版本 提交版本涉及到数据开发的版本管理功能。 版本管理:用于追踪脚本/作业的变更情况,支持版本对比和回滚。系统最多保留最近100条的版本记录,更早的版本记录会被删除。另外,版本管理还可用于区分开发态和生产态,这两种状态隔离,互不影响。 开发态:未提交版本的脚本/作业为开发态,
提交版本 提交版本涉及到数据开发的版本管理功能。 版本管理:用于追踪脚本/作业的变更情况,支持版本对比和回滚。系统最多保留最近100条的版本记录,更早的版本记录会被删除。另外,版本管理还可用于区分开发态和生产态,这两种状态隔离,互不影响。 开发态:未提交版本的脚本/作业为开发态,
选择所需要的所属流程和衍生指标,此处仅展示有时间周期衍生指标。系统会根据同比配置,利用时间周期自动计算同比增长率。 环比 *设定衍生指标 选择所需要的所属流程和衍生指标,此处仅展示有时间周期衍生指标。系统会利用时间周期自动计算环比增长率。 基本参数配置完成后,单击“代码配置”,可以查看系统生成的伪代码。 单击“生成
当前仅北京四、上海一和上海二局点给部分用户开放使用。 背景 为了满足用户实际业务场景需求,现将数据架构的指标管理与数仓分层进行独立管理,从而降低指标管理的使用门槛,帮助用户把指标系统快速使用起来。 数据指标的指标设计和指标开发功能,均继承了数据架构的流程设计和技术指标的功能。数据架构这两
Administrator、Tenant Administrator、数据安全管理员或预置的工作空间管理员角色的用户有权限新建、编辑或删除目录权限策略。 约束与限制 一旦在当前工作空间内配置了数据开发、数据服务或数据架构的目录权限策略,将导致非授权对象的普通用户(即非DAYU Administrator、Tenant
Integration,又称贴源数据层。SDI是源系统数据的简单落地。 DWI:Data Warehouse Integration,又称数据整合层。DWI整合多个源系统数据,对源系统进来的数据进行整合、清洗,并基于三范式进行关系建模。 物理模型设计时的考虑事项如下: 物理模型要确
若您想自定义存储路径,请参见(可选)修改作业日志存储路径选择您已在OBS服务侧创建的桶。 请确保您已具备该参数所指定的OBS路径的读、写权限,否则系统将无法正常写日志或显示日志。 在数据开发作业中添加CDM Job节点,并关联已创建的CDM作业,如图4所示。 图4 关联CDM作业 在作业参数中配置业务需要的参数,如图5所示。
置如表5所示的参数。 表5 作业参数预览 功能 说明 当前时间 仅单次调度才显示。系统默认为当前时间。 事件触发时间 仅事件驱动调度才显示。系统默认为事件触发时间。 周期调度 仅周期调度才显示。系统默认为调度周期。 具体时间 仅周期调度才显示。周期调度配置的具体运行时间。 起始日期
选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。 基础与网络连通配置 MRS集群名 是 选择所属的MRS集群。仅支持连接MRS云服务,自建Hadoop集群必须在纳管到MRS云服务后才可以选择。系统会显示所有项目ID和企业项目相同的MRS集群。 说明: 当前DataArts