检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
采集数据源的元数据 元数据简介 配置元数据采集任务 查看任务监控 父主题: 数据目录
数据目录典型场景教程 配置增量元数据采集任务 通过数据目录查看数据血缘关系 父主题: 数据目录
创建表/文件迁移作业 在创建表/文件迁移作业时,选择已创建的源端连接器、目的端连接器。 图1 配置作业 单击“下一步”,进入“字段映射”配置页面后,单击源字段图标。 图2 配置字段映射 选择“自定义字段”页签,填写字段名称及字段值后单击“确认”按钮,例如: 名称:InputTime。
创建表/文件迁移作业 在创建表/文件迁移作业时,选择已创建的源端连接器、目的端连接器。 图1 配置作业 单击“下一步”,进入“字段映射”配置页面后,单击源字段图标。 图2 配置字段映射 选择“自定义字段”页签,填写字段名称及字段值后单击“确认”按钮,例如: 名称:InputTime。
设置过滤条件类型。 业务定义 输入过滤条件的业务定义。支持的长度为0~600个字符。 表达式 通过函数和字段配置表达式。 描述 描述信息。支持的长度为0~600个字符。 基本参数配置完成后,单击“代码配置”,可以查看系统生成的伪代码。 单击“生成伪代码”,可以对已经生成的伪代码进行刷新。单击“复
通过数据目录查看数据血缘关系 数据血缘方案简介 配置数据血缘 查看数据血缘 父主题: 数据目录典型场景教程
败时,将数据回滚到作业开始之前的状态,自动清理目的表中的数据。 参数位置:创建表/文件迁移的作业时,如果目的端为关系型数据库,在目的端作业配置的高级属性中,可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理:如果启用,在作业执行时CDM会自动创建临时表,先将数据导入到该
息请参见实时集成作业监控:查看作业详细信息。 实时集成作业监控:启动 单击“启动”,弹出“启动配置”界面。 设置“同步模式”和“时间”。 同步模式包含增量同步和全量同步。 时间表示配置的位点时间早于日志最早时间点时,会以日志最早时间点消费。当设置为“增量同步”时才显示时间参数。 单击“确定”,启动该任务。
Y N N 查询逻辑实体/物理表 Y Y Y Y 编辑逻辑实体/物理表 Y Y N N 新建配置中心 Y N N N 删除配置中心 Y N N N 查询配置中心 Y Y Y Y 编辑配置中心 Y N N N 操作审批中心 Y Y N N 新建主题设计 Y Y N N 删除主题设计
Studio控制台首页,选择对应工作空间的“数据质量”模块,进入数据质量页面。 选择“业务指标监控 > 规则管理”。 单击“新建”,在弹出的对话框中,参见表2配置相关参数,新建规则。 表2 配置业务规则参数 参数名 说明 规则名称 业务规则的名称,只能包含中文、英文字母、数字、“_”,且长度为1~64个字符。 描述
据分类三类任务的运行日志。 更多 > 取消:创建采集任务的时候,配置“数据分类”为“手动同步分类结果”时,才可进行此操作。状态为执行中的实例,单击取消,可终止重跑此实例。 更多 > 扫描结果:创建采集任务的时候,配置“数据分类”为“手动同步分类结果”时,才可进行此操作。可用于查看
基线运维 基线运维概述 基线运维约束限制 基线实例 基线管理 事件管理 合理配置基线承诺时间和预警余量 父主题: 运维调度
败时,将数据回滚到作业开始之前的状态,自动清理目的表中的数据。 参数位置:创建表/文件迁移的作业时,如果目的端为关系型数据库,在目的端作业配置的高级属性中,可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理:如果启用,在作业执行时CDM会自动创建临时表,先将数据导入到该
自然周期调度之上一周期依赖原理 自然周期调度的概念 自然周期调度作业的调度周期包括分钟、小时、天、周、月这五种周期,不同调度周期的作业,其允许配置的依赖作业调度周期总结如图1所示。 图1 上一周期作业依赖关系全景图 即作业A的调度依赖于作业B的上一调度周期,包含以下场景: 分钟依赖分钟
数据安全诊断接口 执行数据安全诊断 查询不合理的权限配置 查询数据权限控制模块诊断结果 查询敏感数据保护模块诊断结果 查询未进行静态脱敏任务的表信息 查询数据源防护模块诊断结果 父主题: 数据安全API
根据处理人、实例名称进行搜索展示规则实例的列表信息,输入内容支持模糊搜索。 5 SQL并发数配置 单击SQL框,进入“单连接SQL并发数配置”页面,配置SQL并发数。输入值必须在10到1000之间。单击“确定”,完成配置。 说明: 并发数是指单个数据连接下的SQL并发数,如果超出则等待排队执行。
于个人调试开发。在开发态下,可以随意编辑、保存、运行脚本/作业,不会影响调度中的脚本/作业;另外在作业关联脚本、配置作业依赖时,被关联的脚本/作业均会读取开发态的配置。 生产态:提交后版本的脚本/作业为生产态,用于正式调度。在正式调度中,调用脚本、实例重跑、作业依赖、补数据等场景均是关联脚本/作业最新的已提交版本。
Studio使用限制一览表 组件 约束限制 公共 DataArts Studio必须基于华为云底座部署。资源隔离场景下,支持以全栈专属云模式部署,另外也支持以华为云Stack和HCS Online混合云模式部署。 关于全栈专属云、华为云Stack和HCS Online的适用场景和差异等更多信息,欢迎通过咨询了解。
开发数据服务API 购买并管理专享版集群 新建数据服务审核人 创建API 调试API 发布API 管理API 编排API 配置API调用流控策略 授权API调用 父主题: 数据服务
创建并管理CDM集群 创建CDM集群 解绑/绑定CDM集群的EIP 重启CDM集群 删除CDM集群 下载CDM集群日志 查看并修改CDM集群配置 管理集群标签 管理并查看CDM监控指标 父主题: 数据集成(CDM作业)