检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建CDM与数据源之间的连接 操作场景 用户在创建数据迁移的任务前,需要先创建连接,让CDM集群能够读写数据源。一个迁移任务,需要建立两个连接,源连接和目的连接。不同的迁移方式(表或者文件迁移),哪些数据源支持导出(即作为源连接),哪些数据源支持导入(即作为目的连接),详情请参见支持的数据源
说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。
是针对企业数字化运营诉求提供的数据全生命周期管理、具有智能数据管理能力的一站式治理运营平台,包含数据集成、数据架构、数据开发、数据质量、数据目录、数据服务等功能,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统
数据目录API概览 表1 数据目录API类型 类型 说明 指标资产接口 指标资产接口 资产管理接口 资产管理接口 血缘信息 血缘信息接口 统计资产接口 统计资产接口 业务资产接口 业务资产接口 数据地图接口 数据地图接口 资产分级接口 资产分级 元数据采集任务接口 元数据采集任务接口
说明: 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。 当节点运行超时导致的失败不会重试时,您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。 重试条件 否 失败重试选择“是”时,支持设置重试条件。
说明: 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。 当节点运行超时导致的失败不会重试时,您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。
权限管理接口 创建权限集 查询权限集列表 查询权限集 删除权限集 更新权限集 添加权限集成员 查询权限集成员列表 批量删除权限集成员 添加权限集的权限 查询权限集的权限列表 删除权限集的权限 更新权限集的权限 查询数据源可配置权限 查询权限集中配置的url信息 查询数据操作信息 父主题
单击“停止”,系统弹出停止任务的提示框。 单击“确认”,停止该任务。 实时集成作业监控:恢复 对于运行状态异常的实时集成作业,可以进行恢复操作。 单击“恢复”。 系统提示“操作成功”,任务恢复成功。 实时集成作业监控:查看作业详细信息 单击作业名称,可以查看该作业的详细信息。
文件加密 在迁移文件到文件系统时,CDM支持对写入云端的文件进行加密。 MD5校验一致性 支持使用MD5校验,检查端到端文件的一致性,并输出校验结果。
当符合规则的告警产生时,系统会自动进行通知。 更多关于监控告警的信息,请参见云监控用户指南。 父主题: 管理并查看CDM监控指标
同时系统支持可以选择“每月最后一天”进行业务调度。
身份认证及访问控制相关工具平台,主要实现在数据全生命周期各环节中涉及的所有业务系统和管理平台的身份认证和权限管理。 监控审计相关工具平台接入业务系统和管理平台,实现对数据安全风险的实时监控,并能进行统一审计。
DWS连接用户权限 非三权分立模式,连接中的用户至少需具备数据库dbadmin权限, 三权分立模式,连接中的用户需具备系统管理员权限。 非三权分立模式,参考数据库用户设置dbadmin管理员用户。 三权分立模式,参考设置三权分立设置系统管理员用户。
非关系型数据库:MongoDB、Redis 消息系统:DMS Kafka 搜索:Elasticsearch 其他:Rest Client 分库分表同步支持的数据源类型 分库分表同步适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于多库多表同步场景
周期调度场景 当实例数大于10时,系统最多展示10个日期实例,系统会自动提示“当前参数预览最多支持查看10个实例”。 在作业参数预览中,如果作业参数配置存在语法异常情况系统会给出提示信息。
短信 邮件 电话 单击“校验联系方式”,系统会自动校验作业责任人信息是否已配置。如果作业责任人信息未配置,请前往终端订阅管理界面进行配置。 单击“查看订阅信息”,会自动跳转到终端订阅管理界面查看已配置的终端订阅信息。
请确保您已具备该参数所指定的OBS路径的读、写权限,否则系统将无法正常写日志或显示日志。 单击“确定”,创建作业。 父主题: 作业开发
关系建模接口 查找表模型列表 创建表模型 更新表模型 删除表模型 查询关系 查看关系详情 查询模型下所有关系 查看表模型详情 获取模型 新建模型工作区 更新模型工作区 删除模型工作区 查询模型详情 查询目的表和字段(待下线) 导出模型中表的DDL语句 父主题: 数据架构API
数据接入服务(DIS) 搜索:云搜索服务(CSS) 消息系统不支持作为目的端。
编排API简介 数据服务API编排是指将已经开发好的服务API接口,在无需编写复杂代码的情况下,根据特定的业务逻辑和流程进行可视化的重组和重构,从而实现在不影响原生接口的前提下进行简便的二次开发。API编排为您提供拖拽式、可视化的API工作流程编排能力,您可以按照业务逻辑,以串行、