检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
资源迁移 使用教程 数据集成 数据集成概述 CDM支持的数据源 CDM使用教程 数据架构 准备工作 数据调研 标准设计 模型设计 指标设计 数据集市建设 数据开发 数据管理 脚本开发 作业开发 运维调度 配置管理 使用教程 数据质量 业务指标监控 数据质量监控 使用教程 数据目录 数据地图
数据质量 业务指标监控(待下线) 数据质量监控 使用教程
数据架构 数据架构概述 数据架构使用流程 添加审核人 数据调研 标准设计 模型设计 指标设计 通用操作 使用教程
离线处理集成作业开发 实时处理集成作业开发 解决方案 运行历史 运维调度 配置管理 审批中心 下载中心 节点参考 EL表达式参考 简易变量集参考 使用教程
约束与限制 支持的数据源 创建并管理CDM集群 在CDM集群中创建连接 在CDM集群中创建作业 时间宏变量使用解析 优化迁移性能 关键操作指导 使用教程 常见错误码参考
今日作业实例调度情况概览 近七天作业实例调度情况概览 近30天作业实例执行时长排行TOP 10:查看执行时间长的作业实例的详细运行记录。 近30天作业实例运行失败TOP 10:查看运行异常的作业实例的详细运行记录。 运维调度 配置管理 配置管理提供如下能力: 主机连接管理。 资源管理。 环境变量配置。 作业标签管理。
Studio数据连接参数 配置DataArts Studio资源迁移 配置DataArts Studio企业模式环境隔离 管理中心典型场景教程
前提条件 已申请VPC、子网和安全组,您也可以在购买DataArts Studio实例过程中申请VPC、子网和安全组。 VPC、子网、安全组的详细操作,请参见《虚拟私有云用户指南》。 登录DataArts Studio控制台 登录华为云控制台。 在控制台左上方,单击“服务列表”按钮,
前提条件 已申请VPC、子网和安全组,您也可以在购买DataArts Studio实例过程中申请VPC、子网和安全组。 VPC、子网、安全组的详细操作,请参见《虚拟私有云用户指南》。 登录DataArts Studio控制台 登录华为云控制台。 在控制台左上方,单击“服务列表”按钮,选择“”,进入DataArts
视,提供数据智能搜索和运营监控。 查看工作空间数据地图 配置数据访问权限 配置数据安全策略(待下线) 采集数据源的元数据 数据目录典型场景教程
点间的连接关系。 测试运行 测试运行该节点。 说明: 用户可以查看该作业节点的测试运行日志,单击“查看日志”可以进入查看日志界面查看日志的详细信息记录。 从当前节点测试运行 仅在批作业下显示该选项。选择“从当前节点测试运行”,则测试运行当前节点以及后续节点。 添加/删除连线 可以选择为两个不同的节点添加或删除连线,
期调度依赖和自然周期调度依赖。 传统周期调度依赖的详细信息请参见传统周期调度。 自然周期调度依赖的详细信息请参见自然周期调度。 随着用户业务的演进,自然周期调度中,增加了许多新的调度规则,如离散小时调度,最近依赖调度等。本章节详细讲解这两个调度规则。 离散小时调度 场景一:离散小时依赖月、周、天
用API。建议将专享版集群和您的其他关联业务配置一个相同的VPC、子网、安全组,确保网络安全的同时,方便网络配置。 VPC、子网、安全组的详细操作,请参见《虚拟私有云用户指南》。 说明: 目前专享版集群创建完成后不支持切换VPC、子网、安全组,请谨慎选择。 如果开启公网入口,安全
标准模板管理”中已勾选的参数和已添加的自定义参数。表2中所示为选中数据标准模板中的所有参数并添加了一个自定义参数的场景。有关配置数据标准模板的详细信息,请参见标准模板管理。 图3 新建数据标准 表2 数据标准参数说明 参数名称 说明 *标准名称 只允许除\、<、>、%、"、'、;及换行符以外的字符。
私有云、同子网、同安全组的不同实例默认网络互通,如果同虚拟私有云而子网或安全组不同,还需配置路由规则及安全组规则。 VPC、子网、安全组的详细操作,请参见《虚拟私有云用户指南》。 说明: 目前CDM实例创建完成后不支持切换VPC、子网、安全组,请谨慎选择。 此处支持选择共享VPC
单击,修改节点输入功能的参数配置,修改完成后,请保存。 删除 单击,删除节点输入功能的参数配置。 查看表详情 单击,查看节点输入血缘关系创建数据表的详细信息。 输出 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,OBS,CSS,HIVE,CUSTOM,CloudTable和DLI类型。
请根据错误提示将参数修改正确后请重试。 Cdm.0010 整数必须在区间[%s]。 请根据返回的详细错误信息,确认参数值是否合法,修改正确后请重试。 Cdm.0011 输入超过取值范围。 请根据返回的详细错误信息,确认参数值是否合法,修改正确后请重试。 Cdm.0012 没有匹配的数据库JDBC驱动。
配置OBS桶 脚本、作业或节点的历史运行记录依赖于OBS桶,如果未配置测试运行历史OBS桶,则无法查看历史运行的详细信息。请参考本节操作配置OBS桶。 约束限制 OBS路径仅支持OBS桶,不支持并行文件系统。 配置方法 参考访问DataArts Studio实例控制台,登录DataArts
新建事实表 归属于某个业务过程的事实逻辑表,可以丰富具体业务过程所对应事务的详细信息。创建事实逻辑表即完成公共的事务明细数据沉淀,从而便于提取业务中事务相关的明细数据。 新建事实表并发布 在DataArts Studio控制台首页,选择对应工作空间的“数据架构”模块,进入数据架构页面。
创建数据连接需要注意哪些事项? RDS数据连接方式依赖于OBS。如果没有与DataArts Studio同区域的OBS,则不支持RDS数据连接。 主机连接当前仅支持Linux系统主机。 当所连接的数据湖发生变化(如MRS集群扩容等情况)时,您需要重新编辑并保存该连接。 数据连接中