检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行Python脚本报错:Agent need to be updated? 问题原因 创建的主机连接的CDM集群版本可能有点低。 解决方案 创建的主机连接需要使用2.8.6版本及以上的CDM集群。 父主题: 数据开发
对被纳入监控的采集任务可进行如下操作: 重跑:实例状态为失败和成功状态的实例,支持重跑。 日志:查看实例日志。 说明: 单击“日志”,可实时查看元数据采集、数据概要、数据分类三类任务的运行日志。 更多 > 取消:创建采集任务的时候,配置“数据分类”为“手动同步分类结果”时,才可进行此操作。状态为执行中的实例,单击取消,可终止重跑此实例。
查看日志时,系统提示“OBS日志文件不存在,请检查文件是否被删除或者没有OBS写入权限。”怎么办? 问题现象 查看数据开发的节点日志时,系统提示“OBS日志文件不存在,请检查文件是否被删除或者没有OBS写入权限”,如下图所示: 图1 提示信息 原因分析 数据开发的日志存储在OBS
基础与网络连通配置 主机地址 是 Linux操作系统主机的IP地址。 请参考查看云服务器详细信息获取。 绑定Agent 是 选择CDM集群,CDM集群提供Agent。如果没有可用的CDM集群,请参考创建CDM集群进行创建。 说明: CDM集群作为管理中心数据连接Agent时,单集群的
id 是 String 实体ID,ID字符串。 表2 Query参数 参数 是否必选 参数类型 描述 latest 否 Boolean 是否查询最新的。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String IAM To
在CDM监控页面,可查看所有监控指标的小图。 图1 查看监控指标 单击小图右上角的,可进入大图模式查看。 您可以在左上角选择时长作为监控周期,查看一段时间的指标变化情况。 父主题: 管理并查看CDM监控指标
在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 如要查看某个脚本引用情况,右键单击待查看的脚本,选择“查看引用”,弹出“引用列表”窗口。 如要查看文件夹下的所有脚本引用情况,右键单击待查看的文件夹,选择“查看引用”,弹出“查看引用”窗口。 在弹出的窗口,可以查看该脚本或该文件夹下所有脚本被引用的情况。
CDM是否支持参数或者变量? 问题描述 CDM是否支持参数或者变量? 解决方案 支持。 如果CDM作业使用了在数据开发时配置的作业参数或者变量,则后续在DataArts Studio数据开发模块调度此节点,可以间接实现CDM作业根据参数变量进行数据迁移。 父主题: 数据集成(CDM作业)
根据处理人、实例名称进行搜索展示规则实例的列表信息,输入内容支持模糊搜索。 5 SQL并发数配置 单击SQL框,进入“单连接SQL并发数配置”页面,配置SQL并发数。输入值必须在10到1000之间。单击“确定”,完成配置。 说明: 并发数是指单个数据连接下的SQL并发数,如果超出则等待排队执行。
查看权限报告 本章主要介绍如何查看资源配置权限策略及详情。 前提条件 已完成权限策略配置,未配置请参考配置资源权限。 查看策略及详情 在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 单击左侧导航树中的“权限报告”,进入权限报告页面。
id 是 String 实体ID,ID字符串。 表2 Query参数 参数 是否必选 参数类型 描述 latest 否 Boolean 是否查询最新的。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String IAM To
图4 查看节点血缘 在数据资产搜索结果中,图标为表格的数据资产为表,单击某一表名称,可以查看表的详情。在详情页面,可以查看表的血缘信息。 单击血缘图中表左右两端“+”、“-”图标,可以进一步展开查看血缘的上下链路。 单击血缘图中的某一个表,可以查看该表的详情。 图5 查看表血缘 父主题:
基础与网络连通配置 主机地址 是 Linux操作系统主机的IP地址。 请参考查看云服务器详细信息获取。 绑定Agent 是 选择CDM集群,CDM集群提供Agent。如果没有可用的CDM集群,请参考创建CDM集群进行创建。 说明: CDM集群作为管理中心数据连接Agent时,单集群的
注意,DataArts Studio实例赠送的CDM集群,推荐作为DataArts Studio管理中心数据连接的Agent代理使用,不建议同时作为Agent代理和运行数据迁移作业使用。 父主题: 咨询与计费
首次进入“资产报告”页面,需要配置资产报告任务。单击右上方的配置图标,弹出配置窗口。 依次选择生效时间、调度周期和调度具体时间,系统将按配置的时间调度运行资产报告任务,更新资产报告内容。 图2 配置资产报告任务 系统调度运行资产报告任务后,重新进入“资产报告”页面,可查看逻辑实体、数据表、资
一致时,需配置路由规则及安全组规则以打通网络。配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 当CDM集群与其他云服务所在的区域一致、但VPC不一致时,可以通过对等连接打通网络。配置对等连接请参见如何配置对等连接章节。 注:如果配置了VPC对
是否支持增量迁移? 问题描述 CDM是否支持增量迁移? 解决方案 CDM支持增量数据迁移。 利用定时任务配置和时间宏变量函数等参数,可支持以下场景的增量数据迁移: 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 详情请参见增量迁移。 父主题: 数据集成(CDM作业)
id 是 String 实体ID,ID字符串。 表2 Query参数 参数 是否必选 参数类型 描述 latest 否 Boolean 是否查询最新的。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String IAM To
阳一区域部署上线。 图2 权限页签详情 在“列属性”页签,可查看数据表的列属性,给数据列添加或删除分类、标签和密级,并编辑描述。 图3 管理列属性 在“血缘”页签,可查看数据表的血缘关系,包括血缘和影响。如何配置数据血缘请参见通过数据目录查看数据血缘关系。数据开发作业配置了支持自
图4 查看节点血缘 在数据资产搜索结果中,图标为表格的数据资产为表,单击某一表名称,可以查看表的详情。在详情页面,可以查看表的血缘信息。 单击血缘图中表左右两端“+”、“-”图标,可以进一步展开查看血缘的上下链路。 单击血缘图中的某一个表,可以查看该表的详情。 图5 查看表血缘 父主题: