检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
连接管理 创建连接 查询连接 删除连接 修改连接 父主题: 数据集成API
CDM的事务模式迁移,是指当CDM作业执行失败时,将数据回滚到作业开始之前的状态,自动清理目的表中的数据。 参数位置:创建表/文件迁移的作业时,如果目的端为关系型数据库,在目的端作业配置的高级属性中,可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理:如果启用,在作业执行时CDM会自动创建临时表
自定义项接口 查询自定义项 修改自定义项 父主题: 数据架构API
资产管理接口 查询技术资产 根据guid获取资产详情 添加或修改资产 删除资产 父主题: 数据目录API
数据标准模板接口 查询数据标准模板 创建数据标准模板 修改数据标准模板 删除数据标准模板 初始化数据标准模板 父主题: 数据架构API
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
导入导出接口 导入模型,关系建模,维度建模,码表,业务指标以及流程架构 导入主题 查询导入结果 导出业务数据 获取excel导出结果 父主题: 数据架构API
请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 X-Auth-Token 否 String IAM Token 最小长度:0
Studio工作空间中被设置为对应的工作空间角色。 如果您只给用户配置了DAYU User系统角色,未配置工作空间角色,则会出现无法查看工作空间的报错。 解决方案 请查看该工作空间下是否已添加用户,如果没有,请参考以下步骤添加该用户。 参考访问DataArts Studio实例控制台,登录DataArts
数据密级接口 获取数据密级 创建数据密级 根据指定的id查询数据密级 删除指定的id的数据密级 根据指定的id修改数据密级 批量删除数据密级 父主题: 数据安全API
单击待操作规则模板操作列的“发布历史”。 图1 发布历史 单击历史版本最右侧的“下线”按钮。则可以查看该规则模板对应的关联作业。 图2 查看关联作业 父主题: 数据质量
数据连接id,通过管理中心获取连接ID。 database_name 否 String 数据库名称。 table_name 否 String 表名称。 data_connection_score_order 否 String 数据连接评分排序,0表示升序,1表示降序,与其他排序条件互斥。 database_score_order
如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。 当节点运行超时导致的失败不会重试时,您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。 重试条件 否 失败重试选择“是”时,支持设置重试条件。 打开重试条件的开关,设置返回码的范围。 Shell作业可以
待嵌入水印的源数据需要大于等于5000行。小于5000行的源数据有可能因为特征不够导致提取水印失败。 尽量选取数据取值比较多样的列嵌入水印,如果该列的值是可枚举穷尽的,则有可能因为特征不够导致提取失败。常见的适合嵌入水印的列如地址、姓名、UUID、金额、总数等。 数值整型字段嵌入水印可能会出现数据被修改的情况,请选择可以接受值发生改变的字段插入水印。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
数据开发模块的脚本开发功能支持新建、编辑、调试、执行各类SQL、Python和shell脚本,开发脚本前请先新建脚本。 前提条件 已完成新建数据连接和新建数据库等操作。 脚本在每个工作空间的最大配额为10000,脚本目录最多5000个,目录层级最多为10层。请确保当前数量未达到最大配额。 操作步骤
相关作业参数用于节点运行后,方便跳转到对应作业的监控列表。选择完相关作业,单击“前往监控”在“作业监控”页面选择DIS Client节点时,单击页面下方的“查看相关作业”按钮可以查看相关作业。在“相关作业”页面,单击“查看”能跳转到对应的作业。 表2 高级参数 参数 是否必选 说明
详情:使用数据地图根据表名直接查看表详情,快速查阅明细信息,掌握使用规则。 血缘:通过数据地图的血缘分析可以查看每个数据表的来源、去向,并查看每个表及字段的加工逻辑。 父主题: 查看工作空间数据地图
Studio控制台首页,选择对应工作空间的“数据集成”模块,进入CDM首页。 图1 集群列表 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 选择集群操作列中的“更多 > 下载日志”,选择下载日志类型。 图2 下载日志类型 确认后,即可下载日志到本地。
数据的血缘关系还包含了一些特有的特征: 归属性:一般来说,特定的数据归属特定的组织或者个人,数据具有归属性。 多源性:同一个数据可以有多个来源(多个父亲)。一个数据可以是多个数据经过加工而生成的,而且这种加工过程可以是多个。 可追溯性:数据的血缘关系,体现了数据的生命周期,体现了