检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据血缘方案简介 什么是数据血缘 大数据时代，数据爆发性增长，海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息，通过联姻融合、转换变换、流转流通，又生成新的数据，汇聚成数据的海洋。 数据的产生、加工融合、流转流通，到最终消亡，数据之间自然会形成一种关系。我们借鉴人类社会中
dw_type String 数据连接类型，对应表所在的数仓类型，取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 l1 String 主题域分组中文名，只读，创建和更新时无需填写。 l2
toJobConfig.queue 是 String 写入数据的资源队列。 toJobConfig.database 是 String 写入数据到数据湖探索（DLI）的哪个数据库。 toJobConfig.table 是 String 写入数据的表名。 toJobConfig.columnList
dw_type String 数据连接类型，对应表所在的数仓类型，取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 l1 String 主题域分组中文名，只读，创建和更新时无需填写。 l2
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
数据开发模块的脚本开发功能支持新建、编辑、调试、执行各类SQL、Python和shell脚本，开发脚本前请先新建脚本。 前提条件 已完成新建数据连接和新建数据库等操作。 脚本在每个工作空间的最大配额为10000，脚本目录最多5000个，目录层级最多为10层。请确保当前数量未达到最大配额。 操作步骤
接口获取。 datasource_type 否 String 数据源类型 HIVE数据源 DWS数据源 DLI数据源 database 否 String 数据库名称 cluster_name 否 String 集群名称。 请求参数 表3 请求Header参数 参数 是否必选 参数类型
ic参数值的报错）。 参数类型分为数值型Number与字符型String两大类。Number参数对应数据库中int、double、long等数值数据类型，String参数对应数据库中char、vachar、text等文本数据类型。 是否必填、允许空值以及默认值。 如果设定为必填，则API在访问时，必须传入指定参数。
提交调度后的作业执行失败，报depend job [XXX] is not running or pause怎么办？ 如何创建数据库和数据表，数据库对应的是不是数据连接? 为什么执行完HIVE任务什么结果都不显示？ 在作业监控页面里的“上次实例状态”只有运行成功、运行失败，这是为什么？
存储方式，此参数只有当数据库类型为DWS时启用，当需要自动创建DWS数据库表，指定表的数据存储方式： ROW：表的数据以行式存储。 COLUMN：表的数据以列式存储。 toJobConfig.isCompress 否 Boolean 是否压缩，此参数只有当数据库类型为DWS时启用，
denied”怎么办？ 可能原因 当前用户未同步至DWS数据源，或者不具备DWS Database Access权限。 解决方案 您可以通过同步用户重新将当前登录用户同步到DWS数据源，然后为其授予DWS Database Access权限，再次进行联通性测试。 父主题： 数据安全
000次/天 5,000次/天 技术资产数量[3] 不支持 不支持 500 5000 数据模型数量[4] 不支持 不支持 不支持 100 注释： [1] DataArts Studio数据集成集群：DataArts Studio实例赠送的数据集成集群，推荐作为管理中心数据连接的A
资产详情(邀测) 功能介绍 资产详情接口，该接口功能处于邀测阶段，后续将随功能公测将逐步开放。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/datamap/entities/guid/{guid} 表1 路径参数 参数 是否必选 参数类型 描述
dli:group:listAllGroup dli:database:createDatabase dli:database:dropDatabase dli:database:displayDatabase dli:database:displayAllDatabases dli:database:explain
产出信息(邀测) 功能介绍 查询表相关的作业算子运行实例信息，该接口功能处于邀测阶段，后续将随功能公测将逐步开放。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/datamap/node/{task_id}/instances 表1 路径参数
批量血缘(邀测) 功能介绍 批量血缘接口，一次性获取所有作业算子的血缘。该接口功能处于邀测阶段，后续将随功能公测将逐步开放。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/datamap/lineage/bulk 表1 路径参数 参数 是否必选
若关联的SQL脚本，脚本参数发生变化，可单击刷新按钮同步。 数据连接 是 默认选择SQL脚本中设置的数据连接，支持修改。 数据库 是 默认选择SQL脚本中设置的数据库，支持修改。 运行程序参数 否 为本次执行的作业配置相关优化参数（例如线程、内存、CPU核数等），用于优化资源使用效率，提升作业的执行性能。
绑定Agent 是 适用组件勾选数据集成后，呈现此参数。 RDS类型数据源为非全托管服务，DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理，所以创建RDS类型的数据连接时，请选择一个CDM集群。如果没有可
} ] } 参数说明 参数 是否必选 类型 说明 fromJobConfig.database 是 String MongoDB/DDS的数据库名称。 fromJobConfig.collectionName 是 String MongoDB/DDS的集合名称。
支持同步的DDL：新增列。 仅支持同步主键表。 不支持视图、外键、存储过程、触发器、函数、事件、虚拟列、唯一约束、唯一索引、外键索引、Check约束的同步。 自动建表支持同步表结构、普通索引、约束（主键、空、非空）、注释。 注意事项 除了数据源版本、连接账号权限及同步对象范围外，您还需要注意的事项请参见下表。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
