检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据血缘关系更新依赖于作业调度，数据血缘关系是基于最新的作业调度实例产生的。 对于同一版本的数据开发作业，系统基于最新的作业调度实例生成数据血缘关系后，在冷却期（默认为48小时）内不会再次更新数据血缘关系。如需更新，需要等待冷却期结束或将数据开发作业再次提交版本后调度。 数据血缘关系删除需要通过删除作业或删除作业
支持使用变量和函数。 提供编辑锁定能力，支持多人协同开发场景。 支持脚本的版本管理能力，支持生成保存版本和提交版本。 保存版本时，一分钟内多次保存只记录一次版本。对于中间数据比较重要时，可以通过“新增版本”按钮手动增加保存版本。 支持单击右键，可快速复制脚本名称，同时可以快速的关闭已打开的脚本页签。
SQL、MRS Hive SQL、MRS Spark SQL代理模式均支持查看目录树，其他数据连接均不支持。 如果您在使用数据开发前，已创建了数据连接和对应的数据库和数据表，则可跳过数据管理操作，直接进入脚本开发或作业开发。 数据管理的使用流程如下： 图1 数据管理流程 创建数据连接，连接相关
Python版本，例如Python3。如果脚本未创建，请参考新建脚本和开发Python脚本先创建和开发脚本。 说明： 若选择Python语句方式，数据开发模块将无法解析您输入Python语句中携带的参数。 若选择Python脚本方式，系统自动默认显示的Python版本为创建Python脚本时所选择的Python版本。
配置元数据采集任务 本章主要介绍如何通过配置元数据采集策略新建采集任务，不同类型的数据源对应的采集策略不尽相同。元数据管理依据采集任务的配置策略，采集对应的技术元数据信息。 约束与限制 当元数据采集任务未指定采集范围时，默认采集该数据连接下的所有数据表/文件。采集任务运行完成后，
前提条件 数据密级定义已完成，请参见新建数据密级。 新建分类规则 在DataArts Studio控制台首页，选择实例，单击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 选择“数据安全 > 数据分类”，在“分类规则”页签中，单击“新建”。 系统弹出“新建分类”
com/archives/c-j/，建议5.1.48版本及以上版本，如果低于5.1.48版本则连接会报错“The db user or password invalid”。 说明： 如果需要更新驱动文件，则需要先在数据集成页面重启CDM集群，然后通过编辑数据连接的方式重新选择新版本驱动，更新驱动才能生效。 驱动文件
缘关系的删除。 资产搜索 通过资产名称和描述的关键字或按所有属性搜索资产，支持模糊搜索。 在DataArts Studio控制台首页，选择对应工作空间的“数据目录”模块，进入数据目录页面。 选择“数据地图 > 数据目录”，并根据需要进入“业务资产”、“技术资产”或“指标资产”页签。
DataArts Studio支持的数据源 在使用DataArts Studio前，您需要根据业务场景选择符合需求的云服务或数据库作为数据底座，由数据底座提供存储和计算的能力，DataArts Studio基于数据底座进行一站式数据开发、治理和服务。 DataArts Studio支持的数据源
GBASE为GBASE8A时显示该参数。 - 引用符号 可选参数，数据库包围标识符。对某些数据库意味着大小写敏感，如不需用请置空。 " 驱动版本 不同类型的关系数据库，需要适配不同的驱动，更多详情请参见如何获取驱动。 GBASE为GBASE8A时显示该参数。 - 单次请求行数 可选参数，单击“显示高级属性”后显示。
version 否 integer 脚本版本号，若传入版本号，则查询指定版本号的脚本；若不传入，则查询最新的版本脚本。 status 否 String 当不指定version时，可通过status查询脚本的状态。默认为SAVED，即查询的是最新提交的版本，当status为PUBLISHED时查询的是脚本的生产版本。
JAR两种实时处理的单任务作业，作业运行完成后，可以通过“更多 > 查看日志”一键跳转到日志查看页面查看Flink作业日志。 说明： MRS集群版本为不支持时，界面不显示查看日志，则系统不支持通过一键跳转查看日志。 单击作业名称，在打开的页面中查看该作业的作业参数、作业属性、作业实例。
场景四：更新数据目录中的元数据，添加新元数据 ，并从数据目录中删除元数据 用户的数据库中数据表有删除的情况，采集任务能够删除数据目录中对应的数据表。 例如数据库删除table1的情况下： 采集前的数据表元数据：table1，table2，table3 采集后的数据表元数据：table2，table3
执行Python脚本报错：Agent need to be updated？ 问题原因 创建的主机连接的CDM集群版本可能有点低。 解决方案 创建的主机连接需要使用2.8.6版本及以上的CDM集群。 父主题： 数据开发
使用快照保证数据不变，然后再迁移并恢复。 约束限制 本方案仅支持迁移数据到MRS 1.x版本集群，2.x及之后版本无法通过HBase修复命令重建HBase表。 迁移的目标集群为2.x及之后版本时，HBase修复命令已经不再支持，通过HBase数据目录迁移的方式无法使用。 使用命令恢复历史不变的数据
如何使用Java调用CDM的Rest API创建数据迁移作业？ CDM提供了Rest API，可以通过程序调用实现自动化的作业创建或执行控制。 这里以CDM迁移MySQL数据库的表city1的数据到DWS的表city2为例，介绍如何使用Java调用CDM服务的REST API创建、启动、查询、删除该CDM作业。
Agent功能待下线，无需配置。 - Agent Agent功能待下线，无需配置。 - 引用符号 可选参数，连接引用表名或列名时的分隔符号，参考对应数据库的产品文档进行配置。 ' 驱动版本 不同类型的关系数据库，需要适配不同的驱动。 - 单次请求行数 可选参数，单击“显示高级属性”后显示。 指定每次请求获
迁移准备 前提条件 CDH HBase的版本号小于或等于MRS HBase的版本号。 待迁移的表在迁移过程中不能有写入，Split，Merge等操作。 使用华为云专线搭建CDH集群与华为云VPC之间的专属连接通道。 迁移流程 预估迁移数据量、迁移时间。 输出详细待迁移数据表、文件个数、大小，用于后续校验。
提示完成用户的创建。 MRS 3.1.0及之后版本集群，所创建的用户至少需具备Manager_viewer的角色权限才能在管理中心创建连接；如果需要对应组件的进行库、表、数据的操作，还需要添加对应组件的用户组权限。 MRS 3.1.0版本之前的集群，所创建的用户需要具备Manag
开发者创建单任务的实时作业后，提交版本时，只生成当前作业的待发布项，不会生成子作业的待发布项。 前提条件 已提交版本，详情请参见提交版本。 操作步骤 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
