检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
元数据，无需在管理中心创建数据连接。 DWS DLI MRS HBase MRS Hive ORACLE RDS 数据连接 所选数据连接类型中已创建数据连接，支持从下拉列表中选择。 所选数据连接类型中未创建数据连接，请单击“新建”，创建新的数据连接。 数据库 （或数据库和schema、命名空间）
通过产品界面进行勾选配置即可快速生成API。推荐对API功能的要求不高或者无代码开发经验的用户使用。 前提条件 已在“管理中心 > 数据连接”页面，完成数据源的配置。 约束与限制 API生成暂不支持Hive数据源的中文表和中文列场景。 新建API目录 API目录是按一定次序编排
则CDM无法通过弹性IP连接数据源。 创建MySQL连接 在CDM集群管理界面，单击集群后的“作业管理”，选择“连接管理 > 新建连接”，进入连接器类型的选择界面，如图2所示。 图2 选择连接器类型 选择“MySQL”后单击“下一步”，配置MySQL连接的参数。 单击“显示高级属
脚本。 数据连接 是 默认选择SQL脚本中设置的数据连接，支持修改。 MRS资源队列 否 选择已创建好的MRS资源队列。 说明： 数据连接为MRS API连接时支持为Spark SQL作业独立配置需要的资源（例如线程、内存、CPU核数并指定MRS资源队列等）。代理连接时不支持配置。
如何确认质量作业或对账作业已经阻塞？ 如何手工重启阻塞的质量作业或对账作业？ 怎样查看质量规则模板关联的作业？ 用户在执行质量作业时提示无MRS权限怎么办？
通过主机连接，用户可以在DataArts Studio数据开发中连接到指定的主机，通过脚本开发和作业开发在主机上执行Shell或Python脚本。主机连接保存连接某个主机的连接信息，当主机的连接信息有变化时，只需在主机连接管理中编辑修改，而不需要到具体的脚本或作业中逐一修改。 父主题：
配置Redis源端参数 第三方云的Redis服务无法支持作为源端。如果是用户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。 作业中源连接为从本地Redis导出的数据时，源端作业参数如表1所示。 表1 Redis作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数
100 再次选择“连接管理 > 新建连接”，新建MRS Hive连接。连接器类型选择“MRS Hive”，然后单击“下一步”配置连接参数，参数说明如表2所示。配置完成后，单击“保存”回到连接管理界面。 图1 配置MRS Hive连接 表2 MRS Hive连接参数 参数名 说明 取值样例
格CDM集群，不会产生费用。 注意，DataArts Studio实例赠送的CDM集群，推荐作为DataArts Studio管理中心数据连接的Agent代理使用，不建议同时作为Agent代理和运行数据迁移作业使用。 父主题： 咨询与计费
默认情况下，节点名称会与选择的脚本名称保持同步。若不需要节点名称和脚本名称同步，请参考禁用作业节点名称同步变化禁用该功能。 数据连接 是 选择数据连接。 数据库 是 填写数据库名称，该数据库已创建好，建议不要使用默认数据库。 SQL或脚本 是 可以选择SQL语句或SQL脚本。 SQL语句
Python 使用Python节点前，需确认对应主机连接的主机配有用于执行Python脚本的环境。 功能 通过Python节点执行Python语句。 Python节点的具体使用教程，请参见开发一个Python脚本。 Python节点支持脚本参数和作业参数。 参数 用户可以参考表1和表2配置Python节点的参数。
shell脚本执行异常，如何处理？ 问题描述 在ECS上调试好的shell脚本，在DLF中shell脚本执行异常。 脚本内容是通过gsql连接dws查询某库表数据行数的。 ECS调试结果： DLF脚本运行结果： 图1 脚本运行结果 解决方案 添加如下两条命令： export LD
法通过弹性IP连接数据源。 创建MySQL连接 在CDM集群管理界面，单击集群后的“作业管理”，选择“连接管理 > 新建连接”，进入连接器类型的选择界面，如图3所示。 图3 选择连接器类型 选择“云数据库 MySQL”后单击“下一步”，配置云数据库 MySQL连接的参数。 图4 创建MySQL连接
Administrator或Tenant Administrator账号才能操作，且删除工作空间的前提是各组件内已无业务资源，各组件校验的资源如下： 管理中心组件：数据连接。 数据集成组件：数据集成集群。 数据架构组件：主题设计，逻辑模型，标准设计，物理模型，维度建模和指标。 数据开发组件：作业，作业目录，脚本，脚本目录和资源。
一般是指直接来自源文件（业务系统数据库、线下文件、IoT等）的数据，或者直接复制源文件的“副本数据”。 数据连接 定义访问数据实体存储（计算）空间所需的信息的集合，包括连接类型、名称和登录信息等。 并发数 并发数是数据集成作业中，可以从源端并行读取的最大线程数。 脏数据 脏数据是
度为1~64个字符。 数据连接 从下拉列表中选择已创建的数据连接。 说明： 支持的数据连接类型：DWS、MRS Hive、DLI、MRS ClickHouse、DORIS。 指标都是基于数据连接的，所以在建立指标之前需要先到元数据管理模块中建立数据连接。 数据库/队列 选择指标运行的数据库。
户才可以查看审计记录，因此需要保证数据连接中的账号或当前用户账号拥有上述权限（未开启细粒度认证前，使用数据连接上的账号查看审计记录；如果开启了细粒度认证，则使用当前IAM用户身份查看审计记录）。 对于MRS数据源，查看审计数据依赖于数据连接中Agent的版本，请确保CDM集群为2
选择CDM集群名称，CDM集群提供代理连接的功能。 如果选择的CDM集群与第三方服务处于同一个VPC下，那么Rest Client可以调用租户面的API。 说明： 代理集群可选多个，其中只要有一个集群可以正常连接即可。如果有多个集群可正常连接，则数据开发后台会随机选择一个用于连接。 URL地址 是
进入作业管理后，选择“连接管理”。 图3 连接管理 创建集成任务所需的OBS连接、云数据库MySQL连接和MRS Hive连接。 单击“新建连接”，进入相应页面后，选择连接器类型“对象存储服务（OBS）”，单击“下一步”，然后如下图所示配置连接参数，单击“保存”。 图4 创建OBS连接 表1 OBS连接的参数
数据开发模块的脚本开发功能支持新建、编辑、调试、执行各类SQL、Python和shell脚本，开发脚本前请先新建脚本。 前提条件 已完成新建数据连接和新建数据库等操作。 脚本在每个工作空间的最大配额为10000，脚本目录最多5000个，目录层级最多为10层。请确保当前数量未达到最大配额。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
