检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建MySQL连接器 MySQL连接适用于第三方云MySQL服务,以及用户在本地数据中心或ECS上自建的MySQL。本教程为您介绍如何创建MySQL连接器。 前提条件 已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码,且该用户拥有MySQL数据库的读写权限。
参见配置云数据库MySQL/MySQL数据库连接。这里保持默认,必填参数如表1所示。 表1 MySQL连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306
名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。
云数据库MySQL/MySQL数据库连接参数说明 连接MySQL数据库连接时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 MySQL数据库连接参数 参数名 说明 取值样例 名称 连接的名
提交表权限申请 功能介绍 提交表权限申请 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/permission-application/table 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
企业模式下,不支持提交审批。 版本回滚 提交版本后,可以在版本列表中看到已经提交过的版本信息(当前最多保存最近100条版本信息)。单击“回滚”,可以回退到任意一个已提交的版本。 回滚内容包括: DLI:数据连接、数据库、资源队列、脚本内容。 DWS:数据连接、数据库、脚本内容。 H
创建数据连接”。 图1 创建数据连接 单击“创建数据连接”,在弹出的页面中,选择“数据连接类型”为“RDS”,并参见表1配置相关参数。 不建议使用MySQL(待下线)连接器,推荐使用RDS连接MySQL数据源。 RDS数据连接方式依赖于OBS。如果没有与DataArts Stud
是关闭状态,则不需要审批,直接提交新版本即可。 如果要撤销已提交的审批流程,请您在“审批中心”的“我的申请”页签里进行撤销。修改完成后,可以重新提交审批。 开启了提交审批开关后,提交作业、删除作业以及导入“提交态”的作业时,均需要进行审批。 关闭提交审批开关前,请确保当前工作空间已无待未审批的流程。
新建数据标准 数据标准是用于描述公司层面需共同遵守的数据含义和业务规则,它描述了公司层面对某个数据的共同理解,这些理解一旦确定下来,就应作为企业层面的标准在企业内被共同遵守。 数据标准,也称数据元,由一组属性规定其定义、标识、表示和允许值的数据单元,是不可再分的最小数据单元。您可
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
购买批量数据迁移增量包 批量数据迁移增量包对应数据集成CDM集群。 通过购买一个按需计费方式的批量数据迁移增量包,系统会按照您所选规格自动创建一个数据集成CDM集群。 通过购买一个套餐包方式的批量数据迁移增量包,系统不自动创建CDM集群,而是在生效期内的每个计费月内按月提供745
批量删除数据密级 功能介绍 批量删除数据密级。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/data-classification/secrecy-level/batch-delete 表1 路径参数 参数 是否必选 参数类型
批量解锁 数据开发模块提供了批量解锁脚本的功能,您可参照本节内容对锁定的脚本进行批量解锁。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
自动创表:选择“不存在时创建”,当RDS数据库中没有本地MySQL数据库里的表时,CDM会自动在RDS数据库中创建那些表。 导入开始前:选择“是”,当RDS数据库中存在与本地MySQL数据库重名的表时,CDM会清除RDS中重名表里的数据。 约束冲突处理:选择“insert into”,当迁移数据出现唯一约束冲突时的处理方式。
数据治理框架 数据治理框架制定如下: 图1 数据治理框架 父主题: 数据治理框架
数据质量 质量作业和对账作业有什么区别? 如何确认质量作业或对账作业已经阻塞? 如何手工重启阻塞的质量作业或对账作业? 怎样查看质量规则模板关联的作业? 用户在执行质量作业时提示无MRS权限怎么办?
是否写入脏数据 选择是否记录脏数据,默认不记录脏数据,当脏数据过多时,会影响同步任务的整体同步速度。 链路是否支持写入脏数据,以实际界面为准。 否:默认为否,不记录脏数据。 表示不允许脏数据存在。如果同步过程中产生脏数据,任务将失败退出。 是:允许脏数据,即任务产生脏数据时不影响任务执行。
数据质量 业务指标监控(待下线) 数据质量监控 使用教程
元数据简介 按照传统的定义,元数据(Metadata)是关于数据的数据。元数据打通了源数据、数据仓库、数据应用,记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。在数据仓库系统中,元数据可以帮助数