检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据库名称:demo_sdi_db。 表名:sdi_taxi_trip_data。 导入前清空数据:是。 在本示例中,目的端作业参数“导入前清空数据”配置为“是”,表示每次作业运行都会先清空数据再导入。在实际业务中,请视情况而定,需谨慎设置,以免造成数据丢失。 图9 作业配置 在字
变量)。 是 使用Agent Agent功能待下线,无需配置。 - local_infile字符集 MySQL通过local_infile导入数据时,可配置编码格式。 utf8 驱动版本 CDM连接关系数据库前,需要先上传所需关系数据库的JDK8版本.jar格式驱动。MySQL的
删除当前空间下分配的队列资源。 1800 20 数据分类接口 表11 数据分类接口 API 说明 API流量限制(次/10s) 用户流量限制(次/10s) 导入预置分类 导入预置分类。 1800 20 查询数据分类列表 查询数据分类列表。 3600 40 数据安全诊断接口 表12 数据安全诊断接口 API
项目ID表示租户的资源,账号ID对应当前账号,IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。
贯标与评估流程 贯标流程 DCMM贯标流程主要分为三个阶段: 差距分析:贯标启动,进行差距分析。 能力提升:建立数据管理组织,完善制度,内部运行并开展自评估。 评估确认:组建评估队伍,开展第三方评估,获取评估报告和能力证书。 图1 DCMM贯标流程 评估流程 DCMM评估流程分为如下步骤:
SDK使用前准备 下载SDK,并导入对应SDK到本地开发工具。 登录DataArts Studio控制台。 单击“数据服务”模块。 单击左侧菜单“共享版 > SDK”或“专享版 > SDK”。 单击SDK使用引导区域里对应语言的SDK,下载SDK包到本地。 进行SDK包完整性校验
业JSON定义”,复制其中的JSON内容,格式化为Java字符串语法,然后粘贴到此处。 *JSON消息体中一般只需要替换连接名、导入和导出的表名、导入导出表的字段列表、源表中用于分区的字段。**/ String json = "{\r\n"+ "\"jobs\": [\r\n"+
如果要撤销已提交的审批流程,请您在“审批中心”的“我的申请”页签里进行撤销。修改完成后,可以重新提交审批。 开启了提交审批开关后,提交作业、删除作业以及导入“提交态”的作业时,均需要进行审批。 关闭提交审批开关前,请确保当前工作空间已无待未审批的流程。 企业模式下,不支持提交审批。 版本回滚
如果要撤销已提交的审批流程,请您在“审批中心”的“我的申请”页签里进行撤销。修改完成后,可以重新提交审批。 开启了提交审批开关后,提交脚本、删除脚本以及导入“提交态”的脚本时,均需要进行审批。 关闭提交审批开关前,请确保当前工作空间已无待未审批的流程。 企业模式下,不支持提交审批。 版本回滚
在弹出的界面中添加规则,完成规则参数配置。 图14 规则配置页 配置完成后,单击“确定”,完成事实表字段批量关联质量规则。 通过逆向数据库导入事实表 通过逆向数据库,您可以从其他数据源中将一个或多个已创建的数据库表导入到事实表目录中,使其变成事实表。 在数据架构控制台,单击左侧导航树中的“维度建模”,进入维度建模页面。
构建数据处理业务流水线。 预设数据集成、SQL、Spark、Shell、机器学习等多种任务类型,通过任务间依赖完成复杂数据分析处理。 支持导入和导出作业。 资源管理 支持统一管理在脚本开发和作业开发使用到的file、jar、archive类型的资源。 作业调度 支持单次调度、周期
”将维度删除。 删除弹框中的“删除物理表”勾选后,删除时将同步删除数据库里的物理表。 通过逆向数据库导入维度 通过逆向数据库,您可以从其他数据源中将一个或多个已创建的数据库表导入到维度目录中,使其变成维度。 在数据架构控制台,单击左侧导航树中的“维度建模”,进入维度建模页面。 在维度列表上方,单击“逆向数据库”。
Studio REST API封装的SDK包。 通过调用此SDK包提供的代码样例,即可通过API接口对数据治理中心的各组件进行相关操作。 数据集成(注册在云数据迁移CDM服务) 数据开发 管理中心 数据架构 数据质量 数据目录 数据服务 数据安全 Java Python Go Github代码仓,详见SDK列表。
d9b1978b11b50c86687baf85c 通过SDK调用API 解压1中获取的Java SDK包,并在Eclipse中导入SDK工程。 导入成功后,打开main.java文件,修改如下图红框所示的内容: 图4 修改main.java 如下参数设置API的请求方法和调用地址,可参考5进行获取。
maxErrorRecords 否 String 单个分片的最大错误记录数。单个map的错误记录超过设置的最大错误记录数时,任务自动结束,已经导入的数据不回退。 schedulerConfig.isSchedulerJob 否 Boolean 是否开启定时任务,例如:“true”。 schedulerConfig
如OBS桶名、文件路径等)、参数中的某个字段、或者字段中的某个字符,都支持配置为一个全局变量,方便您批量更改作业中的参数值,以及作业导出/导入后进行批量替换。 这里以批量替换作业中OBS桶名为例进行介绍。 在CDM作业管理界面,单击“配置管理”页签,配置环境变量。 bucket_1=A
DMS Kafka连接参数说明 连接DMS的Kafka队列时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 DMS Kafka连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的
按名称和描述搜索:表示按照资产的名称和描述进行搜索。 按所有属性搜索:表示按照资产的全部属性(即详情页中展示的属性)进行搜索。 支持保存当前设置的搜索条件。 支持导入搜索条件。 资产筛选 对于技术资产搜索结果,可以基于条件进行筛选,支持的筛选条件类别如下: 数据连接:数据资产所属数据连接名称。 类型:数据资产所属类型。
在弹出的窗口中单击添加,填写项目ID并确认,即可设置此API在服务目录中额外对以该项目下的用户可见。 项目ID可以参考如下步骤进行获取: 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。
API生命周期管理 √ √ 自定义域名 √ √ Excel导入导出 √ √ 支持VPC通道 √ √ API参数编排-配置方式 √ √ API参数编排-脚本方式 √ √ API参数编排-MyBatis方式 × √ API编排 × √ 注册现有API √ × 返回总条数 × √ API分组变量管理