检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
删除当前空间下分配的队列资源。 1800 20 数据分类接口 表11 数据分类接口 API 说明 API流量限制(次/10s) 用户流量限制(次/10s) 导入预置分类 导入预置分类。 1800 20 查询数据分类列表 查询数据分类列表。 3600 40 数据安全诊断接口 表12 数据安全诊断接口 API
数据库名称:demo_sdi_db。 表名:sdi_taxi_trip_data。 导入前清空数据:是。 在本示例中,目的端作业参数“导入前清空数据”配置为“是”,表示每次作业运行都会先清空数据再导入。在实际业务中,请视情况而定,需谨慎设置,以免造成数据丢失。 图9 作业配置 在字
业JSON定义”,复制其中的JSON内容,格式化为Java字符串语法,然后粘贴到此处。 *JSON消息体中一般只需要替换连接名、导入和导出的表名、导入导出表的字段列表、源表中用于分区的字段。**/ String json = "{\r\n"+ "\"jobs\": [\r\n"+
如果要撤销已提交的审批流程,请您在“审批中心”的“我的申请”页签里进行撤销。修改完成后,可以重新提交审批。 开启了提交审批开关后,提交脚本、删除脚本以及导入“提交态”的脚本时,均需要进行审批。 关闭提交审批开关前,请确保当前工作空间已无待未审批的流程。 企业模式下,不支持提交审批。 版本回滚
如果要撤销已提交的审批流程,请您在“审批中心”的“我的申请”页签里进行撤销。修改完成后,可以重新提交审批。 开启了提交审批开关后,提交作业、删除作业以及导入“提交态”的作业时,均需要进行审批。 关闭提交审批开关前,请确保当前工作空间已无待未审批的流程。 企业模式下,不支持提交审批。 版本回滚
项目ID表示租户的资源,账号ID对应当前账号,IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目ID。
在弹出的界面中添加规则,完成规则参数配置。 图14 规则配置页 配置完成后,单击“确定”,完成事实表字段批量关联质量规则。 通过逆向数据库导入事实表 通过逆向数据库,您可以从其他数据源中将一个或多个已创建的数据库表导入到事实表目录中,使其变成事实表。 在数据架构控制台,单击左侧导航树中的“维度建模”,进入维度建模页面。
表示通过内部网络访问集群数据库的访问地址,可填写为IP或域名。内网访问IP或域名地址在创建集群时自动生成,您可以通过管理控制台获取访问地址: 根据注册的账号登录DWS云服务管理控制台。 从左侧列表选择实例管理。 单击某一个实例名称,进入实例基本信息页面。在连接信息标签中可以获取到内网IP、域名和端口等信息。
”将维度删除。 删除弹框中的“删除物理表”勾选后,删除时将同步删除数据库里的物理表。 通过逆向数据库导入维度 通过逆向数据库,您可以从其他数据源中将一个或多个已创建的数据库表导入到维度目录中,使其变成维度。 在数据架构控制台,单击左侧导航树中的“维度建模”,进入维度建模页面。 在维度列表上方,单击“逆向数据库”。
Base/CloudTable/MongoDB导出数据时,CDM有较大概率无法获得所有列),则可以单击后选择“添加新字段”来手动增加,确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,
maxErrorRecords 否 String 单个分片的最大错误记录数。单个map的错误记录超过设置的最大错误记录数时,任务自动结束,已经导入的数据不回退。 schedulerConfig.isSchedulerJob 否 Boolean 是否开启定时任务,例如:“true”。 schedulerConfig
如OBS桶名、文件路径等)、参数中的某个字段、或者字段中的某个字符,都支持配置为一个全局变量,方便您批量更改作业中的参数值,以及作业导出/导入后进行批量替换。 这里以批量替换作业中OBS桶名为例进行介绍。 在CDM作业管理界面,单击“配置管理”页签,配置环境变量。 bucket_1=A
项目ID表示租户的资源,账号ID对应当前账号,IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。
d9b1978b11b50c86687baf85c 通过SDK调用API 解压1中获取的Java SDK包,并在Eclipse中导入SDK工程。 导入成功后,打开main.java文件,修改如下图红框所示的内容: 图4 修改main.java 如下参数设置API的请求方法和调用地址,可参考5进行获取。
变量)。 是 使用Agent Agent功能待下线,无需配置。 - local_infile字符集 MySQL通过local_infile导入数据时,可配置编码格式。 utf8 驱动版本 CDM连接关系数据库前,需要先上传所需关系数据库的JDK8版本.jar格式驱动。MySQL的
Base/CloudTable/MongoDB导出数据时,CDM有较大概率无法获得所有列),则可以单击后选择“添加新字段”来手动增加,确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,
Base/CloudTable/MongoDB导出数据时,CDM有较大概率无法获得所有列),则可以单击后选择“添加新字段”来手动增加,确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,
会同时被删除。 数据架构 数据架构当前支持关系建模、维度建模(仅支持星形模型)和数据集市这三种建模方式。 数据架构支持最大导入文件大小为4Mb;支持最大导入指标个数为3000个;支持一次最大导出500张表。 数据架构对各类对象进行批量操作时,单次最多操作200个对象。 单工作空间中创建各类对象的配额如下:
如果生成API时设置入参位置为Static,则还需设置静态参数值。如果未配置Static参数值,则SDK调用时会使用API入参默认值,API工具调用时会导致缺少Static参数值的报错。 图2 添加授权 授权成功后,可以在应用管理详情页面查看已绑定的API。 如果已绑定API列表中
API生命周期管理 √ √ 自定义域名 √ √ Excel导入导出 √ √ 支持VPC通道 √ √ API参数编排-配置方式 √ √ API参数编排-脚本方式 √ √ API参数编排-MyBatis方式 × √ API编排 × √ 注册现有API √ × 返回总条数 × √ API分组变量管理