检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建文件敏感数据检测任务 在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 单击左侧导航树中的“敏感数据发现”,在敏感数据发现页面选择“文件敏感数据检测”,进入文件敏感数据检测页签。 图1 文件敏感数据检测页面 在文件敏感数据检测页面
可选参数,输入指标名称,或选择OpenTSDB中已存在的指标。 city.temp 时间 可选参数,记录数据的时间点,格式为yyyyMMddHHmmdd的字符串或时间戳。 1598870800 标记 可选参数,可在这里自定义数据的标签。 tagk:tagv, tagk2:tagv2 父主题: 配置CDM作业目的端参数
使用CDM上传数据到OBS 上传存量数据 上传增量数据 父主题: 贸易数据极简上云与统计分析
数据开发API(V2) 作业开发API
数据开发API(V1) 脚本开发API 资源管理API 作业开发API 连接管理API(待下线)
数据服务SDK参考 数据服务SDK概述 SDK使用前准备 SDK调用常见错误码/错误信息 使用APP认证调用API
关系数据库增量迁移 CDM支持对关系型数据库进行增量迁移,全量迁移完成之后,可以增量迁移指定时间段内的数据(例如每天晚上0点导出前一天新增的数据)。 增量迁移指定时间段内的数据 适用场景:源端为关系型数据库,目的端没有要求。 关键配置:Where子句+定时执行作业。 前提条件:数据表中有时间日期字段或时间戳字段。
调用数据开发API报错Unknown Exception? 问题描述 调用数据开发API报错Unknown Exception。 解决方案 DataArts Studio是项目级服务,获取Token的scope要选择project级别。 父主题: 数据开发
不能在CDM迁移作业中配置“作业失败重试”参数,如有需要请在数据开发中的CDM节点配置“失败重试”参数。 创建并执行数据开发作业 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发” 。 在“作业开
查询数据权限控制模块诊断结果 功能介绍 查询数据权限控制模块诊断结果。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/diagnose/permission-management 表1 路径参数 参数 是否必选 参数类型 描述
查询API统计数据详情 功能介绍 查询API统计数据详情。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/statistic/apis-detail/{api_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
查询APP统计数据详情 功能介绍 查询APP统计数据详情。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/statistic/apps-detail/{app_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
secrecy_level_id String 数据密级id。 secrecy_level_name String 数据密级名称。 secrecy_level_number Integer 数据密级等级。 description String 数据密级描述。 created_by String
能调优。这里保持默认值“1”。 是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要在CDM先配置好OBS连接。这里保持默认值“否”即可,不记录脏数据。 图8 任务配置 单击“保存并运行”,回
删除指定的id的数据密级 功能介绍 删除指定的id的数据密级。 调用方法 请参见如何调用API。 URI DELETE /v1/{project_id}/security/data-classification/secrecy-level/{id} 表1 路径参数 参数 是否必选
关系数据库增量迁移 CDM支持对关系型数据库进行增量迁移,全量迁移完成之后,可以增量迁移指定时间段内的数据(例如每天晚上0点导出前一天新增的数据)。 增量迁移指定时间段内的数据 适用场景:源端为关系型数据库,目的端没有要求。 关键配置:Where子句+定时执行作业。 前提条件:数据表中有时间日期字段或时间戳字段。
String 数据连接名称,可通过本接口的全量数据连接列表返回结果获取。 type 否 String 数据连接类型,可通过本接口的全量数据连接列表返回结果获取。 limit 否 String 每次查询的数据连接条数的限制量。 offset 否 String 每次查询的数据连接条数的分页页码。
createDataMask 查询数据掩码列表 datamask listDataMask 查询数据掩码 datamask getDataMask 删除数据掩码 datamask deleteDataMask 批量删除数据掩码 datamask batchDeleteDataMask 修改数据掩码 datamask
String 连接MRS或FusionInsight HD时,需要配置Manager平台的IP地址。 linkConfig.port 否 String 连接FusionInsight HD时,需要配置Manager平台的端口。 linkConfig.casPort 否 String 连接FusionInsight
updateDataWarehouse 删除数据连接 dataWarehouse deleteDataWarehouse 导出数据连接 dataWarehouse exportConnection 导入数据连接 dataWarehouse importConnection 创建数据库 dataWarehouse