检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Boolean 是否禁用。 id String 数据标准ID,ID字符串。 actived Boolean 是否显示,系统默认项必然显示不允许修改。true表示使用数据标准时体现(增改查的时候可以操作该属性),false表示使用数据标准时不体现。 required Boolean
故障恢复 DataArts Studio云服务每天会定时全量备份数据库数据,当服务故障后,通过备份恢复等技术方案支持数据恢复。 关于DataArts Studio支持的备份信息,请参见备份管理。 父主题: 安全
查询API统计数据详情 功能介绍 查询API统计数据详情。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/statistic/apis-detail/{api_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
查询APP统计数据详情 功能介绍 查询APP统计数据详情。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/statistic/apps-detail/{app_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
息。当数据源类型为DLI时,该参数需要填写为DLI。 database_name 是 String 数据库名称。获取方法请参见获取数据源中的表。 table_id 否 String 数据表id,获取方法请参见获取数据源中的表。 table_name 是 String 数据表名称,
如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题? 问题描述 CDM从OBS迁移数据到DLI出现迁移中断失败。 解决方案 此类作业问题表现为配置了脏数据写入,但并无脏数据。这种情况下需要调低并发任务数,即可避免此类问题。 父主题: 数据集成(CDM作业)
元数据管理模块是数据湖治理的基石,支持创建自定义策略的采集任务,可采集数据源中的技术元数据。支持自定义业务元模型,批量导入业务元数据,关联业务和技术元数据、全链路的血缘管理和应用。 图5 全链路数据血缘 数据地图 数据地图围绕数据搜索,服务于数据分析、数据开发、数据挖掘、数据运营等数据表的使用
了表字段,则无法在数据库中相应的删除表字段。 如果线下数据库支持更新表结构语法,可以在DDL模板配置对应语法,之后更新操作就可以通过DataArts Studio管控;如果线下数据库不支持更新,那只有通过重建这种方式更新。 重建数据表:先删除数据库中已有的表,再重新创建表。选择该
reverse_order 否 int 是否按照日期倒序补数据,取值范围[0,1],0表示正序补数据,1表示倒序补数据。 force 否 String 是否强制补数据,true表示强制补数据,同一个作业出现在2个补数据实例时,也可以进行补数据;false表示不能强制补数据。 supplement_data_run_time
户,不统计用户组成员。 诊断数据安全风险 数据安全诊断当前支持敏感数据保护、数据权限控制和数据源保护三大诊断项,诊断详情如图1所示。 图1 数据安全诊断详情 数据安全风险诊断的操作步骤如下,请您根据需要定期扫描处理,建议至少每月进行一次扫描,以保障数据使用过程的安全可靠。 在DataArts
MRS Hudi数据连接参数说明 表1 MRS Hudi连接 参数 是否必选 说明 数据连接类型 是 MRS Hudi连接固定选择为MapReduce服务(MRS Hudi)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签
查询数据权限控制模块诊断结果 功能介绍 查询数据权限控制模块诊断结果。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/diagnose/permission-management 表1 路径参数 参数 是否必选 参数类型 描述
主机连接参数说明 表1 主机连接 参数 是否必选 说明 数据连接类型 是 主机连接固定选择为主机连接。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,
Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 在作业目录中,双击Pipeline模式批处理作业或实时处理作业的名称,进入作业开发页面。
用“,”分隔。 如果为MySQL、PostgreSQL或达梦数据库 DM等线下数据源,可以通过数据库管理员获取相应的访问地址。 端口 是 关系型数据库数据源的访问端口。 如果为RDS或GaussDB等云上数据源,可以通过管理控制台获取访问地址: 根据注册的账号登录对应云服务的管理控制台。
本章主要介绍如何创建静态脱敏任务,静态脱敏支持的源端和目的端可通过参考:静态脱敏场景介绍查看。 数据静态脱敏,可以防止隐私数据在未经脱敏的情况下从企业流出。满足企业既要保护隐私数据,同时又保持监管合规,满足企业合规性。敏感数据通过静态脱敏,提供内置高效、丰富的脱敏算法,对原始数据中敏感数据进行掩码、截断、hash等
数据地图接口 元数据实时同步接口(邀测) 搜索查询标签分页展示(邀测) 用户行为分析(邀测) 资产搜索(邀测) 创建或修改资产(邀测) 资产详情(邀测) 资产血缘(邀测) 批量血缘(邀测) 表关联作业算子列表(邀测) 产出信息(邀测) 批量打标签(邀测) 父主题: 数据目录API
数据安全诊断接口 执行数据安全诊断 查询不合理的权限配置 查询数据权限控制模块诊断结果 查询敏感数据保护模块诊断结果 查询未进行静态脱敏任务的表信息 查询数据源防护模块诊断结果 父主题: 数据安全API
动态数据脱敏接口 查询动态数据脱敏策略列表 创建数据脱敏策略 查询某个脱敏策略的详细信息 更新动态数据脱敏策略 批量删除动态脱敏策略 父主题: 数据安全API
为200。即当多个数据连接共用同一Agent时,通过这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 数据集成配置 数据库名称 是 配置为要连接的数据库名称。 例如:dbname