检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新建数据密级 本章主要介绍数据密级管理,包括密级的创建、删除和调整优先级。 只有在创建密级之后,您才可以创建数据分类,进而创建脱敏策略进行数据脱敏。 前提条件 无。
数据质量API 目录接口 规则模板接口 质量作业接口 对账作业接口 运维管理接口 质量报告接口 导入导出接口
添加HBase数据源 本章节指导用户在HSConsole界面添加HBase数据源。 添加HBase数据源前提条件 数据源所在集群域名与HetuEngine集群域名不能相同。 数据源所在集群与HetuEngine集群节点网络互通。
后续当需要查看血缘关系时,参考查看数据血缘完成元数据采集,并成功完成作业调度后,即可在数据目录组件查看手动配置的MRS Spark节点血缘关系。 父主题: 节点数据血缘
元数据Metadata 元数据文件:{OSC-Package}/metadata.yaml,配置的是服务包的基本信息,包括名称、版本、描述等相关信息。
“训练集比例”即用于训练模型的样本数据比例;“验证集比例”即用于验证模型的样本数据比例。“训练验证比例”会影响训练模板的性能。 父主题: Standard数据管理
Kafka数据源 MQS:MQS数据源 RABBITMQ:RabbitMQ数据源 HANA:HANA数据源 MONGODB:MongoDB数据源 REDIS:Redis数据源 API:API数据源 WEBSOCKET:WebSocket数据源 LDAP:LDAP数据源 SAP:SAP
数据备份/导出/迁移 DCS实例是否兼容低版本Redis迁移到高版本 不同类型的操作系统间进行数据传递和操作,需要注意什么? 源Redis使用了多DB,能否迁移数据到集群实例? 源Redis迁移到集群实例中有哪些限制和注意事项? 在线迁移需要注意哪些?
数据采集 使用kafka采集数据时报错IllegalArgumentException 采集数据时报错HoodieException 采集数据时报错HoodieKeyException 父主题: Hudi常见问题
用户使用“数据加载”工具,将数据从OBS空间迁移到数据服务MRS中,进而在“数据建模”和“数据处理”中对MRS中的已标注数据进行数据处理,最后通过“数据集”发布数据集。订阅数据集中的数据,在“模型训练服务”中进行模型训练,如图4所示。
场景二:更新数据目录中的元数据,添加新元数据 用户的数据库中新增了数据表,采集数据源中指定的所有表。
数据权限管理 数据权限列表 创建角色 删除角色 绑定角色 解绑角色 显示角色 分配权限 回收权限 显示已授权限 显示所有角色和用户的绑定关系 父主题: Spark SQL语法参考(即将下线)
数据保护技术 CBR通过多种数据保护手段和特性,保障备份数据安全可靠。 表1 CBR的数据保护手段和特性 数据保护手段 简要说明 传输加密(HTTPS) 为保证数据传输的安全性,备份数据存储到OBS桶时采用HTTPS协议。
“配置数据存储”保存到OBS中的功能即将下线,未配置OBS数据存储的用户请不要使用,避免数据丢失,推荐使用将云服务监控数据转储到分布式消息服务Kafka中,详情请查看数据转储。 “配置数据存储”功能不支持加密桶。 前提条件 已开启云服务。 已开通对象存储服务。
数据库:DSC将对已授权的数据库资产进行敏感数据识别,授权数据库资产的相关操作请参见授权数据库资产。 大数据:DSC将对已授权的大数据资产进行敏感数据识别,授权大数据源资产请参见授权大数据资产。
接入数据源后,单击数据源名称可以查看数据源详情,数据源详情中可查看数据源相关的任务信息。 ROMA Connect数据集成适用于异构数据源之间的数据类型转换和按需集成。
数据目录API 业务资产接口 指标资产接口 统计资产接口 资产管理接口 资产分类接口 资产分级接口 资产信息 血缘信息 元数据采集任务接口 数据地图接口 标签接口
查看异常数据 同步过程中可能因数据冲突、数据加工、异构类型转化、对象缺失等因素导致数据异常,您可以通过“异常数据”页签查看,以帮助异常写入的排查。
Windows数据盘 Linux数据盘 问题现象:已经通过管理控制台将数据盘挂载至Linux云服务器,但是登录到云服务器后找不到数据盘。
附:公共数据结构 连接参数说明 源端作业参数说明 目的端作业参数说明 作业任务参数说明 父主题: 数据集成API