检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ClickHouse凭证,类型选择“大数据-ClickHouse”,认证方式选择“用户名/密码”。凭证的添加方法请参考添加资源凭证。 在MgC控制台左侧导航栏选择“实施 > 大数据校验”,进入大数据校验页面。在左侧导航栏的项目下拉列表中选择步骤4.创建的项目。 首次使用大数据校验功能时,需要先启用MgC
主机安全态势 在现场讲解汇报、实时监控等场景下,为了获得更好的演示效果,通常需要将态势感知服务的分析结果展示在大型屏幕上。如果只是单纯将控制台界面放大显示,视觉效果并不是很理想。此时可以利用综合大屏,展示专为大型屏幕设计的服务界面,获得更清晰的态势信息和更好的视觉效果。 前提条件
条件(Condition) CSS服务不支持在SCP中的条件键中配置服务级的条件键。 CSS可以使用适用于所有服务的全局条件键,请参考全局条件键。 父主题: 大数据
使用数据安全服务DBSS(建议) 数据库安全服务(Database Security Service,DBSS)是一个智能的数据库安全服务,基于机器学习机制和大数据分析技术,提供数据库审计,SQL注入攻击检测,风险操作识别等功能,保障云上数据库的安全。 建议使用DBSS来提供扩展的数据安全能力,详情请参考数据库安全服务。
数据标准设计 数据标准设计方法 针对属性字段设计数据标准,数据标准用于描述业务层面需共同遵守的属性层数据含义和业务规则。其描述了对某个数据的共同理解,这些理解一旦确定下来,就应作为标准被共同遵守。数据标准设计遵从以下原则: 以业务为导向,必须满足各标准各方的迫切需求,并根据业务需求分阶段推进制定工作;
已完成准备工作。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的大数据迁移项目。 在左侧导航栏选择“实施>大数据数据迁移”,进入大数据数据迁移页面。 单击页面右上角的“连接管理”按钮,进入迁移准备页面。 单击“创建连接”,右侧弹出新增连接窗口。
配置权限的方法参考为RAM用户授权。 (可选)如果迁移的元数据存在分区表,需要为迁移账号开通Information Schema权限,方法请参考RAM用户访问授权。 创建大数据迁移项目 在MgC控制台为本次迁移创建独立的项目,方法请参考项目管理。 配置委托权限与服务授权 为了确保正常使用DLI的功能,需要配置一
安全概览 总览 安全评分
删除安全组 操作场景 当您的安全组不需要使用时,您可以参考以下操作删除不需要的安全组。 系统创建的默认安全组和您创建的自定义安全组均不收取费用。 约束与限制 系统创建的默认安全组不支持删除,默认安全组名称为default。 图1 默认安全组 当安全组已关联至其他服务实例时,比如云
登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在功能入口区域,单击“连接管理”,进入连接管理页面。 单击页面右上角的“新增连接”,右侧弹出新增连接窗口。 根据实际情况选择大数据云服务,单击“下一步”,进入详细配置页面。
登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。 在功能入口区域,单击“迁移准备”,进入迁移准备页面。 选择“连接管理”,单击“创建连接”,右侧弹出新增连接窗口。 图1 创建连接 根据实际情况选择大数据云服务,单击“下一步”,进入详细配置页面。
单击“导出管理”按钮,右侧弹出导出管理窗口。 当导出进度为导出成功后,单击操作列的“下载”,可以将导出结果下载到本地。 图2 下载导出结果 父主题: 大数据数据迁移(MaxCompute迁移到DLI)
基线检查项目 态势感知支持检测云服务关键配置项,通过执行扫描任务,检查云服务基线配置风险状态,分类呈现云服务配置检测结果,告警提示存在安全隐患的配置,并提供相应配置加固建议和帮助指导。 如需查看每个检查项目的详情,如检查状态、风险等级、检查内容等信息,请在检查项目详情页面进行查看,具体操作请参见查看基线检查项目详情。
增量数据同步 CDM工具同样支持数据的增量同步,经过与业务方确认,考虑到可能存在业务方修改180天内历史数据的场景,因此在增量数据同步中以180天的时间范围获取数据。根据源表时间戳,获取源表内最新180天内数据存放在贴源层的增量分区表内,并通过ETL脚本将增量同步的数据进行增转全
创建专享版集群 创建数据服务专享集群增量包,系统会按照所选规格自动创建一个数据服务专享集群。单击工作空间“XXXX”的“数据服务”,单击左侧的“专享版”。 图1 创建专享版集群1 单击左侧的“集群”,单击“新建集群”, 进入创建增量包页面进行配置,单击“立即创建”,确认规格后提交。
在MgC控制台左侧导航栏选择“实施 > 大数据校验”,进入大数据校验页面。在左侧导航栏的项目下拉列表中选择步骤4.创建的项目。 首次使用大数据校验功能时,需要先启用MgC Agent。单击“选择并启用迁移中心Agent”按钮,在弹窗的下拉列表中,选择与迁移中心连接成功的MgC Agent。 在进行大数据校验时,请确保MgC
操作流程 大数据场景下使用OBS实现存算分离的操作流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接,实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导,详情请参见支持的大数据平台简介。 (可选)OBS除了可以与主流大数据平台对接外
码表管理 码表管理是对业务调研阶段得到的码表进行落地,由可枚举数据构成,存储枚举数据名称与编码的映射关系。码表的作用主要有: 在数据清洗中用于标准化业务数据以及补充映射字段 在质量监控中用于监控业务数据的值域范围 在维度建模中可以引申为枚举维度 单击左侧导航栏的码表管理并进入码表管理页面。
MongoDB安装 上传MongoDB安装包 表1 上传MongoDB安装包 安装服务器 gx01节点、gx02节点、gx03节点 程序名称 MongoDB 上传路径 /opt/ 程序安装路径 /usr/local/mongo 安装步骤 在gx01节点、gx02和gx03三个节点对应的服务器分别执行下列步骤。
Redis的部署 redis服务安装: 上传redis安装包 将安装包上传至服务器:如/opt下 服务名称:redis 程序安装路径:/usr/local/redis 安装步骤 进入/opt/(上传安装包路径) 命令行界面输入: cd /opt/ 图1 进入 解压redis安装包