检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将HTTP/HTTPS数据源迁移到OBS时,如果存在URL不同但对象名称相同的情况,会如何处理? 当从HTTP/HTTPS数据源迁移数据到对象存储服务(OBS)时,由于OBS不区分URL差异,只识别对象名称,因此同名对象会根据创建工作流时,迁移配置中所选的“同名覆盖方式”策略进行
安全特性 采集安全性 采集时长受控:采集任务在有限的时间内完成,采集避免长时间占用系统资源。 加密保存凭证:所有用于数据采集的凭证都经过加密处理,以保护凭证的安全。线上采集的凭证仅在线上环境中保存。 操作权限与最小权限原则:无论哪种采集方式,都需要具备相应的操作权限,并且遵循最小
如何防止采集数据泄露? MgC通过以下方式确保采集数据的安全: 数据加密传输:采用加密技术来保护数据在传输过程中的安全 本地加密存储凭证:Edge上的凭证信息都会经过加密处理后保存在本地,不会通过网络传输到云端。 本地数据采集与存储:通过Edge线下采集的信息会被安全地保存在本地。在将本地采集的数据上
采集安全性说明 数据采集架构 安全特性 采集项列表 内网采集权限与原理 公网采集权限要求 责任共担
采集原理: Windows 系统:使用Windows远程管理(WinRM)服务,通过Edge远程访问Windows主机,将PowerShell脚本安全传输至C:/Edge-Scripts路径并执行,以自动化采集系统信息。 Linux 系统:通过SSH协议从Edge访问Linux主机,将S
允许OMS云服务的VPCEP端点进行连接。 Master节点安全组配置 方向 优先级 策略 类型 协议端口 目的地址/源地址 描述 入方向 1 允许 IPv4 全部 Master节点安全组 允许安全组内的虚拟机通信 入方向 1 允许 IPv6 全部 Master节点安全组 允许安全组内的虚拟机通信 入方向 1 允许
云服务 Action 最小权限策略 存储 对象存储(KS3) ks3:ListBuckets KS3ReadOnlyAccess 父主题: 采集安全性说明
networkConnections 网络连接数 用于迁移前评估 availableZone 可用区 用于迁移前评估 securityGroupList 安全组 用于迁移前评估 clusterId 大数据集群ID 用于迁移前评估 chargeMode 付费模式 用于迁移前评估 assessStatus
据的在线采集。不需要在源端网络中安装Edge设备。 数据采集架构图,如图2所示。 图2 调用API在线采集云平台资源架构图 父主题: 采集安全性说明
方法二(适用于Windows操作系统) 使用Notepad++工具转换CSV文件编码为UTF-8。确保您已经安装了Notepad++工具。如果尚未安装,请从官方网站下载并安装。 打开Notepad++,将csv文件拖进Notepad++窗口中,使用快捷键“Ctrl + A”全选所有内容。 在Notep
述。 注意事项 创建的源端统计任务和目的端统计任务的统计方式必须保持一致。 HBase安全集群任务与非安全集群任务不能同时执行。HBase安全集群需要加载认证信息,非安全集群连接时需要清除安全集群的认证信息,因此不能同时执行。 校验任务不支持跨天执行,执行过程中如果跨0点将导致校
可以连接外网(公网),并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名列表。 PowerShell 版本在3.0及以上。 推荐规格不小于4U8G。 安全组的出方向规则中,需要包含8883端口。 关闭该主机上的杀毒、防护类软件,该类软件会拦截Edge的执行,导致迁移工作流执行失败。 不建议将
可以连接外网(公网),并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名列表。 PowerShell 版本在3.0及以上。 推荐规格不小于4U8G。 安全组的出方向规则中,需要包含8883端口。 关闭该主机上的杀毒、防护类软件,该类软件会拦截Edge的执行,导致迁移工作流执行失败。 不建议将
在Edge添加的阿里云EMR ClickHouse凭证。 安全集群 选择是否部署在安全集群下。 ClickHouse Server IP 填写连接到阿里云EMR ClickHouse服务器的IP地址。通常是运行ClickHouse的主机IP地址。 HTTP端口 非安全集群下,与阿里云EMR ClickHouse
为27080)。 执行如下命令,更新环境变量。 source /etc/profile 安装完成后,在安全组入方向规则中添加的Windows主机上打开浏览器,输入地址“https://步骤7.输入的IP:步骤8.提示的端口号”,即可访问Edge的用户注册页面。例如:步骤7输入的IP为192
在Edge添加的目的端MRS ClickHouse凭证。 安全集群 选择是否部署在安全集群下。 ClickHouse Server IP 填写连接到MRS ClickHouse服务器的IP地址。通常是运行ClickHouse的主机IP地址。 HTTP端口 非安全集群下,与MRS ClickHouse
密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措施,包括云安全战略、责任共担模型、合规与隐私、安全组织与人员、基础设施安全、租户服务与租户安全、工程安全、运维运营安全、生态安全。 图1 华为云安全责任共担模型 父主题: 采集安全性说明
在Edge添加的源端 MRS ClickHouse凭证。 安全集群 选择是否部署在安全集群下。 ClickHouse Server IP 填写连接到源端ClickHouse服务器的IP地址。通常是运行ClickHouse的主机IP地址。 HTTP端口 非安全集群下,与源端ClickHouse 服务器通信的
默认创建名称为“Hive-Metastore-4位随机数(字母和数字)”,也可以自定义名称。 启用安全连接 选择是否启用安全连接。 MetaStore在非安全集群下,可以不启用安全连接。 MetaStore在安全集群下,需要启用安全连接并选择凭证。凭证的获取以及添加方法请参考添加资源凭证中的大数据-Hive
管理和监测整个迁移过程。 数据安全 数据采集 迁移中心为了确保采集数据的安全性,采集数据时只会读取源端数据,不会对源端数据进行修改。并提供了“导入本地文件”与“在线采集”两种采集方式。 数据传输 迁移中心为了确保数据传输安全,采用加密通道(HTTPS、SSH)进行数据传输。 凭证加密