检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
细粒度操作:将云资源的读、写、列表等操作进一步细化,对其细化操作进行鉴权,并将这些细化操作变成可供用户配置的权限操作。以云主机为例,将其读操作细化为读取规格、读取标签、读取服务器详情、读取挂载的磁盘、读取网卡等细粒度操作,这些细粒度操作在用户配置权限的时候是可以自由选择的,这样就可以将权限控制到用户所需的最小操作集合。
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比,文件的对比方法有文件数量对比,大小对比,内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后,要确保作业能够正常运行、产生准确的结果,并且满足性能要求。一般从如下三方面验证: 验证作业执行的成功率
高性能计算、媒体处理、文件共享和内容管理和Web服务等 大数据分析、静态网站托管、在线视频点播、基因测序和智能视频监控等 存储逻辑 存放的是二进制数据,无法直接存放文件,如果需存放要先格式化文件系统 存放的是文件,会以文件和文件夹的层次结构来整理和呈现 存放的是对象,可以直接存放文件,文件会自动
配置以及Nginx.conf等。 解析配置文件:对于每个配置文件,需要编写脚本或使用现有工具来解析其内容,脚本可以根据文件格式和语法规则,提取出关键信息并进行处理。 提取关联信息:在解析配置文件时,需要识别出与其他组件或资源相关的信息,例如,可以查找应用之间的相互调用关系,比如从
非结构化数据的存储方式主要为文件存储和对象存储。 NAS迁移方案 表5 NAS迁移方案 迁移方案 迁移方式 特点 适用场景 华为云CDM服务 (海量数据迁移推荐) 全量+增量 操作简单,支持增量迁移。对海量数据支持更好 适用于将源端对象存储、网络文件存储,大数据存储迁移至华为云O
层和数据层迁移到云端的过程,迁移策略采用Rehost或Replatform,不含Refactor(应用改造),数据层包含对象存储、块存储、文件存储、关系型数据库、非关系型数据库。 应用上云迁移遵循如下的流程: 图1 应用迁移小循环 上述流程的执行对象是应用迁移分组,一个迁移批次通
Rclone迁移工具,使用MD5哈希值来验证文件的完整性。同步后会再对比源端和目的端文件数量。 rsync rsync迁移工具,使用MD5哈希值来验证文件的完整性,如果校验和不匹配,则rsync会重新传输该文件,以确保数据一致性。同步后会再对比源端和目的端文件数量。 文件大小 python脚本 迁
完成云下存储数据到云上存储数据的迁移。详细信息请查看上云迁移服务。 文件存储迁移 NAS文件存储是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。华为云的弹性文件服务SFS提供按需扩展的高性能文件存储(NAS),可为云上多个弹性云服务器(Elastic Cloud
移到华为云MRS服务。HBase会把数据存储在HDFS上,主要包括HFile文件和WAL文件,由配置项“hbase.rootdir”指定在HDFS上的路径,华为云MRS的默认存储位置是“/hbase”文件夹下。HBase自带的一些机制和工具命令也可以实现数据搬迁,例如:通过导出S
完通道内的消息后,整个消息中间件直接切换到华为云。 数据层:包括数据库、对象存储、文件系统,数据库一般通过华为云的数据迁移工具DRS做迁移,对象存储一般通过华为云对象存储迁移工具OMS做迁移,文件系统一般通过Rsync等迁移工具来迁移。 迁移工具兼容性 迁移工具的兼容性以各个迁移工具官网文档发布的最新结果为准:
别制作私有镜像,上传至华为云OBS对象存储服务中,在IMS镜像服务中,使用上传的外部镜像文件制作成私有镜像,最后使用私有镜像发放云服务器,完成整机迁移。迁移后的主机操作系统、系统配置,数据文件与源端服务器完全一致。关于主机迁移服务的更多详细信息,请参考IMS帮助文档。 容器迁移
离线备份导入 备份文件导入方式当前支持迁移到Redis3.0、Redis4.0和Redis5.0;暂时不支持导入自建Redis5.0生成的rdb备份文件。无论是IDC自建Redis,还是第三方云Redis服务,只要能进行导出备份文件(AOF或RDB),就可以使用DCS迁移服务的备份文件导入方
合并等操作,以确保数据的一致性和准确性。 数据存储: 大数据平台需要具备高效的数据存储能力,以承载海量的数据。常见的数据存储技术包括分布式文件系统(如HDFS)、列式数据库(如HBase)等。这些存储系统提供高可靠性、可扩展性和容错性,以支持大规模数据的存储和访问需求。 大数据计算:
适用于源端是自建Redis或其他云厂家Redis实例迁移至华为DCS的场景 RDB/AOF文件备份恢复 全量迁移 离线迁移,操作复杂,源端业务停机时间长,需要源端业务停机后制作RDB/AOF文件,不支持增量同步数据 所有 消息中间件迁移方案 确定消息中间件的切换场景 表3 消息中间件切换场景
务器迁移到华为云,并修改对应的转发策略。 方案2:在华为云ECS服务上重新部署nginx或openresty,然后拷贝源端配置文件到目的端,并修改配置文件的转发策略。 负载均衡器 提供4层或7层流量转发 将源端的负载均衡策略重新配置到华为ELB Kong/Zuul网关等 微服务网关
首先,将历史作业的数据和相关代码迁移至新的大数据平台。这包括将数据从原来的存储系统导出,并重新加载到新的存储系统。同时,将原有的作业脚本和相关配置文件进行调整和迁移,以适应新的计算环境。 作业调测 在全量迁移完成后,对已迁移的历史作业进行调测和验证。这包括运行作业并检查输出结果是否符合预
公共服务管理 首先您要识别出各个业务单元所需要的公共IT服务和资源,比如NTP服务器、SFS文件存储、自建DNS服务器、OBS桶、虚拟机镜像、证书等,也可以是CodeArts等PaaS服务。然后集中部署和维护这些公共IT服务,将其共享给公司内所有业务单元。华为云提供了三种资源共享的方式。
桶策略是一种基于资源的访问控制策略,允许桶的所有者指定对桶和对象的权限控制。通过桶策略,企业可以定义允许或拒绝哪些用户可以对桶执行哪些操作。例如,可以允许某个用户对特定的桶进行读取操作,但禁止写入或删除。桶策略支持基于条件的访问控制,可以根据请求者的IP地址、请求时间等条件,灵活地控制访问权限。例如,企业可以设置桶策
Application Firewall,WAF),通过对HTTP(S)请求进行检测,识别并阻断SQL注入、跨站脚本攻击、网页木马上传、命令/代码注入、文件包含、敏感文件访问、第三方应用漏洞攻击、CC攻击、恶意爬虫扫描、跨站请求伪造等攻击,保护Web服务安全稳定。在WAF管理控制台将网站添加并接入WA
启动命令。 容器编排与管理:如果需要管理多个容器实例、自动扩展和负载均衡等功能,可以使用容器编排工具,如Kubernetes。通过编写配置文件或使用命令行工具,定义容器的部署和运行方式。 网络和存储配置:配置容器之间的网络通信和访问外部资源的方式。确保容器可以与其他容器、数据库、