检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
API接口，及相应的编程语言和工具，需要学习成本 维护复杂性：随业务扩大，脚本的结构和逻辑会复杂，管理和维护更加困难 安全风险：若没有正确的安全措施和权限控制，可能会泄漏敏感数据或资源被滥用等 AOS资源编排 适用于资源量比较大的场景。
数据调研 数据调研主要包括如下方面： 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量，用于评估历史数据迁移周期； 日增量数据，用于评估每日增量数据同步周期。
数据边界 华为云提供了全方位数据边界保护您的敏感数据，全方位数据边界基于身份控制策略、网络控制策略和资源控制策略构筑起一道坚固的数据安全屏障。确保只有经过严格验证的可信身份，在符合安全标准的可信网络环境中，方能获得对特定资源的访问权限，从而保障数据安全。
大数据 大数据是指规模庞大且复杂的数据集合，对于企业来说，如何收集、存储和分析大数据具有重要意义。以下是大数据如何使能业务创新、与业务结合并推动业务现代化的几个方面： 数据驱动决策：大数据分析可以帮助企业从海量数据中提取有价值的信息和洞察力，为决策提供支持。
通过数据采集和提取，将原始数据收集到大数据平台进行后续处理和分析。 数据集成： 数据集成是将来自不同数据源的数据进行整合和转换的过程。这包括数据清洗、数据预处理、数据格式转换、数据合并等操作，以确保数据的一致性和准确性。
数据层迁移方案 数据层主要负责业务数据的持久化，为上层业务逻辑的实现提供数据支持，数据层包括两类数据，结构化数据和非结构化数据。结构化数据包含各类数据库，例如MySQL数据库、MongoDB数据库等，非结构化数据包含对象存储、各类文件存储等。
安全性和数据保护：云上部署的任务调度平台需要具备安全性和数据保护机制。确保对敏感数据和系统组件进行适当的访问控制和加密，以防止未经授权的访问和数据泄露。 性能优化：在云上部署任务调度平台时，需要考虑性能优化。优化资源配置、任务调度算法和数据分发策略，以提高任务执行的效率和速度。
同时，通过根据需求进行资源的优化和调整，可以最小化成本，提高资源利用率。 父主题： 大数据架构设计
数据验证方法 数据分为数据库数据、中间件数据和文件数据，这三种数据的一致性验证方法和工具不同： 数据库数据一致性验证的方法如下表所示。
全方位数据边界 全方位数据边界基于身份控制策略、网络控制策略和资源控制策略构筑起一道坚固的数据安全屏障。确保只有经过严格验证的可信身份，在符合安全标准的可信网络环境中，方能获得对特定资源的访问权限，从而保障数据安全。
大数据迁移 调研 设计 部署 迁移 验证 切换 保障 父主题： 采用实施
大数据调研 平台调研 数据调研 任务调研 父主题： 调研评估
优势： 文件增量同步，速度快，效率高，占用资源少。 通过SSH，RSH等模式可对第三方平台跨网络开放。 服务端不想共享时，只需停止Rsync服务，不影响其它业务。 支持镜像方式数据拷贝，适合于互联网模式下的静态文件分布式部署，可扩充性好。
大数据迁移批次规划说明 大数据迁移上云时，是选择整体迁移还是分批迁移，原则如下： 整体迁移的场景： 规模小：大数据平台数据量少（TB级），计算任务数量不多，可以采用整体迁移的方法，先在云上部署大数据平台，然后全量迁移元数据、数据和任务。
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题： 方案设计
CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。详细信息请参考官网文档。
降低成本 传统模式（自建数据中心）下企业按照预测的业务峰值需求提前采购硬件和软件等IT资源，为了避免在高峰期出现性能瓶颈或服务中断，通常会过度采购资源。
修改脚本：根据云上环境配置，修改脚本，例如数据库连接串，资源配置，输出目录等。 目标云平台导入脚本：上传脚本到云上调度平台，并配置脚本类调度任务。 脚本任务运行和测试：执行调度任务，并根据日志和执行结果检查脚本运行情况。
这些应用系统的全面云化转型将导致在云上同时存在数百个业务系统和海量云资源，而且包括企业自有员工、外包员工及合作伙伴的员工在内的大量用户需要访问和操作这些云资源，量变导致质变，资源闲置、误操作、恶意操作、数据泄露和权限错配等风险将随着用云规模呈现指数级增长。
监视资源使用情况，优化配置参数、调整集群大小和资源分配，以提高整体性能。 数据安全和权限管理：审查和加强数据的访问控制和权限管理机制。确保只有经授权的人员可以访问敏感数据，并采取适当的加密和脱敏措施保护数据安全。 自动化任务调度：确保大数据任务调度平台的运行和调度正常。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
