检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
方案概述 应用场景 在AI模型开发过程中,数据科学家需要花费较多时间在数据准备环境。包括数据预处理、数据标注等工作,当数据量庞大、种类较多时,数据准备工作繁琐,且耗时长。 ModelArts提供的数据管理功能,不仅提供了基础的数据标注、版本管
Connect的服务集成直接读取数据库中的数据,把读取到的数据封装为一个RESTful API,并开放给企业内或企业外的其他业务系统。其他业务系统通过调用该API,即可获取该业务系统数据库中的数据。 ROMA Connect的服务集成把数据库数据封装为RESTful API有两种实现方式:
云盘的方案如表1所示。 存储空间受限 数据上云:将OBS作为数据存储池。OBS提供海量、安全、高可靠、低成本的数据存储能力,可供用户存储任意类型和大小的数据。
轻松将CSV格式数据转换为Parquet格式数据。 方案架构 将CSV格式的数据上传到对象存储服务OBS,使用DLI将CSV数据转换为Parquet数据,并将转换后的Parquet数据存储到OBS中。 图1 方案简介
效利用磁盘的存储资源,提升数据库性能。 方案架构 方案优势 将数据重新整理并连续存储,减少磁盘的随机读写操作,提高数据库的性能。 将数据重新整理并紧凑存储,减少数据在磁盘上的占用空间,节省存储资源。
方案概述 FineBI是帆软公司推出的一款大数据分析BI工具,为业务人员和数据分析师提供了数据管理、数据编辑、数据可视化等数据探索能力。华为云DLI服务通过对数据的融合分析处理,使用Trino交互式引擎的SQL作业更加适用于交互式分析查询,为FineBi提供高效的引擎
MySQL的Binlog日志进行远程获取并解析,以便进行数据备份、数据恢复、数据同步等操作。 由于直接操作数据库获取日志,可能会带来误操作等安全风险。远程获取GaussDB for MySQL的Binlog日志可以避免直接操作数据库。获取的Binlog日志能够用于数据备份。通过获取Binlog日志,
来收集和传输海量的日志数据、传感器数据等。例如,在互联网公司中,网站的访问日志、用户行为数据等都可以通过 Kafka 进行高效的传输和存储,为后续的数据分析和挖掘提供基础。据统计,一些大型互联网公司每天产生的日志数据量可以达到数百 TB 甚至更高,而 Kafka 能够稳定地处理如此大规模的数据流量。
本教程使用视频类型的数据集,指导您如何在ModelArts中对视频类数据进行标注,标注后的数据集,经过发布即可用于模型训练。 方案架构 说明: AI Gallery搜索并下载“traffic”数据集到OBS中。 将下载的数据,
图像分割类型的数据集,以及数据如何进行标注,为后续训练做准备。 方案架构 说明: AI Gallery搜索并下载“dataset-segmentation-88”数据集到OBS中。 将下载的数据,在Model
页面,将导出的数据经由华为云备份(OBS 桶)导入,把数据 rdb 文件导入至华为云 Redis 实例 B。 数据导入完成后,对比 key 数据的一致性。 启动华为云上的业务程序,接入客户流量。 持续观测业务状态,确保业务稳定运行。 回滚方案: 中断华为云侧的客户访问请求,停止华为云的业务程序。查看
方案概述 应用场景 MongoDB 作为一种广泛应用的非关系型数据库,在实际使用中如果出现 CPU 使用率过高的情况,会带来诸多风险。首先,数据读写处理会变得异常缓慢。在当今数据驱动的时代,高效的数据读写是保证业务正常运转的关键。无论是实时的数据分析
方案优势 可以使数据库更好地适应业务的发展,提高数据库的可扩展性。 提高响应速度、降低资源消耗。 提高数据库的可扩展性,为企业和个人提供更加可靠、高效的数据存储和管理解决方案。
数据无法永久保存,只能统计创建时间为1年内的数据。 数据不能实时更新,每天自动刷新一次,最晚早上九点左右更新前一天的完整数据。 单个报表中添加组件个数上限为20个。 下载数据时,上限为1万条数据。
方案分析 发生故障前,IDC侧业务单边读写IDC上Redis1,Redis1通过在线迁移任务建立从IDC到HW的数据同步任务。 正向切换方案: 图1 正切方案 正切方案说明: 切换成华为侧业务单边读写华为上Redis2。
方案概述 基于ModuleSDK开发应用实现数据处理或自定义驱动时,分为开发和使用两个部分。 App应用的开发 利用AppClient和DriverClient进行自定义的业务处理
进行管理。 方案架构 根据已有的某货运公司车辆定时上报的详单数据和货运订单数据,DLI可以完成对该货运公司车辆行驶特点分析、记录明细的查询。 详细的数据说明请参考数据说明。 图1 方案简介
方案概述 应用场景 运营商数据体量在PB~EB级,其数据种类多,有结构化的基站信息数据,非结构化的消息通信数据,同时对数据的时效性有很高的要求,DLI服务提供批处理、流处理等多模引擎,打破数据孤岛进行统一的数据分析。本节操作以永洪BI对接DLI提交S
方案概述 Redis 迁移是将 Redis 数据从一个环境或实例转移到另一个环境或实例的过程。通常包括确定迁移需求、选择合适的迁移方法,如数据备份与恢复、使用工具进行同步等。在迁移过程中需确保数据的完整性和一致性,同时尽量减少对业务的影响,以实现高效、稳定的数据转移。
方案设计 图1 方案设计 操作流程如下: 实时数据导入:通过数据接入服务(DIS)将数据中心的告警数据实时导入到数据湖探索(DLI)。 数据清洗和预处理:DLI对告警数据进行数据清洗和预处理。 发送告警消息:当告警级别超过指定值时向用户发送短信。