检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据开发概述 数据开发是一个一站式的大数据协同开发平台,提供全托管的大数据调度能力。它可管理多种大数据服务,极大降低用户使用大数据的门槛,帮助您快速构建大数据处理中心。 数据开发模块曾被称为数据湖工厂(Data Lake Factory,后简称DLF)服务,因此在本文中,“数据湖
如何获取平台接入地址? 请进入IoTDA的控制台界面,在左侧菜单栏单击“IoTDA实例”,选择您的实例并单击实例卡片进入。 图1 实例管理-切换实例 在左侧导航栏单击总览,单击“接入信息”,找到您的平台接入地址。 图2 总览-获取接入信息 父主题: 方案咨询
接入MRS Kafka数据源 概述 ROMA Connect支持把MRS Kafka作为一个数据源,并用于数据集成任务。在使用MRS Kafka数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。
平台介绍 一站式开发平台,包括训练云、调试云和应用云(即好望商城),帮助开发者进行算法开发和调试,加快算法上线。 训练云:即ModelArts平台,提供全自动和半自动的算法训练和模型开发。 调试云:包含模型转换、打包和调试,供开发者进行算法APP基本功能验证。 应用云:即好望商城,算法APP上线发布和交易平台。
新建数据标准 数据标准是用于描述公司层面需共同遵守的数据含义和业务规则,它描述了公司层面对某个数据的共同理解,这些理解一旦确定下来,就应作为企业层面的标准在企业内被共同遵守。 数据标准,也称数据元,由一组属性规定其定义、标识、表示和允许值的数据单元,是不可再分的最小数据单元。您可
数据源 数据源连接测试失败排查操作 MRS Hive数据源测试连接失败 FTP数据源测试连接失败 OBS数据源测试连接失败 Kafka数据源连接失败
MRS集群元数据概述 MRS的数据连接用于管理集群中组件使用的外部源连接,如Hive的元数据可以通过数据连接关联使用外部的关系型数据库。 本地元数据:元数据存储于集群内的本地GaussDB中,当集群删除时元数据同时被删除,如需保存元数据,需提前前往数据库手动保存元数据。 外置数据
大数据ETL处理 运营商大数据分析 运营商数据体量在PB~EB级,其数据种类多,有结构化的基站信息数据,非结构化的消息通信数据,同时对数据的时效性有很高的要求,DLI服务提供批处理、流处理等多模引擎,打破数据孤岛进行统一的数据分析。 优势 大数据ETL:具备TB~EB级运营商数据治理能力,能
数据集如何切分 在发布数据集时,仅“图像分类”、“物体检测”、“文本分类”和“声音分类”类型数据集支持进行数据切分功能。 一般默认不启用该功能。启用后,需设置对应的训练验证比例。 输入“训练集比例”,数值只能是0~1区间内的数。设置好“训练集比例”后,“验证集比例”自动填充。“训练集比例”加“验证集比例”等于1。
获取云平台数据 接口名称 WEB_CallCloudHall(后续废弃) 功能描述 获取云平台数据 应用场景 获取云平台数据 URL https://ip/action.cgi?ActionID=WEB_CallCloudHall 参数 无 返回值 表1 获取云平台数据返回值 参数
平台云云对接 华为云物联网平台支持和中国电信AEP平台对接,对接成功后,您可以在华为物联网平台管理您的资源。 平台对接前资源空间需完成设备数据迁移。若未完成,请参考设备发放-策略进行数据迁移。 该功能在北京四、上海一标准版支持,企业版如需要请提交工单联系。 操作步骤 访问设备接入
自助分析平台 自助分析平台简介 基于华为云商店产品,帆软FineReport和FineBI,华为和帆软共同为本项目开发了自助分析平台。 FineReport,企业级web报表工具,支持通过简单拖拽操作便可制作中国式复杂报表,轻松实现报表的多样展示、交互分析、数据录入等需求。借助于
EsMDM主数据管理平台 安装环境 产品WAR包单机部署 产品WAR包集群部署 初始化服务器 系统诊断 疑难问题处理方案及数据库权限分配 父主题: 实施步骤
睿治数据治理平台 安装环境 安装程序及依赖驱动清单 产品典型部署架构图 产品WAR包单机部署 产品WAR包集群部署 实时处理服务部署 边缘采集节点部署 初始化服务器 系统诊断 疑难问题处理方案及数据库权限分配 父主题: 实施步骤
部署数据治理平台 Weblogic 12c中部署 Weblogic管理控制台访问地址:http://服务器IP:7001/console。在IE浏览器里键入该地址,进入Weblogic控制台登录页面,输入用户名和密码进行登录。 图1 登录界面 登录成功后,就出现Weblogic的控制台管理界面,如下:
配置数据转发规则 概述 规则引擎可以订阅设备Topic,获取设备上报的数据,然后将解析过的数据发送到其他云服务供其使用。例如,用户可制定规则,命令设备每小时上报一次设备温度,如果设备温度超出正常范围,则关闭该设备,给用户发送告警信息;LINK将收集到的数据传输到大数据分析平台,评估其他设备发生故障的风险。
数据治理框架 数据治理框架制定如下: 图1 数据治理框架 父主题: 数据治理框架
导入数据至盘古平台 数据集是一组用于处理和分析的相关数据样本。存储在OBS服务中的数据或本地数据导入ModelArts Studio大模型开发平台后,将以数据集的形式进行统一管理。 用户将数据导入至平台后,这些数据会生成一个“原始数据集”,用于对导入的数据进行集中管理和进一步操作。
华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作,请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作,请参见使用存算分离集群。 父主题: 对接大数据平台
数据集管理 查询数据集列表 创建数据集 查询数据集详情 更新数据集 删除数据集 父主题: 数据管理