检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
发布数据集 企业A和大数据厂商B分别将自己的csv数据文件上传到自己的计算节点上,通过“数据管理”模块创建各自的数据集。
数据源配置
使用DLI将CSV数据转换为Parquet数据
发布数据集 企业A将自己的需要预测的csv数据文件上传到自己的计算节点上,通过“数据管理”模块创建用于预测的数据集。
步骤6:数据开发 DGCDataArts Studio数据开发模块可管理多种大数据服务,提供一站式的大数据开发环境、全托管的大数据调度能力,极大降低用户使用大数据的门槛,帮助您快速构建大数据处理中心。
步骤6:数据开发 DGCDataArts Studio数据开发模块可管理多种大数据服务,提供一站式的大数据开发环境、全托管的大数据调度能力,极大降低用户使用大数据的门槛,帮助您快速构建大数据处理中心。
发布数据集 企业B分别自己的csv数据文件上传到自己的计算节点上,通过“数据管理”模块创建各自的数据集,并点击“发布”。
租户数据迁移 当租户数据量增多,或者资源需求提升,目前资源环境不适合租户使用时,需要将租户数据从物理数据库中迁移。
发布数据集 企业A和企业B分别将自己的csv数据文件上传到自己的计算节点上,通过“数据管理”模块创建各自的数据集,并单击“发布”。
创建数据源 在IoTA Console页面左侧导航栏,选择“数据源”,在右侧选择“IoTDA实时数据源”,点击下方“添加数据源”按钮,如下图所示 在弹出对话框中输入"数据源名称", 选择“共享实例”,同时勾选“灯”产品类型,点击确定。
按条件更新数据 功能介绍 按条件更新数据,该接口为同步接口。 在此之前需要先创建对象以及待更新的数据记录。
加载示例数据 在默认数据库gaussdb中加载示例数据。您将上传的示例数据位于OBS上。 请确保您的SQL客户端已经连接至集群,然后再操作。
目前,一些比较常见的大数据处理引擎,都无一例外兼容Hive。Flink从1.9开始支持集成Hive,不过1.9版本为beta版,不推荐在生产环境中使用。在Flink1.10版本中,标志着对 Blink的整合宣告完成,对 Hive 的集成也达到了生产级别的要求。
ERP数据下发 完成IT数采配置后,IoT边缘平台将采集到的ERP数据下发到MES子系统,您可以在MES子系统平台查看数据同步结果。
创建数据管道 在IoTA Console页面左侧导航栏,选择“数据管道”,在右侧点击“创建数据管道”按钮,如下图所示 在弹出对话框中输入"作业名称",选择数据源为“IoTDA类型的数据源”,比如"test-source" 默认创建的好的管道作业如下图所示
使用模板导入数据 功能介绍 按照所使用的模板格式导入数据。使用该功能前,需要创建好可使用的数据导入模板,在模板中定义数据的映射规则,调用接口时需指定模板名称,在该模板中,需要指定对应的操作脚本。因数据导入可能耗时较长,该接口不会立即返回导入结果。
对接大数据组件 支持的大数据组件简介 Hadoop对接OBS Hive对接OBS Spark对接OBS Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS
归档数据迁移方案 本节介绍各云服务商存在归档数据时,如何解冻并迁移到华为云OBS。
数据库监控 数据库监控简介 监控项列表 集群概览 监控 工具 负荷分析 监控设置 任务详情 典型场景 父主题: 监控与告警
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题: 大数据场景下使用OBS实现存算分离