检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为什么数据查询/加载失败,且发生“org.apache.carbondata.core.memory.MemoryException: Not enough memory”异常? 问题 为什么数据查询/加载失败,且发生“org.apache.carbondata.core.memory
精装数字化解决方案应用场景: 行业:房产、物业、中介、板式定制家具、成品家具、定制门窗、瓷砖卫浴、智能家电等行业 业务:提供基于云的工业软件解决方案。通过云计算、大数据、AI人工智能技术,打造3D云设计、3D云制造、数控系统三大产品矩阵,业务贯穿家居营销、设计、生产、制造管理、生产装备升级全流程。 客户痛点:
联的算子相同。 元数据 您可以在源表中定义元数据,以获取Kafka消息的元数据。 例如,当WITH参数中定义了多个topic时,如果在Kafka源表中定义了元数据,那么Flink读取到的数据就会被标识是从哪个topic中读取的数据。 表4 元数据 Key 数据类型 是否可读(R)写(W)
动处理join运算中的数据倾斜功能。 true spark.sql.adaptive.skewJoin.skewedPartitionFactor 此配置为一个倍数因子,用于判定分区是否为数据倾斜分区。单个分区被判定为数据倾斜分区的条件为:当一个分区的数据大小超过除此分区外其他所
登录Manager界面,进入Kafka配置页面。 MRS 3.x之前的版本:登录MRS Manager,选择“服务管理 > Kafka > 配置 > 全部配置”。 MRS 3.x及后续版本,登录FusionInsight Manager,选择“集群 > 服务 > Kafka > 配置 > 全部配置”。
概述 本章节内容适用于MRS 3.x及后续版本。 Flink从0.10.0版本开始提供了一套API可以将使用Storm API编写的业务平滑迁移到Flink平台上,只需要极少的改动即可完成。通过这项转换可以覆盖大部分的业务场景。 Flink支持两种方式的业务迁移: 完整迁移Storm业务:转换并运行完整的由Storm
下: -PARTITION BY [可选]:定义分区列。该子句为可选子句。如果未定义,则使用并行度1。 -ORDER BY [可选]:定义数据流中事件的顺序。ORDER BY子句为可选子句,如果忽略则使用非确定性排序。由于事件顺序在模式匹配中很重要,因此大多数情况下应指定该子句。
资源优化 PERF05-03 WEB场景资源优化 PERF05-04 大数据场景资源优化 父主题: PERF05 性能优化
元模型信息。 元数据管理:元数据管理主要用于组织、存储、维护和利用描述数据的数据(即元数据)。 图19 元数据管理 在元数据管理页面,可以编辑维护库、表、字段元数据信息。 图20 编辑元数据 在元数据管理页面,单击“编辑”,可以编辑元数据信息。 元数据分析:元数据分析的主要目的是
节点数据血缘 数据血缘方案简介 配置数据血缘 查看数据血缘 父主题: 节点参考
单申请扩大配额。 集群配额:UCS支持接入的集群数量上限,华为云集群、本地集群、附着集群、多云集群和伙伴云集群的数量均占用该配额值。 舰队配额:用户拥有的舰队数量上限。 权限配额:用户可以在“权限管理”页面创建的权限数量上限。 集群联邦配额:用户可以开通的集群联邦数量上限。不可申请扩大配额。
获取集群备份任务详情列表 功能介绍 获取集群备份任务详情列表 调用方法 请参见如何调用API。 URI GET /autopilot/v3.1/projects/{project_id}/clusters/{cluster_id}/operation/snapshot/tasks
设备侧获取平台的设备影子数据 功能介绍 用于设备向平台获取设备影子数据。用户可以通过应用服务器或物联网控制台配置设备影子预期数据,设备上线时订阅该topic,可以获取到平台设备影子数据,以此来同步设备属性期望值,从而完成设备属性值的修改。 简单交互逻辑介绍如下: ① 应用调用“配
CCE集群升级时,升级集群插件失败如何排查解决? 概述 本文主要介绍在CCE在升级集群时,如何查找插件升级失败的原因,并解决问题。 操作步骤 插件升级失败后,请优先进行重试。若重试不成功,则根据后续步骤排查问题。 在升级界面显示失败后,请退出集群升级页面,前往“插件中心”界面查看
等。 集群生命周期 表1 集群状态说明 状态 说明 创建中 集群正在创建,正在申请云资源 运行中 集群正常运行 休眠中 集群正在休眠中 唤醒中 集群正在唤醒中 升级中 集群正在升级中 变更中 集群正处于规格变更中 不可用 当前集群不可用 删除中 集群正在删除中 图1 集群状态流转
续费包年/包月集群 客户购买包周期集群后,支持续费包周期资源。 操作步骤 本节以计费模式为“包年/包月”的集群为例,介绍如何为购买的集群续费。 包周期的集群超期未续费将会被系统删除,删除后集群内的节点以及运行的业务都将销毁,请务必及时续费或开通自动续费。 登录CCE控制台,在左侧导航栏中选择“集群管理”。
导出所有数据库 导出所有数据库 导出全局对象 父主题: 使用gs_dump和gs_dumpall命令导出元数据
DSC通过内置和自定义脱敏算法,实现对RDS、ES、MRS、Hive数据进行脱敏,一般情况下,脱敏时长如表2所示。 表2 脱敏时长 数据源 数据量 脱敏时长 RDS(关系型数据库) 1000W行 40分钟 Elasticsearch实例 1000Wdoc 40分钟 MRS_HIVE 1000W行 40分钟
通过JDBC访问Spark SQL样例程序开发思路 场景说明 用户自定义JDBCServer的客户端,使用JDBC连接来进行表的创建、数据加载、查询和删除。 数据规划 将数据文件上传至HDFS中。 确保以多主实例模式启动了JDBCServer服务,并至少有一个实例可连接客户端。在Linux系统
修改数据集(旧) 申请修改数据集 查看数据集修改申请 审批数据集修改申请 父主题: 管理数据集