检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Beeline/JDBCServer模式下连续运行10T的TPCDS测试套会出现内存不足的现象 问题 在Driver内存配置为10G时,Beeline/JDBCServer模式下连续运行10T的TPCDS测试套,会出现因为Driver内存不足导致SQL语句执行失败的现象。 回答
在集群外节点连接开启Kerberos认证的集群,HTTP在Kerberos数据库中无法找到相应的记录 问题 presto-examples-1.0-SNAPSHOT-jar-with-dependencies.jar在集群内节点运行时正常,但在集群外节点运行PrestoJDBCE
执行Spark Core应用,尝试收集大量数据到Driver端,当Driver端内存不足时,应用挂起不退出 问题 执行Spark Core应用,尝试收集大量数据到Driver端,当Driver端内存不足时,应用挂起不退出,日志内容如下。 16/04/19 15:56:22 ERROR
Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败 问题 Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,执行应用时显示如下异常。
在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录 问题 系统长时间运行后,在客户端安装节点的/tmp目录下,发现残留了很多blockmgr-开头和spark-开头的目录。 图1 残留目录样例 回答 Spark任务在运行过程中,driver会
Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败 问题 Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,执行应用时显示如下异常。
执行Spark Core应用,尝试收集大量数据到Driver端,当Driver端内存不足时,应用挂起不退出 问题 执行Spark Core应用,尝试收集大量数据到Driver端,当Driver端内存不足时,应用挂起不退出,日志内容如下。 16/04/19 15:56:22 ERROR
Spark Streaming应用运行过程中重启Kafka,Web UI界面部分batch time对应Input Size为0 records 问题 在Spark Streaming应用执行过程中重启Kafka时,应用无法从Kafka获取topic offset,从而导致生成J
3.1.1:MRS 3.1.1版本Log4j2远程执行漏洞(CVE-2021-44228)缓解措施 MRS 3.1.0:MRS 3.1.0版本Log4j2远程执行漏洞(CVE-2021-44228)缓解措施 MRS 3.0.5:MRS 3.0.5版本Log4j2远程执行漏洞(CVE-2021-44228)缓解措施
版本说明 MRS 3.1.2-LTS.3版本说明 MRS 3.1.5版本说明 MRS 3.2.0-LTS.1版本说明 父主题: 发行版本
的jar包,一般是在Spark客户端目录/jars/streamingClient(0.8版本Kafka)和Spark客户端目录/jars/streamingClient010(0.10版本Kafka)。 问题2:参考指导文档编辑并运行程序。 问题3:使用--keytab和--p
的所有组件。 自定义 版本类型 MRS提供了LTS版与普通版两种类型的集群,不同版本提供的组件有所不同,可根据需要选择版本类型。 LTS版:集群提供更强的高可靠和容灾能力,融入了MRS服务自研组件,提供长期的支持和演进。 普通版:主要依托开源组件的能力,融入了MRS服务自研、成熟
计费因子:MRS服务管理,以核为单位计费,每个Region计费不相同。包括: MRS普通集群管理服务费:购买MRS普通版集群时使用该计费项。 MRS-LTS集群管理服务费:购买MRS LTS版集群时使用该计费项。 MRS专属集群管理服务费:专属区域购买MRS集群时使用该计费项,相关操作请参见创建专属云MRS集群。
装命令或安装包为主机安装Agent。 表1 主机防护开启操作 操作步骤 相关说明 步骤一 购买主机安全防护配额 主机安全服务有基础版、企业版、旗舰版供您选择,具体功能详情及版本差异详情请参见版本功能差异说明。 购买时,“防护主机数量”需跟MRS集群中的节点数量保持一致。 图3 防护主机数量
2023-07-28 新特性和优化 支持运维巡检 支持租户面直接对接CES 补丁兼容关系 MRS 2.1.1.1补丁包中包含MRS 2.1.1版本已发布的所有补丁内容。 安装补丁的影响 安装MRS 2.1.1.1补丁期间会重启MRS Manager。 MRS 2.1.1.1补丁安装完
安装补丁的影响 MRS 3.2.0-LTS.1版本打了补丁后,如果需要添加服务,需要先卸载补丁,然后添加服务,再次重新安装补丁。 MRS 3.2.0-LTS.1版本打了补丁后,禁止在管理面执行重装主机,重装软件的操作。 MRS 3.2.0-LTS.1版本打了补丁后,如果集群有安装IoTDB
的所有组件。 自定义 版本类型 MRS提供了LTS版与普通版两种类型的集群,不同版本提供的组件有所不同,可根据需要选择版本类型。 LTS版:集群提供更强的高可靠和容灾能力,融入了MRS服务自研组件,提供长期的支持和演进。 普通版:主要依托开源组件的能力,融入了MRS服务自研、成熟
示例:对此规则或建议从正、反两个方面给出。 适用范围 基于MRS-Hudi进行数据存储、数据加工作业的设计、开发、测试和维护。 该设计开发规范是基于MRS 3.3.0版本。 父主题: Hudi应用开发规范
e等)。 本指导中导出的Hive表元数据即存储在关系型数据库中的Hive表的描述信息。 业界主流大数据发行版均支持Sqoop的安装,如果是自建的社区版大数据集群,可下载社区版Sqoop进行安装。借助Sqoop来解耦导出的元数据与关系型数据库的强依赖,将Hive元数据导出到HDFS上,与表数据一同迁移后进行恢复。
否能正常访问。如果访问异常,请先开通本地网络。 确认当前开发工具是否开启代理。下载jar包前需要确保开发工具代理关闭。 比如以2020.2版本的IntelliJ IDEA开发工具为例,单击“File > Settings > Appearance & Behavior > System