检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager故障可能导致MapReduce任务失败 当应用程序从lost_and_found队列移动到其他队列时,应用程序不能继续执行 如何限制存储在ZKstore中的应用程序诊断消息的大小 为什么将非ViewFS文件系统配置为ViewFS时MapReduce作业运行失败 开启Native
为什么多次运行Spark应用程序会引发致命JRE错误 IE浏览器访问Spark2x原生UI界面失败,无法显示此页或者页面显示错误 Spark2x如何访问外部集群组件 对同一目录创建多个外表,可能导致外表查询失败 访问Spark2x JobHistory中某个应用的原生页面时页面显示错误
MRS集群如何使用公网访问Presto 用户问题 用户调测Presto JDBC样例代码,需要使用公网访问Presto。 问题分析 登录MRS Manager上查看Presto全部配置,Coordinator角色配置: PRESTO_COORDINATOR_FLOAT_IP = 内网IP地址
SQL和DataFrame Spark SQL ROLLUP和CUBE使用的注意事项 Spark SQL在不同DB都可以显示临时表 如何在Spark命令中指定参数值 SparkSQL建表时的目录权限 为什么不同服务之间互相删除UDF失败 Spark SQL无法查询到Parquet类型的Hive表的新插入数据
ntpdate修改时间导致HDFS出现大量丢块 DataNode概率性出现CPU占用接近100%导致节点丢失 单NameNode长期故障时如何使用客户端手动checkpoint HDFS文件读写时报错“Failed to place enough replicas” 文件最大打开句柄数设置太小导致读写文件异常
和使用MRS 华为云大数据技术解密 华为云大数据技术私享会资料下载 华为云EI企业智能 华为云EI基于AI和大数据技术,通过云服务的方式提供开放可信的平台。 智能客服 您好!我是有问必答知识渊博的的智能问答机器人,有问题欢迎随时求助哦! 社区求助 华为云社区是华为云用户的聚集地。
client命令连接,host参数为ELB的私有IP地址。 HTTP 8123 发送http请求到ELB连接ClickHouse场景时配置。 本章节演示如何实现客户端通过ELB访问ClickHouse。具体操作分为以下几个步骤: 步骤一:购买ELB并获取其私有IP地址。 步骤二:添加ELB监听器,配置协议端口。
贝、数据恢复等内容。 Hadoop数据迁移到华为云MRS服务 本实践使用华为云CDM服务将Hadoop集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 HBase数据迁移到华为云MRS服务 本实践使用华为云CDM服务将HBase集群中的数据(支持数
MRS集群节点如何进行操作系统漏洞升级 用户问题 EulerOS系统底层存在漏洞时,MRS集群如何进行操作系统漏洞升级? 问题现象 在使用安全软件测试集群时,发现有EulerOS系统底层存在漏洞。 原因分析 MRS集群内服务部署在EulerOS系统中,因此需要进行漏洞升级。 处理步骤
配置MRS集群远程运维 当用户使用集群过程中出现问题需要华为云支持人员协助解决时,用户可先联系华为云支持人员,再通过运维授权功能授权华为云支持人员访问用户机器的权限用于定位问题,或通过“日志共享”功能提供特定时间段内的日志给华为云支持人员以便定位问题。 开启MRS集群远程运维授权 登录MRS管理控制台。
自定义购买MRS集群 本章节为您介绍如何在MRS管理控制台自定义创建一个新的MRS集群。 MRS包含了多种大数据组件,用户可基于企业大数据场景的业务场景、数据类型、可靠性要求以及资源预算等要求合理选择集群类型。 用户可以基于系统预置的集群模板快速购买一个集群,也可自行选择组件列表及高级配置特性,自定义购买集群。
版本支持公告 MRS集群版本生命周期
HDFS HDFS jar包冲突列表 Jar包名称 描述 处理方案 hadoop-plugins-*.jar HDFS可以直接使用开源同版本的hadoop包运行样例代码,但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider
MRS组件jar包版本与集群对应关系说明 MRS 3.1.5 表1 MRS 3.1.5版本集群jar版本 组件 组件版本 jar版本 Flink 1.12.2 1.12.2-hw-ei-315008 Hive 3.1.0 3.1.0-hw-ei- 315008 Tez 0.9.2
准备Flink应用开发环境 准备本地应用开发环境 准备连接集群配置文件 导入并配置Flink样例工程 准备Flink安全认证 父主题: Flink开发指南(安全模式)
开发Flink应用 Flink DataStream样例程序 Flink Kafka样例程序 Flink开启Checkpoint样例程序 Flink Job Pipeline样例程序 Flink Join样例程序 父主题: Flink开发指南(安全模式)
Flink DataStream样例程序 Flink DataStream样例程序开发思路 Flink DataStream样例程序(Java) Flink DataStream样例程序(Scala) 父主题: 开发Flink应用
Flink Join样例程序 Flink Join样例程序开发思路 Flink Join样例程序(Java) 父主题: 开发Flink应用
调测Flink应用 编译并调测Flink应用 查看Flink应用调测结果 父主题: Flink开发指南(安全模式)
HBase应用开发概述 HBase应用开发简介 HBase应用开发常用概念 HBase应用开发流程介绍 HBase应用开发样例工程介绍 父主题: HBase开发指南(安全模式)