检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
),否则,连接NettySink时会出现冲突,导致无法连接。 topic:订阅的NettySink的topic。 registerServerHandler:为注册服务器的句柄。 NettySource的并发度必须与NettySink的并发度相同,否则无法正常创建连接。 开发思路
FileStreamMasterObserver”。 如果只有小文件,确定不会有大文件的场景下,建议使用HBase的原始接口进行操作。 HFS接口需要同时对HBase和HDFS进行操作,所以客户端用户需要同时拥有这两个组件的操作权限。 直接存放在HDFS中的大文件,HFS在存储时会加入一些元数据信息,所以存储的文件不
为什么在启动spark-beeline的命令中指定“--hivevar”选项无效 问题 为什么在启动spark-beeline的命令中指定“--hivevar”选项无效? 在MRS集群启动spark-beeline的命令中如果使用了“--hivevar <VAR_NAME>=<v
为什么提交Spark Streaming应用超过token有效期,应用失败 问题 修改kerberos的票据和HDFS token过期时间为5分钟,设置“dfs.namenode.delegation.token.renew-interval”小于60秒,提交Spark Stre
MapReduce任务运行失败,ApplicationMaster出现物理内存溢出异常 问题 HBase bulkload任务有210000个map和10000个reduce,MapReduce任务运行失败,ApplicationMaster出现物理内存溢出异常。 For more
执行大数据量的shuffle过程时Executor注册shuffle service失败 问题 执行超过50T数据的shuffle过程时,出现部分Executor注册shuffle service超时然后丢失从而导致任务失败的问题。错误日志如下所示: 2016-10-19 01:33:34
LOG.error(e); } } } example.test()方法即为对文件的操作,代码如下: /** * HDFS 操作实例 * * @throws IOException * @throws ParameterException
LOG.error(e); } } } example.test()方法即为对文件的操作,代码如下: /** * HDFS 操作实例 * * @throws IOException * @throws ParameterException
方案1: 登录Manager界面,修改Hive参数。 MRS Manager界面操作:登录MRS Manager页面,选择“服务管理 > Hive > 服务配置 > 全部配置 > HiveServer > 安全”。 FusionInsight Manager界面操作:登录FusionInsight
Hive JDBC样例程序开发思路 场景说明 假定用户开发一个Hive数据分析应用,用于管理企业雇员信息,如表1、表2所示。 开发思路 数据准备。 创建三张表,雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“emp
周边云服务对接 MRS对接LakeFormation云服务 使用MRS Spark SQL访问DWS表 使用MRS Hive表对接OBS文件系统 MRS Hive对接CSS服务配置说明
MRS集群管理 MRS集群阈值类告警配置说明 提交Spark任务到新增Task节点 配置MRS集群弹性伸缩
版本支持公告 MRS集群版本生命周期
HDFS HDFS基本原理 HDFS HA方案介绍 HDFS与其他组件的关系 HDFS开源增强特性 父主题: 组件介绍
Spark Spark基本原理 Spark HA方案介绍 Spark与其他组件的关系 Spark开源增强特性 父主题: 组件介绍
Hive Hive基本原理 Hive CBO原理介绍 Hive与其他组件的关系 Hive开源增强特性 父主题: 组件介绍
Hue Hue基本原理 Hue与其他组件的关系 Hue开源增强特性 父主题: 组件介绍
Kafka Kafka基本原理 Kafka与其他组件的关系 Kafka开源增强特性 父主题: 组件介绍
Flume Flume基本原理 Flume与其他组件的关系 Flume开源增强特性 父主题: 组件介绍
YARN YARN基本原理 YARN HA方案介绍 Yarn与其他组件的关系 YARN开源增强特性 父主题: 组件介绍