正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Impala样例程序开发思路 场景说明 假定用户开发一个Impala数据分析应用,用于管理企业雇员信息,如表1、表2所示。 开发思路 数据准备。 创建三张表,雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“empl
Spark Core性能调优 Spark Core数据序列化 Spark Core内存调优 设置Spark Core并行度 配置Spark Core广播变量 配置Spark Executor堆内存参数 使用External Shuffle Service提升Spark Core性能
为什么非static的KafkaPartitioner类对象去构造FlinkKafkaProducer010,运行时会报错? 为什么新创建的Flink用户提交任务失败,报ZooKeeper文件目录权限不足? 为什么Flink Web页面无法直接连接? 父主题: Flink开发指南
配置MapReduce应用安全认证 场景说明 在安全集群环境下,各个组件之间的相互通信不能够简单的互通,而需要在通信之前进行相互认证,以确保通信的安全性。 用户在提交MapReduce应用程序时,需要与Yarn、HDFS等之间进行通信。那么提交MapReduce的应用程序中需要写入安全认证代码,确保MapReduce程序能够正常运行。
与之相连的Channel,可以配置多个。用空格隔开。 在单个代理流程中,是通过channel连接sources和sinks。一个source实例对应多个channels,但一个sink实例只能对应一个channel。 格式如下: <Agent >.sources.<Source>.channels = <channel1>
回滚补丁 回滚补丁前检查 回滚补丁 回滚补丁后操作 父主题: MRS 3.2.0-LTS.1.9补丁说明
MRS 3.2.0-LTS.1.8补丁说明 安装补丁前必读 安装补丁流程 安装补丁前准备 安装补丁 补丁安装后操作 回滚补丁 补丁基本信息 父主题: MRS集群补丁说明
MRS_3.3.1-LTS.1.1补丁说明 安装补丁前必读 安装补丁流程 安装补丁前准备 安装补丁 补丁安装后操作 回滚补丁 补丁基本信息说明 父主题: MRS集群补丁说明
MRS_3.3.1-LTS.1.2补丁说明 安装补丁前必读 安装补丁流程 安装补丁前准备 安装补丁 补丁安装后操作 回滚补丁 补丁基本信息说明 父主题: MRS集群补丁说明
CarbonData故障排除 当在Filter中使用Big Double类型数值时,过滤结果与Hive不一致 executor内存不足导致查询性能下降 为什么数据查询/加载失败,且发生“org.apache.carbondata.core.memory.MemoryException:
列表引擎的场景下。 ZooKeeper默认部署在MRS集群的Master节点,根据节点CPU和内存规格,调整ZooKeeper实例的最大可用内存。 登录MRS集群的FusionInsight Manager界面,单击“集群 > 服务 > ZooKeeper > 配置 > 全部配置
原因分析 用户使用 useradd 命令来创建用户,此用户默认用户组不包含“ficommmon”用户组,导致在使用hdfs的get命令的时候出现上述报错。 处理步骤 使用命令usermod -a -G ficommon username 为用户添加用户组“ficommon”。
回滚补丁 回滚补丁前检查 回滚补丁 卸载补丁后操作 父主题: MRS 3.1.0 运维通道补丁说明
Hive样例程序开发思路 场景说明 假定用户开发一个Hive数据分析应用,用于管理企业雇员信息,如表1、表2所示。 开发思路 数据准备。 创建三张表,雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“employees_info_extended”。
执行Jar包。 使用客户端安装用户登录客户端所在节点,切换到客户端目录: cd 客户端安装目录 执行以下命令加载环境变量: source bigdata_env 启用多实例功能后,为其他HBase服务实例进行应用程序开发时还需执行以下命令,切换指定服务实例的客户端。 例如HBase2:source
Kafka样例程序(Java) 功能介绍 在Flink应用中,调用flink-connector-kafka模块的接口,生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka,则需要引入FusionInsight的kafka-clients-*.jar,该jar包可在Kafka的客户端目录下获取。
Kafka样例程序(Scala) 功能介绍 在Flink应用中,调用flink-connector-kafka模块的接口,生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka,则需要引入FusionInsight的kafka-clients-*.jar,该jar包可在kafka客户端目录下获取。
conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:sparkuser,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。
Impala样例程序开发思路 场景说明 假定用户开发一个Impala数据分析应用,用于管理企业雇员信息,如表1、表2所示。 开发思路 数据准备。 创建三张表,雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“empl
conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:sparkuser,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。