检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 若运行“Spark on HBase”样例程序,需要在Spark客户端的“spark-defaults
指定可以存储在znode中的数据的最大长度。单位是Byte。默认值为0xfffff,即低于1MB。 说明: 如果更改此选项,则必须在所有服务器和客户端上设置该系统属性,否则将出现问题。 0xfffff 父主题: ZooKeeper常见问题
盘间数据不均衡会引起HDFS整体并发读写性能的下降或者因为不恰当的HDFS写策略导致业务故障。此时需要平衡节点磁盘间的数据密度,防止异构的小磁盘成为该节点的性能瓶颈。 本章节适用于MRS 3.x及后续版本。 配置描述 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。
大时,建议按分区分别执行,以降低失败重试的代价。 因为备份恢复操作,操作的都是实际的数据文件。所以当一个表的分片过多,或者一个分片有过多的小版本时,可能即使总数据量很小,依然需要恢复很长时间。 当通过SHOW BACKUP或者SHOW RESTORE命令查看作业状态时,有可能会在
table XXX”,若存在,说明存在不合理请求,请检查对应请求,减小每次请求的数据量(Put/Delete调小批次请求数据量,Scan调小Caching值);如果业务侧业务暂时无法优化,可以在应用侧的“客户端安装目录/HBase/hbase/conf/hbase-site.xm
重启相关组件 补丁卸载完成后,需要手动重启相关大数据组件服务,使补丁生效。 提供两种重启方式,请根据业务自行选择重启方式: 滚动重启:影响小,耗时长。 离线重启:会断服,耗时短。 登录MRS控制台或FusionInsight Manager界面。 重启相关组件。 在MRS控制台,
大时,建议按分区分别执行,以降低失败重试的代价。 因为备份恢复操作,操作的都是实际的数据文件,所以当一个表的分片过多,或者一个分片有过多的小版本时,可能即使总数据量很小,依然需要备份很长时间。 当通过SHOW BACKUP或者SHOW RESTORE命令查看作业状态时,有可能会在
重启相关组件 补丁卸载完成后,需要手动重启相关大数据组件服务,使补丁生效。 提供两种重启方式,请根据业务自行选择重启方式: 滚动重启:影响小,耗时长。 离线重启:会断服,耗时短。 登录MRS控制台或FusionInsight Manager界面。 重启相关组件。 在MRS控制台,
_Services_Client.tar”。本章节仅以集群ID为1进行介绍,请以实际集群ID为准。 以客户端安装用户登录将要安装客户端的服务器。 进入安装包所在目录,执行如下命令解压软件包。 cd /tmp/FusionInsight-Client tar -xvf Fusion
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 若运行“Spark on HBase”样例程序,需要在Spark客户端的“spark-defaults
r规格任务。 节点规格升级过程需要时间,升级成功后集群状态更新为“运行中”,请您耐心等待。 升级过程中集群会自动关闭升级的虚拟机,升级完成后自动开启该虚拟机 。 因用户对组件使用需求不同,节点规格升级成功后不会自动更新组件内存配置,用户可根据实际使用情况自行调整各组件内存配置。
_Services_Client.tar”。本章节仅以集群ID为1进行介绍,请以实际集群ID为准。 以客户端安装用户登录将要安装客户端的服务器。 进入安装包所在目录,执行如下命令解压软件包。 cd /tmp/FusionInsight-Client tar -xvf Fusion
_Services_Client.tar”。本章节仅以集群ID为1进行介绍,请以实际集群ID为准。 以客户端安装用户登录将要安装客户端的服务器。 进入安装包所在目录,执行如下命令解压软件包。 cd /tmp/FusionInsight-Client tar -xvf Fusion
NameNode和DataNode之间的通信都是建立在TCP/IP的基础之上的。NameNode、DataNode、ZKFC和JournalNode能部署在运行Linux的服务器上。 图1 HA HDFS结构 图1中各模块的功能说明如表1所示。 表1 模块说明 名称 描述 NameNode 用于管理文件系统的命名空
生产者(Producer)将消息发布到Kafka主题(Topic)上,消费者(Consumer)订阅这些主题并消费这些消息。在Kafka集群上一个服务器称为一个Broker。对于每一个主题,Kafka集群保留一个用于缩放、并行化和容错性的分区(Partition)。每个分区是一个有序、不可
nProvider, simpleJdbcMapper).withTableName("GOAL").withQueryTimeoutSecs(30); WordSpout wordSpout = new WordSpout();TopologyBuilder builder
盘间数据不均衡会引起HDFS整体并发读写性能的下降或者因为不恰当的HDFS写策略导致业务故障。此时需要平衡节点磁盘间的数据密度,防止异构的小磁盘成为该节点的性能瓶颈。 本章节适用于MRS 3.x及后续版本。 配置描述 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。
“UDF名称”最多可添加10项,“名称”可自定义,“类名”需与上传的UDF jar文件中UDF函数全限定类名一一对应。 上传UDF jar文件后,服务器默认保留5分钟,5分钟内单击确定则完成UDF创建,超时后单击确定则创建UDF失败并弹出错误提示:本地UDF文件路径有误。 在UDF列表中,
本地盘不支持扩容。 系统盘不支持扩容。 仅支持集群节点创建时默认挂载的数据盘完整扩容云硬盘(EVS)容量、磁盘分区和文件系统。 云硬盘所挂载的云服务器状态必须为“运行中”、云硬盘状态必须为“正在使用中”或“可用”才支持扩容。 数据盘扩容(一键扩容) 当集群版本为MRS 3.1.0(须安装3
序化的实现对沙箱的控制。高危操作,UDF拥有该权限后可以修改/关闭服务的SecurityManager。 exitVM:允许代码关闭整个虚拟机。 getClassLoader:允许代码访问类加载器以获得某个特定的类。 setContextClassLoader:允许代码为某线程设置上下文类加载器。