检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择“mysql-fastpath-connector”。 须知: 使用mysql-fastpath-connector时,要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令,并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容,如果没有
选择“mysql-fastpath-connector”。 须知: 使用mysql-fastpath-connector时,要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令,并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容,如果没有
nodemanager.resource.percentage-physical-cpu-limit”配置过小,导致可使用的核不足1个时,例如4核节点,将此参数设置为20%,不足1个核,那么将会使用系统全部的核。Linux的一些版本不支持Quota模式,例如Cent OS。在这种情况下,可以使用CPUset模式。
程里的Direct buffer Memory,这种场景下每个线程分配到的内存将不足2MB)。 因此建议根据集群中的NodeManager节点的CPU核数适当调整Direct buffer Memory,例如在CPU核数为40时,将Direct buffer Memory配置为5
编译并生成Jar包,并将Jar包复制到与依赖库文件夹同级的目录“src/main/resources”下,具体步骤请参考在Linux调测程序。 使用集群安装用户登录集群客户端节点。 cd /opt/client source bigdata_env 创建输入Topic和输出Topic,与样例代码中指定的Topic名
如果加载数据语句中有关键字LOCAL,表明从本地加载数据,除要求对相应表的UPDATE权限外,还要求该数据在当前连接的HiveServer节点上,加载用户对数据路径“PATH”具有读权限,且以omm用户能够访问该数据文件。 如果加载数据语句中有关键字OVERWRITE,表示加载的
Kafka集群? 问题现象 客户想使用Python3.x的环境对接开启Kerberos认证的Kafka的集群。 处理步骤 登录Master节点,执行如下命令,配置华为云欧拉镜像源。 wget http://mirrors.myhuaweicloud.com/repo/mirrors_source
页面。 在左侧导航栏选择“文件 > 新建文件夹”新建“testFlumeOutput”文件夹。 使用root用户登录安装Flume客户端的节点。 新建“/opt/flumeInput”目录,并在该目录下新建一个内容自定义的txt文件。 编辑“客户端安装目录/FusionInsig
告警”,查看“告警ID”为“19025”的告警的“定位信息”中上报该告警的服务名。 以客户端安装用户登录安装了HDFS和HBase客户端的节点,并执行以下命令: cd 客户端安装目录 source bigdata_env kinit 组件业务用户(若集群未启用Kerberos认证(普通模式),请跳过该操作)
如果无“磁盘IO利用率”图表,可单击右侧下拉三角,选择“定制”并勾选对应项,单击“确定”。 排查当前业务量是否处于高峰阶段。若处于高峰阶段导致该告警,建议对节点进行扩容,或者联系MRS集群管理员提升磁盘配置。 检查该告警是否恢复。 是,处理完毕。 否,执行7。 收集故障信息。 在FusionInsight
否,执行13。 收集故障信息。 在FusionInsight Manager首页,单击“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的如下节点信息。 ZooKeeper HDFS 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。
bigdata_env kinit hdfs 普通模式: su - omm cd 客户端安装目录 source bigdata_env 在节点客户端执行hdfs fsck / -delete,删除丢失文件。如果丢失块所在的文件为有用文件,需要再次写入文件,恢复数据。 删除文件为高
String driver = "org.apache.hive.jdbc.HiveDriver"; // 集群ZooKeeper节点信息 String sql = "select name,sum(stayTime) as " + "stayTime from
/opt/log2.txt --windowTime 2 表1 参数说明 参数名称 说明 <filePath> 指本地文件系统中文件路径,每个节点都需要放一份/opt/log1.txt和/opt/log2.txt并使用chmod 755 文件名命令为用户赋予读、写、执行权限,而属组用
Distributed表引擎本身不存储任何数据,而是作为数据分片的透明代理,能够自动路由数据到集群中的各个节点,分布式表需要和其他本地数据表一起协同工作。分布式表会将接收到的读写任务分发到各个本地表,而实际上数据的存储在各个节点的本地表中。 图1 Distributed Distributed表引擎的创建模板:
LABEL like "%example%"; 前提条件 已创建包含Doris服务的集群,集群内各服务运行正常。 待连接Doris数据库的节点与MRS集群网络互通。 创建具有Doris管理权限的用户。 集群已启用Kerberos认证(安全模式) 在FusionInsight Ma
密码。 前提条件 MRS集群管理员已明确业务需求,并创建好“人机”用户,例如“testpol”。 操作步骤 以“omm”用户登录集群内任意节点。 执行以下命令,防止超时退出。 TMOUT=0 执行完本章节操作后,请及时恢复超时退出时间,执行命令TMOUT=超时退出时间。例如:TM
Spark的Shuffle过程需要写本地磁盘,Shuffle是Spark性能的瓶颈,I/O是Shuffle的瓶颈。配置多个磁盘则可以并行的把数据写入磁盘。如果节点中挂载多个磁盘,则在每个磁盘配置一个Spark的localDir,这将有效分散Shuffle文件的存放,提高磁盘I/O的效率。如果只有一个
Spark的Shuffle过程需要写本地磁盘,Shuffle是Spark性能的瓶颈,I/O是Shuffle的瓶颈。配置多个磁盘则可以并行的把数据写入磁盘。如果节点中挂载多个磁盘,则在每个磁盘配置一个Spark的localDir,这将有效分散Shuffle文件的存放,提高磁盘I/O的效率。如果只有一个
编译并生成Jar包,并将Jar包复制到与依赖库文件夹同级的目录“src/main/resources”下,具体步骤请参考在Linux调测程序。 使用集群安装用户登录集群客户端节点。 cd /opt/client source bigdata_env 创建输入Topic和输出Topic,与样例代码中指定的Topic名