检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
服务参数配置如果使用旧的存储目录,需要更新为新目录。 前提条件 在各个数据节点准备并安装好新磁盘,并格式化磁盘。 已安装好Kafka客户端。 更改Broker单个实例的存储目录时,保持活动的Broker实例数必须大于创建主题时指定的备份数。 操作步骤 更改Kafka角色的存储目录
worker增加并行split任务执行数,保证RegionServer worker能并行处理split work(RegionServer需要有更多的核心)。在“客户端安装路径/HBase/hbase/conf/hbase-site.xml”中添加参数: “hbase.regionserver.wal.max
该配置仅用于MySQL专用连接器,当数据列内容中包含默认分隔符时,需要设置自定义分隔符,否则会出现数据错乱。 string 否 , 换行分隔符 用户根据数据实际情况,填写字符串作为换行符。支持任何字符串。默认使用操作系统的换行符。 说明: 该配置仅用于MySQL专用连接器,当数据列内容中包
该配置仅用于MySQL专用连接器,当数据列内容中包含默认分隔符时,需要设置自定义分隔符,否则会出现数据错乱。 string 否 , 换行分隔符 用户根据数据实际情况,填写字符串作为换行符。支持任何字符串。默认使用操作系统的换行符。 说明: 该配置仅用于MySQL专用连接器,当数据列内容中包
WebHCat角色的服务端账户中涉及到hostname,如果安装完集群后再修改hostname,就会导致启动失败。 “/etc/hosts”中配置了一对多或者多对一的主机名和IP对应关系,导致在执行hostname和hostname -i获取不到正确的IP和hostname。 解决办法 将修改了
NameNode和DataNode之间的网络断连或者繁忙。 NameNode负荷过高。 处理步骤 查看DataNode是否故障。 在集群节点使用客户端,执行hdfs dfsadmin -report命令,可以查看Dead datanodes项对应的数量显示以及处于故障状态的DataNode信息。
ception异常 Spark任务读取HBase报错“had a not serializable result” 本地运行Spark程序连接MRS集群的Hive、HDFS 父主题: Spark开发指南
/flume/flume-用户名-日期-pid-gc.log Flume进程的GC日志。 /flume/Flume-audit.log Flume客户端的审计日志。 /flume/startAgent.out Flume启动前的进程参数日志。 堆栈信息日志(MRS 3.2.0及以后版本) threadDump-<DATE>
普通模式:false spark.network.sasl.serverAlwaysEncrypt 是否为已经启用SASL认证的端口禁止未加密连接。 false spark.network.crypto.keyLength 要生成的加密密钥的长度,支持设置为“192”或“256”。 256
<Kafka集群IP:21007> --consumer.config config/consumer.properties Shell命令需要在目录“客户端安装目录/Kafka/kafka/bin”下执行。 凡可指定“ * ”值以代表all value,且格式为“--参数 参数值”, 例如: --group
<Kafka集群IP:21007> --consumer.config config/consumer.properties Shell命令需要在目录“客户端安装目录/Kafka/kafka/bin”下执行。 凡可指定“ * ”值以代表all value,且格式为“--参数 参数值”, 例如: --group
如果使用不属于supergroup组的用户执行删除租户操作,并且不保留租户数据,需要使用属于supergroup组的用户登录HDFS客户端,手动清理租户对应的存储空间,以免数据残留。 如果确认删除,在弹出的“删除租户”窗口中输入“DELETE ”,单击“确定”,删除租户。 保
求,您还可以变更计费模式。详细介绍请参见变更计费模式概述。 计费项 MRS集群的计费项由MRS服务管理费用和IaaS基础设施资源费用(弹性云服务器,云硬盘)组成。如需了解每种计费项的计费因子、计费公式等详细信息,请参考计费项。 如需了解实际场景下的计费样例以及各计费项在不同计费模式下的费用计算过程,请参见计费样例。
登录安装了MySQL的节点,执行以下命令,连接Doris数据库。 若集群已启用Kerberos认证(安全模式),需先执行以下命令再连接Doris数据库: export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 mysql -u数据库登录用户 -p数据库登录用户密码 -PFE查询连接端口 -hDoris
网络问题导致运行应用程序时出现异常 问题 应用程序在Windows环境下运行时,发现连接不上MRS集群,而在Linux环境下(和安装了MRS集群的机器是同一个网络)却运行正常。 回答 由于Kerberos认证需要使用UDP协议,而防火墙做了特殊处理关掉了需要使用的UDP端口,导致
存储系统构建了桥梁, 将数据从存储层移动到距离数据驱动型应用更近的位置,从而能够更容易、更快地被访问。同时使得应用程序能够通过一个公共接口连接到许多存储系统。 Alluxio主要特点如下: 提供内存级I/O 吞吐率,同时降低具有弹性扩张特性的数据驱动型应用的成本开销 简化云存储和对象存储接入
Task节点的实例规格,例如:{ECS_FLAVOR_NAME}.linux.bigdata,{ECS_FLAVOR_NAME}可以为c3.4xlare.2等在MRS购买页可见的云服务器规格。实例规格详细说明请参见MRS所使用的弹性云服务器规格和MRS所使用的裸金属服务器规格。该参数建议从M
ght_Impala_***/***_Impalad/etc/llama-site.xml 重启impalad实例。 登录到impala客户端所在的节点上,source环境变量,然后执行如下命令。 impala-shell -i {impalad实例ip:port} -Q request_pool=root
如图1所示,即“电力集团层-电厂层-设备层-传感器层”。其中ROOT为根节点,传感器层的每一个节点为叶子节点。IoTDB的语法规定,ROOT节点到叶子节点的路径以“.”连接,以此完整路径命名IoTDB中的一个时间序列。例如,图1最左侧路径对应的时间序列名称为“ROOT.ln.wf01.wt01.status”。
gc.childopts > worker.gc.childopts > topology.worker.childopts。 如果设置了客户端参数topology.worker.childopts,则该参数会与服务端参数worker.gc.childopts共同配置,但是后面的相