检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2.x及之前版本)。 重新安装客户端前建议先对老客户端进行备份。 若您根据业务场景修改过客户端配置,请重装客户端后再次修改客户端配置。 父主题: MRS集群补丁说明
问IP范围,禁止使用0.0.0.0/0,否则会有安全风险。”如图4所示。 图4 添加安全组规则 默认填充的是用户访问公网的IP地址,用户可根据需要修改IP地址段,如需开放多个IP段为可信范围,请重复执行步骤6-步骤9。如需对安全组规则进行查看,修改和删除操作,请单击“管理安全组规则”。
检查ClickHouse实例metrika.xml配置是否正常 登录FusionInsight Manager,选择“集群 > 服务 > ClickHouse > 实例”,根据告警信息找到状态异常的ClickHouse实例。 是,执行2。 否,执行9。 登录ClickHouse服务异常的实例主机节点,并通过pin
数,即对ResourceManager的内存不做限制。GC_OPTS参数中“-XX:MaxDirectMemorySize”默认不配置。 根据如下步骤重启ResourceManager实例。 重启备ResourceManager实例,服务业务不受影响。 倒换ResourceMan
reduces”。 map个数取决于使用了哪种InputFormat,以及待处理的数据文件是否可分割。默认的TextFileInputFormat将根据block的个数来分配map数(一个block一个map)。通过如下配置参数进行调整。 参数入口: 进入Yarn服务参数“全部配置”界面,
配置”,选择“全部配置”。 在左侧导航栏选择“NodeManager > 自定义”,找到yarn-site.xml文件。 添加表1和表2中的参数为自定义参数。 根据配置文件与参数作用,在“yarn-site.xml”所在行“名称”列输入参数名,在“值”列输入此参数的参数值。 单击“+”增加自定义参数。
等。 IoTDBServer(DataNode):存储角色,负责数据存储、查询和写入等功能。 图2 IoTDB分布式架构 IoTDB原理 根据属性层级、属性涵盖范围以及数据之间的从属关系,可将IoTDB数据模型表示为如图3所示的属性层级组织结构,即“电力集团层-电厂层-设备层-传
主备集群必须已配置跨集群拷贝,请参见启用MRS集群间拷贝功能。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要,规划备份的类型、周期和策略等规格,并检查主备管理节点“数据存放路径/LocalBackup/”是否有充足的空间。 如果数据要备份
privacy会对传输内容进行加密,包括用户Token等敏感信息,以确保传输信息的安全,但是该方式对性能影响很大,对比另外两种方式,会带来约60%的读写性能下降。请根据企业安全要求修改配置,且客户端与服务端中该配置项需使用相同设置。 安全模式:privacy 普通模式:authentication HDFS
Driver负责任务的调度,和Executor、AM之间的消息通信。当任务数变多,任务平行度增大时,Driver内存都需要相应增大。 您可以根据实际任务数量的多少,为Driver设置一个合适的内存。 将“spark-defaults.conf”中的“spark.driver.memory”配置项或者“spark-env
“开始时间”和“结束时间”分别为告警产生时间的前后10分钟。打开日志文件查找“Result=FAIL”关键字筛选执行错误语句的日志信息,再根据日志信息中的“UserName”查看执行错误语句的用户。 输入正确的HiveQL语句,观察命令是否正确执行。 是,执行4.e。 否,执行2
SQL中进行Join操作时,可以按照以下步骤进行优化。为了方便说明,设表A和表B,且A、B表都有个名为name的列。对A、B表进行join操作。 估计表的大小。 根据每次加载数据的大小,来估计表大小。 也可以在Hive的数据库存储路径下直接查看表的大小。首先在Spark的配置文件“hive-site.x
Service启动的线程数为80,80个线程共享进程里的Direct buffer Memory,这种场景下每个线程分配到的内存将不足2MB)。 因此建议根据集群中的NodeManager节点的CPU核数适当调整Direct buffer Memory,例如在CPU核数为40时,将Direct buffer
hdfs:”以及自定义Jar包信息。 如果未检测到自定义Jar包,将输出“No extra Share Lib jar file(s) found on hdfs.”。 根据检查结果进行异常处理。 如果5的检测结果中包括缺失或已损坏的Jar包信息,需执行以下步骤进行处理: Spark Share Lib: 上传
> 配置”,单击“全部配置”,选择“JDBCServer2x > 性能”,“SPARK_DRIVER_MEMORY”参数的默认值为4G,可根据如下原则进行调整:若偶现告警,可以按0.5倍速率调大。若告警次数比较频繁,可以按1倍速率调大。多业务量、高并发的情况可以考虑增加实例。 重启所有的JDBCServer2x实例。
clean compile命令进行编译。 图4 “mvn clean compile”命令编译 编译完成,打印“Build Success”,生成target目录。 图5 编译完成 运行程序。 右键“JDBCExample.java”文件,选择“Run 'JDBCExample.main()
clean compile命令进行编译。 图4 “mvn clean compile”命令编译 编译完成,打印“Build Success”,生成target目录。 图5 编译完成 运行程序。 右键“JDBCExample.java”文件,选择“Run 'JDBCExample.main()
清除之前运行生成的目标文件和可执行文件,运行如下命令。 make clean 执行结果如下。 [root@10-120-85-2 hdfs-c-example]# make clean rm -f hdfs_test.o rm -f hdfs_test 编译生成新的目标和可执行文件,运行如下命令。
OLOGY_NAME, config, builder.createTopology()); } 安全模式下需要执行安全准备,根据实际情况修改userKeyTablePath和userPrincipal为导入并配置Storm样例工程章节的步骤2中所获取用户的keytab文件名称和principal。
上报告警的ClickHouseServer实例IP --user 用户名 --password --port 9000 执行如下SQL语句,根据data_path的值获取对应的分片,例如data_path为“/srv/Bigdata/clickhouse/data1.../shar