检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设置为“IoTDBServer进程使用的直接内存大小”的两倍(可根据实际业务场景进行修改)。 IoTDBServer进程使用的直接内存大小可以通过“定制 > 内存 > IoTDBServer直接内存资源状况”获取。若“GC_OPTS”中没有参数“-XX:MaxDirectMemorySize”,则需进行手动添加。
> 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络读信息 > 读吞吐率”,查看该告警阈值是否不合理(默认80%为合理值,用户可以根据自己的实际需求调节)。 是,执行2。 否,执行4。 根据实际服务的使用情况在“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机
或者Task节点最多支持添加10块磁盘,有如下应用场景: 数据存储和计算分离,数据存储在OBS中,集群存储成本低,存储量不受限制,并且集群可以随时删除,但计算性能取决于OBS访问性能,相对HDFS有所下降,建议在数据计算不频繁场景下使用。 数据存储和计算不分离,数据存储在HDFS
TBLPROPERTIES("orc.compress"="ZSTD_JNI", 'orc.global.compress.level'='3'); 用户可以对特定的数据格式列指定压缩,对业务数据进一步压缩。当前识别的特定格式数据包括:JSON数据列、BASE64数据列、时间戳数据列和UUID数据列。建表时设置表属性参数“orc
理员需要根据企业安全要求,为Storm业务用户配置独立的密码策略。 如果不为Storm业务用户配置独立的密码策略,在修改业务用户密码以后,可以删除旧的拓扑并重新提交,使拓扑继续运行。 对系统的影响 为Storm业务用户配置独立的密码策略后,此用户将不受Manager界面上的“密码策略”配置影响。
person"); // 遍历hive表中的每一个partition, 然后更新到hbase表 // 如果数据条数较少,也可以使用foreach()方法 dataFrame.toJavaRDD().foreachPartition( new V
建议“-Xms”和“-Xmx”设置成相同的值,避免JVM动态调整堆内存大小时影响性能。 当Storm集群规模越大,Worker数量越多时,可以适当调大Nimbus的GC_OPTS参数,配置建议如下:Worker数量为20个时,“-Xmx”设置为不小于1G;Worker超过100个
UI”后的链接,进入HSConsole界面。 在“计算实例”页签,单击对应计算实例所属的租户名的“配置”,查看该计算实例的资源配置是否合理(默认资源配置为最小化配置,可以根据实际需求调节)。 是,执行8。 否,执行5。 返回计算实例列表,单击“停止实例”,根据界面提示停止计算实例。 停止计算实例会影响提交到该计算实例上的业务。
UI”后的链接,进入HSConsole界面。 在“计算实例”页签,单击对应计算实例所属的租户名的“配置”,查看该计算实例的资源配置是否合理(默认资源配置为最小化配置,可以根据实际需求调节)。 是,执行8。 否,执行5。 返回计算实例列表,单击“停止实例”,根据界面提示停止计算实例。 停止计算实例会影响提交到该计算实例上的业务。
Manager,选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络写信息 > 写吞吐率”,查看该告警阈值是否合理(默认80%为合理值,用户可以根据自己的实际需求调节)。 是,执行4。 否,执行2。 根据实际服务的使用情况在“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机
使用root用户执行iotop命令,查看磁盘读写占用率高的进程,并根据实际情况判断该进程是否为无用进程。 是,执行以下命令停止无用进程。(PID可以在执行iotop命令后,按“P”键将TID切换为PID获取) kill -9 PID 否,执行8。 等待5分钟,检查该告警是否恢复。 是,处理完毕。
阈值设置 > 待操作集群的名称 > HDFS > 磁盘 > 总副本预留磁盘空间所占比率”,查看该告警阈值设置是否合理(默认90%为合理值,用户可以根据自己的实际需求调节)。 是,执行4。 否,执行2。 根据实际服务的使用情况,在“运维 > 告警 > 阈值设置 > 待操作集群的名称 >
模式),执行以下命令进行用户认证。集群未启用Kerberos认证(普通模式)请跳过该步骤。 kinit hdfs 按提示输入密码,用户密码可以向MRS集群管理员获取,首次认证需要修改密码。 执行以下命令退出HDFS安全模式。 hdfs dfsadmin -safemode leave
UI”后的链接,进入HSConsole界面。 在“计算实例”页签,单击对应计算实例所属的租户名的“配置”,查看该计算实例的资源配置是否合理(默认资源配置为最小化配置,可以根据实际需求调节)。 是,执行8。 否,执行5。 返回计算实例列表,单击“停止实例”,根据界面提示停止计算实例。 停止计算实例会影响提交到该计算实例上的业务。
parts_to_do中的值是否在变小。 是,等待mutation任务完成即可。 否,执行5。 如果parts_to_do的值一直没有变,可以结束mutation任务,执行以下语句后,再次执行3的语句,查看当前mutation任务是否在返回结果列表中。 KILL MUTATION
Orders WHERE id = 10 WITH语句 WITH子句提供了一种用于更大查询而编写辅助语句的方法。这些语句通常被称为公用表表达式,表达式可以理解为仅针对某个查询而存在的临时视图。 该语句适用于MRS 3.1.2-LTS及以上版本集群中的Flink。 语法: WITH <with_item_definition>
登录beeline客户端后,执行“set hivevar:batchid=xxxx” 使用说明: 其中“xxxx”表示每一次通过beeline提交任务的批次号,通过该批次号,可以识别出先提交的任务。如果提交任务时不带批次号,该特性功能不会启用。“xxxx”的值是执行任务时指定的,如下所示,“xxxx”值为“012345678901”:
存大小”的变化趋势,根据当前堆内存使用的大小,调整“-Xmx”的值为当前堆内存使用量的两倍(或根据实际情况进行调整)。 注意堆内存设置时,可以设置“-Xms” “-Xmx”近似相等,从而避免每次GC后调整堆的大小,从而引起性能下降。 同时,并且“-Xmx”与“XX:MaxPerm
stop()和不添加的区别 合理规划AM资源占比 任务数量较多且每个任务占用的资源较少时,可能会出现集群资源足够,提交的任务成功但是无法启动,此时可以提高AM的最大资源占比。 图2 修改AM最大资源百分比 父主题: Spark应用开发规范
beeline set hivevar:batchid=xxx 其中“xxxx”表示每一次通过beeline提交任务的批次号,通过该批次号,可以识别出先提交的任务。如果提交任务时不带批次号,该特性功能不会启用。“xxxx”的值是执行任务时指定的,如下所示,“xxxx”值为“012345678901”: