检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当前集群未启用Kerberos认证,则无需执行此命令。 kinit 组件业务用户 执行以下命令,创建Kafka的Topic。详细的命令使用可以参考创建Kafka Topic。 kafka-topics.sh --topic topic1 --create --zookeeper
-h命令,查看输出内容是否包含“磁盘名”字段的值,用户密码为安装前用户自定义,请咨询系统管理员。 是,执行7。 否,执行6。 执行lsblk命令,是否可以查到“磁盘名”字段值与磁盘设备的映射关系。 是,执行7。 否,执行22。 以root用户登录上报告警的节点,执行lsscsi | grep
"userName", ""); // 建表 // 表建完之后,如果要往表中导数据,可以使用LOAD语句将数据导入表中,比如从HDFS上将数据导入表: //load data inpath '/tmp/employees
具体请参考申请并绑定弹性公网IP。 为MRS集群开放安全组规则。在集群Master节点和Core节点的安全组添加安全组规则使弹性云服务器可以访问集群,具体请参考配置安全组规则。 修改导入样例的“krb5.conf”中"kdc"、"admin_server"和“kpasswd_s
from person") // 遍历hive表中的每一个partition, 然后更新到hbase表 // 如果数据条数较少,也可以使用foreach()方法 dataFrame.rdd.foreachPartition(x => hBaseWriter(x))
from person") // 遍历hive表中的每一个partition, 然后更新到hbase表 // 如果数据条数较少,也可以使用foreach()方法 dataFrame.rdd.foreachPartition(x => hBaseWriter(x))
和SPARK_DRIVER_MEMORY两个参数取值,具体以提交的Spark作业的复杂度和内存需要为参考(一般调大)。 如果对核数有要求,可以搜索并修改spark.driver.cores和spark.executor.cores的核数取值。 Spark依赖内存做计算,如果以上还
> 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络写信息 > 写包错误率”,查看该告警阈值是否合理(默认0.5%为合理值,用户可以根据自己的实际需求调节)。 是,执行4。 否,执行2。 根据实际服务的使用情况在“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机
中“-Xmx”的值按照0.5倍速率调大。如果该告警频繁发生,“GC_OPTS”中“-Xmx”的值按照1倍速率调大。 多业务量、高并发的情况可以考虑扩容实例。 选择“概览 > 重启服务”,重启IoTDB服务使配置生效。 在IoTDB服务重启期间,读写请求任务会中断。 等待120s左右,观察界面告警是否清除。
uselocalFileCollect 是否将结果数据保存在本地磁盘中而不是内存里面。 优点:结果数据小数据量情况下和原生内存的方式相比性能损失可以忽略,大数据情况下(亿级数据)性能远比使用HDFS,以及原生内存方式好。 缺点:需要调优。大数据情况下建议JDBCServer drive
aggregate | true | (2 rows) --如果匹配字符串中有字符与通配符冲突,可以指定转义字符来标识,示例为查询default这个schema下,table_name前缀为"t_" 的所有table,转义字符为"\": SHOW
-- name=xxx&age=25 编码函数 url_encode(value) → varchar 描述:对value进行转义处理,以便可以安全地将其包含在URL查询参数名和值中: 字母字符不会被编码。 字符 ., -, * 和 _不会被编码。 ASCII空格字符会被编码为+ 。
configs)中设置该参数。 flush_proportion IoTDBServer 0.4 调用刷盘的写内存比例,如果写入负载过高(如批处理=1000),可以降低该值。 replica_affinity_policy IoTDBServer random 当“read_consistency_l
使用Java调用REST API,请按照以下步骤。(可参见样例代码中RestExample部分代码)。 进行kerberos认证(未开启Kerberos认证集群可以跳过此步骤) 创建一个org.apache.hadoop.hbase.rest.client.Cluster类的集群对象,通过调用集群类的add方法和REST
person"); // 遍历hive表中的每一个partition, 然后更新到hbase表 // 如果数据条数较少,也可以使用foreach()方法 dataFrame.toJavaRDD().foreachPartition( new V
NameNode负荷过高。 处理步骤 查看DataNode是否故障。 在集群节点使用客户端,执行hdfs dfsadmin -report命令,可以查看Dead datanodes项对应的数量显示以及处于故障状态的DataNode信息。 是,执行1.b。 否,执行2.a。 在MRS集群详情页面,单击“组件管理
相邻2条数据的时间间隔,超过该时间间隔,OVER注册超期触发器,单位毫秒。 -1:不开启该功能。 0:每条数据都会注册超期触发器,但会加大对作业的压力,根据作业的具体情况可以适当调大over.window.interval间隔。 正数:相邻2条数据的时间间隔,超过该时间间隔,OVER注册超期触发器。 over.window
person"); // 遍历hive表中的每一个partition, 然后更新到hbase表 // 如果数据条数较少,也可以使用foreach()方法 final String zkQuorum = args[0]; dataFrame.toJavaRDD()
SPARK_DRIVER_MEMORY”参数调整为默认值的1.5倍;若参数值调整后,仍偶现告警,可按0.5倍速率调大。若告警次数比较频繁,可以按1倍速率调大。 重启所有的IndexServer2x实例。 重启实例期间实例不可用,当前实例节点的任务会执行失败。 等待10分钟,观察界面告警是否清除。
UI”后的链接,进入HSConsole界面。 在“计算实例”页签,单击对应计算实例所属的租户名的“配置”,查看该计算实例的资源配置是否合理(默认资源配置为最小化配置,可以根据实际需求调节)。 是,执行8。 否,执行5。 返回计算实例列表,单击“停止实例”,根据界面提示停止计算实例。 停止计算实例会影响提交到该计算实例上的业务。