检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可能原因 磁盘老化。 处理步骤 更换磁盘。 在FusionInsight Manager界面,选择“运维 > 告警 > 告警”。 查看该告警的详细信息,查看定位信息中对应的“主机名”字段和“磁盘名”字段的值,获取该告警上报的故障磁盘信息。 更换硬盘。 检查告警是否清除。 是,操作结束。
admin.TopicCommand.main(TopicCommand.scala) (kafka.admin.TopicCommand$) 通过Manager参看Kafka服务是否处于正常状态,当前可用Broker是否小于设置的replication-factor。 检查客户端命令
选择“false”,表示关闭压缩。 true 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 数据导出
选择“false”,表示关闭压缩。 true 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 创建Loader数据导出作业
ght Manager(MRS 3.x及之后版本)。然后选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 实例”。 查看ZooKeeper角色实例的IP地址。 记录ZooKeeper角色实例其中任意一个的IP地址即可。 根据业务情况,准备好客户端,登录安装客户端的节点。
当需要触发某个窗口时,计算该窗口包含的所有pane,并取出合并成一个完整的窗口计算。 图4 窗口触发计算示例 当某个pane不再需要时,将其从内存中删除。 图5 窗口删除示例 通过优化,可以大幅度降低数据在内存以及快照中的数量。 父主题: Flink
修改参数值后,需重启YARN服务使其生效。 说明: 在修改值为“false”并生效后,生效前的日志无法在WebUI中获取。 如果需要在WebUI界面上查看之前产生的日志,建议将此参数设置为“true”。 true yarn.nodemanager.log-aggregation.roll-m
操作步骤 Spark程序运行时,在shuffle和RDD Cache等过程中,会有大量的数据需要序列化,默认使用JavaSerializer,通过配置让KryoSerializer作为数据序列化器来提升序列化性能。 在开发应用程序时,添加如下代码来使用KryoSerializer作为数据序列化器。
执行show functions操作后的结果 回答 问题根因: 上述两个问题是由于多主实例模式或者多租户模式下,使用spark-beeline通过add jar的方式创建function,此function在各个JDBCServer实例之间是不可见的。执行drop function时
操作步骤 Spark程序运行时,在shuffle和RDD Cache等过程中,会有大量的数据需要序列化,默认使用JavaSerializer,通过配置让KryoSerializer作为数据序列化器来提升序列化性能。 在开发应用程序时,添加如下代码来使用KryoSerializer作为数据序列化器。
的最新offset,则该任务会运行失败。 如果任务失败过多,则会将executor加入黑名单,从而导致后续的任务无法部署运行。此时用户可以通过配置“spark.blacklist.enabled”参数关闭黑名单功能,黑名单功能默认为开启。 如果Kafka上topic的offset变小后,Spark
建表属性中指定hoodie.merge-engine=aggregate开启hudi表的聚合引擎功能。开启聚合引擎后,每个非主键字段都可以被赋予一个聚合函数,通过字段的fields.<field-name>.aggregate-function表属性来指定。例如,考虑以下表定义。 create table
JDBCExample为举例,具体以实际样例代码为准。 执行run.sh脚本,运行Jar包。 sh /opt/client/IoTDB/iotdb/run.sh 查看调测结果 运行结果会有如下成功信息: 图3 运行结果 父主题: 调测IoTDB应用
/src/main/resources com.huawei.bigdata.iotdb.KafkaConsumerMultThread 查看调测结果 运行结果会有如下成功信息: 父主题: 调测IoTDB应用
l.sh 登录ClickHouse客户端节点,连接服务端,具体请参考ClickHouse客户端使用实践。 执行如下命令,查询插入数据的本地表对应的分布式表,查看结果是否符合预期: select count(1) from testdb1.testtb1_all; 父主题: ClickHouse数据导入
可以勾选“同时重启上层服务。”一次性重启所有影响组件,期间将导致影响服务不可用,谨慎使用。 单击“确定”,等待服务重启成功。 选择“集群 > 主备集群容灾”,查看当前集群是否配置了主备容灾。 是,执行7。 否,操作结束。 主集群与容灾集群内ZooKeeper服务的“ssl.enabled”配置需保持
“确定”。 单击“操作”列的“修改”,根据实际使用情况,更改告警阈值,单击“确定”。 使用omm用户登录告警的FE节点后台,执行"top"查看进程使用内存情况,找到占用较高的内存的进程,检查是否是本服务的进程,是否合理。 是,执行3 否,对此进程进行隔离、关闭或调整内存大小,并观察机器内存是否被释放出。
和事中熔断,并不强制改变用户的SQL提交方式、SQL语法,对业务零改动且易落地。 支持管理员界面化配置SQL防御策略,同时可支持防御规则的查询和修改。 每个SQL引擎在进行SQL业务响应、执行过程中,基于SQL防御策略进行主动防御行为。 管理员可将SQL防御行为在“提示”、“拦截
服务 > Oozie > 实例”,即可获取任一oozie实例的IP地址;单击“配置”,在搜索框中搜索“OOZIE_HTTPS_PORT”,即可查看使用的端口号。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\oozie-examples”目录下的样例工程文
/src/main/resources com.huawei.bigdata.iotdb.KafkaConsumerMultThread 查看调测结果 运行结果会有如下成功信息: 父主题: 调测IoTDB应用