检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实时字幕 主持人、与会者在会中可开启或关闭字幕功能,并可选择字幕翻译语言、查看字幕记录等,会议观看体验更好。 注意事项 实时字幕功能暂未开放,如需体验请发送邮件至“hcmeeting@huaweicloud.com”或联系华为销售申请开通。
实时字幕 主持人、与会者在移动端会中可开启/关闭字幕功能,并可选择字幕翻译语言、查看字幕记录,会议观看体验更好。 注意事项 实时字幕功能暂未开放,如需体验请发送邮件至“hcmeeting@huaweicloud.com”或联系华为销售申请开通。
单个区域内所有HStoreFile文件主压缩的时间间隔,单位:毫秒。由于执行Major Compaction会占用较多的系统资源,如果正在处于系统繁忙时期,会影响系统的性能。 如果业务没有较多的更新、删除、回收过期数据空间时,可以把该值设置为0,以禁止Major Compaction。
实时字幕信息推送 描述 会议中任何人都可以通过该接口首次启动会议的实时字幕。当会议处于开启实时字幕状态时,会议中任何人都可以订阅实时字幕推送消息帧。 会议结束时,会议的实时字幕才会停止。
单个区域内所有HStoreFile文件主压缩的时间间隔,单位:毫秒。由于执行Major Compaction会占用较多的系统资源,如果正在处于系统繁忙时期,会影响系统的性能。 如果业务没有较多的更新、删除、回收过期数据空间时,可以把该值设置为0,以禁止Major Compaction。
提升HBase实时读数据效率 操作场景 需要读取HBase数据场景。 前提条件 调用HBase的get或scan接口,从HBase中实时读取数据。 操作步骤 读数据服务端调优 参数入口:登录FusionInsight Manager,选择“集群 > 服务 > HBase > 配置
提升HBase实时读数据效率 操作场景 需要提升读取HBase数据性能的场景。 前提条件 调用HBase的get或scan接口,从HBase中实时读取数据。 操作步骤 读数据服务端调优 参数入口:登录FusionInsight Manager,选择“集群 > 服务 > 配置 >
实时任务接入 实时作业一般由Flink Sql或Sparkstreaming来完成,流式实时任务通常配置同步生成compaction计划,异步执行计划。 Flink SQL作业中sink端Hudi表相关配置如下: create table denza_hudi_sink ( $H
AI多模态会议纪要和实时字幕翻译怎么实现? 只有行业专款enterprise具备该功能,但同时需要配套入驻式会议系统和AI服务器实现,具体方案可咨询当地视讯SA或者产品经理获取。 父主题: AI
一键推流:以上所有选择及配置完成之后,即可进行一键推流,也就是把抖音、视频号或其它直播终端的地址配置好完成把实时的直播视频流推过去。
HDFS文件系统目录简介 HDFS是Hadoop的分布式文件系统(Hadoop Distributed File System),实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写,多次读”的特征,而数据“写”操作是顺序写,也就是在文件创建时的写入或者在
Storm基本原理 Apache Storm是一个分布式、可靠、容错的实时流式数据处理的系统。在Storm中,先要设计一个用于实时计算的图状结构,称之为拓扑(topology)。这个拓扑将会被提交给集群,由集群中的主控节点(master node)分发代码,将任务分配给工作节点(worker
的数据实时容灾功能,确保后续主集群中修改的数据能够实时同步到备集群中。 一次只能针对一个HTable进行数据同步。 enable_table_replication '表名' 如果备集群中不存在与要开启实时同步的表同名的表,则该表会自动创建。 如果备集群中存在与要开启实时同步的表同名的表,则两个表的结构必须一致。
ALM-12040 系统熵值不足(2.x及以前版本) 告警解释 每天零点系统检查熵值,每次检查都连续检查五次,首先检查是否启用并正确配置了rng-tools工具,如果没有配置,则继续检查当前熵值,如果五次均小于500,则上报故障告警。 当检查到真随机数方式已经配置或者伪随机数方式
HDFS文件系统目录简介 HDFS是Hadoop的分布式文件系统(Hadoop Distributed File System),实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写,多次读”的特征,而数据“写”操作是顺序写,也就是在文件创建时的写入或者在
se问题定位的效率。 针对不同的系统表日志可以分为实时转储和一键转储,如下表所示: 系统表转储日志 系统表 实时转储系统表日志 system.asynchronous_metrics system.clusters system.distribution_queue system
修改MRS集群系统用户密码 修改或重置MRS集群admin用户密码 修改MRS集群节点操作系统用户密码 修改MRS集群Kerberos管理员用户密码 修改MRS集群Manager用户密码 修改MRS集群LDAP普通用户密码 修改MRS集群LDAP管理账户密码 修改MRS集群组件运行用户密码
表的数据实时容灾功能,确保后续主集群中修改的数据能够实时同步到备集群中。 一次只能针对一个HTable进行数据同步。 enable_table_replication '表名' 若备集群中不存在与要开启实时同步的表同名的表,则该表会自动创建。 若备集群中存在与要开启实时同步的表同名的表,则两个表的结构必须一致。
为什么主NameNode重启后系统出现双备现象 问题 为什么主NameNode重启后系统出现双备现象? 出现该问题时,查看ZooKeeper和ZKFC的日志,发现ZooKeeper服务端与客户端(ZKFC)通信时所使用的session不一致,ZooKeeper服务端的sessio
ALM-19012 HBase系统表目录或文件丢失 告警解释 系统按120秒周期性检测HBase在HDFS上的如下目录和文件是否存在,当检测到文件或者目录不存在时,上报该告警。当文件或目录都恢复后,告警恢复。 检查内容: 命名空间hbase在HDFS上的目录。 hbase.version文件。
业务作业类型Hive SQL、Spark SQL、Spark Python等,是否需要使用MRS的第三方包,参考MRS应用开发样例。 调度系统,需要考虑调度系统对接MRS集群。 迁移后,业务割接允许中断时长,识别平台业务优先级。 识别在迁移过程中不能中断的业务、可短时中断的业务、整体业务迁移可接受的迁移时长,梳理业务迁移顺序。
RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 产生告警的Flume Agent实例无法提供正常功能,定义在该实例下的数据传输任务暂时中断,对于实时数据传输,会丢失实时数据。 可能原因 JAVA_HOME目录不存在或JAVA权限异常。 Flume
修改MRS集群节点操作系统用户密码 该任务指导用户定期修改MRS集群节点操作系统用户omm、ommdba、root的登录密码,以提升系统运维安全性。各节点操作系统用户无需设置为统一的密码。 默认集群操作系统用户密码有效期为90天,如果需要修改操作系统用户密码有效期,可以参考修改MRS操作系统用户密码有效期进行配置。
Kafka与其他组件的关系 Kafka作为一个消息发布-订阅系统,为整个大数据平台多个子系统之间数据的传递提供了高速数据流转方式。 Kafka可以实时接受来自外部的消息,并提供给在线以及离线业务进行处理。 Kafka与其他组件的具体的关系如下图所示: 图1 与其他组件关系 父主题:
修改或重置MRS集群admin用户密码 “admin”是Manager的系统管理员账号,建议用户参考修改admin用户密码定期修改密码,提高系统安全性。用户在密码丢失情况可参考重置admin用户密码进行重置。 修改该密码会导致已经下载的用户凭证不可用,请修改该密码后重新下载认证凭据并替换旧凭据。