检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
报class not found异常。 进入Spark客户端目录,调用bin/spark-submit脚本运行代码,运行命令分别如下(类名与文件名等请与实际代码保持一致,此处仅为示例): 运行Java或Scala样例代码: bin/spark-submit --master yarn
su - root cp /tmp/MRS_Flume_Client.tar /opt 在“/opt”目录执行以下命令,解压压缩包获取校验文件与客户端配置包。 tar -xvf MRS_Flume_Client.tar 执行以下命令,校验文件包。 sha256sum -c MRS_Flume_ClientConfig
单击角色实例名称后的日志文件,可在线查看该实例对应日志文件内容。 告警和事件的历史记录 告警和事件的历史记录区显示了当前主机上报的关键告警与事件记录,系统最多可显示20条历史记录。 图表 主机详情页面的右侧展示图表区,包含该主机的各个关键监控指标报表。 用户可以单击右上角的“ >
该拦截器基于Java正则表达式提供简单的基于字符串的搜索和替换功能。与Java Matcher.replaceAll() 的规则相同。 Regex Filtering Interceptor 该拦截器通过将Event的Body体解释为文本文件,与配置的正则表达式进行匹配来选择性的过滤Event。提供的正则表达式可用于排除或包含事件。
/var/log/Bigdata/omm oms:“omm”服务端的复杂事件处理日志、告警服务日志、HA日志、认证与授权管理日志和监控服务运行日志。 oma:“omm”代理端的安装运行日志。 core:“omm”代理端与“HA”进程失去响应的dump日志。 /var/log/Bigdata/spark2x Spark2x日志。
如果使用Linux环境调测程序,需准备安装集群客户端的Linux节点并获取相关配置文件。 在节点中安装客户端,例如客户端安装目录为“/opt/client”。 客户端机器的时间与集群的时间要保持一致,时间差小于5分钟。 集群的Master节点或者Core节点使用客户端可参考集群内节点使用MRS客户端,MRS集群外客户
IAM用户权限策略及同步MRS后权限对比请参考表1,Manager对应默认权限说明请参考MRS集群默认权限信息说明。 表1 IAM权限策略与MRS权限同步映射 策略类别 IAM策略 同步后用户在MRS对应默认权限 是否有权限执行同步操作 是否有权限提交作业 细粒度 MRS ReadOnlyAccess
IDEA工程中com.huawei.storm.example.kafka.NewKafkaTopology.java。 本章节只适用于MRS产品Storm与Kafka组件间的访问。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认Storm和Kafka组件已经安装,并正常运行。
用户”,在用户名为developuser的操作列选择“更多 > 下载认证凭据”下载认证凭据文件,保存后解压得到该用户的“user.keytab”文件与“krb5.conf”文件。 准备运行环境配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群
产生告警的角色名称。 主机名 产生告警的主机名。 用户名 产生告警的用户名。 对系统的影响 当同一个用户连接数太多时,产生告警的用户将无法与Broker建立新的连接。 可能原因 客户端使用同一个用户建立的连接个数超过设定阈值。 用户连接数使用率阈值设置不符合业务需求。 处理步骤
如果使用Linux环境调测程序,需准备安装集群客户端的Linux节点并获取相关配置文件。 在节点中安装客户端,例如客户端安装目录为“/opt/client”。 客户端机器的时间与集群的时间要保持一致,时间差小于5分钟。 集群的Master节点或者Core节点使用客户端可参考集群内节点使用MRS客户端,MRS集群外客户
MRS标签更新会同步到集群中的云服务器(ECS)或云硬盘(EVS)标签上,但是在ECS或EVS控制台上修改MRS集群的标签不会同步到集群上,为了使所有ECS/ECS标签与MRS标签保持一致,不建议在云服务器(ECS)或云硬盘(EVS)控制台上修改MRS集群标签。 系统支持添加多个标签,最多可添加20个标签,当
“周期备份”表示按周期自动执行备份,“手动备份”表示由手工执行备份。 表1 周期备份参数 参数名称 描述 开始时间 任务第一次启动的时间。 周期 任务下次启动,与上一次运行的时间间隔,支持按“小时”或按“天”。 备份策略 选择数据周期备份策略。 首次全量备份,后续增量备份 每次都全量备份 每n次进行一次全量备份
直接重启耗时约5分钟。 滚动重启 滚动重启不影响业务。 滚动重启耗时约10分钟。 HDFS 直接重启 重启期间无法进行HDFS读写,影响上层组件与作业。 直接重启耗时约10分钟。 滚动重启 滚动重启不影响业务。 滚动重启10节点耗时约40分钟。 HBase 直接重启 重启期间无法进行HBase数据读写。
直接重启耗时约5分钟。 滚动重启 滚动重启不影响业务。 滚动重启耗时约10分钟。 HDFS 直接重启 重启期间无法进行HDFS读写,影响上层组件与作业。 直接重启耗时约10分钟。 滚动重启 滚动重启不影响业务。 滚动重启10节点耗时约40分钟。 HBase 直接重启 重启期间无法进行HBase数据读写。
是,执行9。 否,执行13。 检查网络是否故障,无法访问ldap服务器。 用root用户登录故障节点,在这个节点上使用ping命令检查该节点与LdapServer节点的网络是否畅通。 是,执行6。 否,请联系网络管理员,解决网络故障。 检查Name Service服务是否异常。 用
checkpoint=s1,0:0,1:0 // 任务启动时,该source的恢复点(从0分区的0 offset,1分区的0 offset开始恢复) // 指定与source1表进行join的hudi表,如果该hudi表已经同步到hive,则不需要该配置,直接在sql中通过表名来使用 hoodie.deltastreamer
blockmanagement.AvailableSpaceBlockPlacementPolicy host2tags 配置DataNode主机与标签的对应关系。 主机名称支持配置IP扩展表达式(如192.168.1.[1-128]或者192.168.[2-3].[1-128],且IP必须为业务IP),或者为前后加上
blockmanagement.AvailableSpaceBlockPlacementPolicy host2tags 配置DataNode主机与标签的对应关系。 主机名称支持配置IP扩展表达式(如192.168.1.[1-128]或者192.168.[2-3].[1-128],且IP必须为业务IP),或者为前后加上
查询对应版本元数据 功能介绍 查询对应版本元数据。如果参数里指定集群id,则可查询集群更新过补丁之后的最新元数据。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/metadata/versions/{version_name} 表1 路径参数