检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部配置”并在左侧导航树上选择“KerberosServer > 端口”,查看“kdc_ports”的值,默认值为“21732”。 单击“域”,查看“default_realm”的值。 在其中一个集群的MRS Manager,修改配置参数“peer_realms”。 表2 相关参数
请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 NameNode blacklisting的相关参数 参数 描述 默认值 dfs.client.failover.proxy.provider.[nameservice ID] 利用已通过的协议创建namenode代理的Client
BLED true ClickHouse安全模式开关,普通模式集群时该参数填写为false。 user 无默认值 表1中已准备好的开发用户。 password 无默认值 开发用户对应的密码。 密码明文存储存在安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全 说明:
ALM-24005 Flume传输数据异常 告警解释 告警模块对Flume Channel的容量状态进行监控,当Channel满的时长超过阈值,或Source向Channel放数据失败的次数超过阈值后,系统即时上报告警。 默认阈值为10,用户可通过conf目录下的配置文件properties
Policy Label 为当前策略指定一个标签,您可以根据这些标签搜索报告和筛选策略。 job 配置当前策略适用的job名,可以填写多个值。这里支持通配符,例如:test、test*、*。 “Include”策略适用于当前输入的对象,“Exclude”表示策略适用于除去当前输入内容之外的其他对象。
请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 NameNode blacklisting的相关参数 参数 描述 默认值 dfs.client.failover.proxy.provider.[nameservice ID] 利用已通过的协议创建namenode代理的Client
Flume角色服务端所需修改的参数列表 参数名称 参数值填写规则 参数样例 名称 不能为空,必须唯一。 test filegroups 文件分组列表名,此参数不能为空。该值包含如下两项参数: 名称:文件分组列表名。 filegroups:动态日志文件绝对路径。 - positionFile 保存当前采集文件信息
通过客户端提交作业时会在客户端log文件夹中生成相应日志文件,由于系统默认umask值是0022,所以日志默认权限为644;如果需要修改文件权限,需要修改umask值;例如修改omm用户umask值: 在“/home/omm/.baskrc”文件末尾添加“umask 0026”; 执行命令source
HetuEngine样例表数据准备 创建具有TINYINT类型数据的表: --创建具有TINYINT类型数据的表。 CREATE TABLE int_type_t1 (IT_COL1 TINYINT) ; --插入TINYINT类型数据 insert into
ALM-12006 节点故障 告警解释 Controller按30秒周期检测NodeAgent心跳。当Controller未接收到某一个NodeAgent的心跳,则尝试重启该NodeAgent进程,如果连续三次重启失败,产生该告警。 当Controller可以正常接收时,告警恢复。
table120160221.txt 根据file.filter的值,选择过滤规则。 精确匹配某一个文件,请执行8。 模糊匹配一系列文件,请执行9。 将job.properties文件中“file.filter”的值修改为“false”。 执行以下命令,运行作业,任务结束。 cd
table120160221.txt 根据file.filter的值,选择过滤规则。 精确匹配某一个文件,请执行8。 模糊匹配一系列文件,请执行9。 将job.properties文件中“file.filter”的值修改为“false”。 执行以下命令,运行作业,任务结束。 cd
该参数仅对同时满足“采用并发滚动策略”和“实例为数据节点”两个条件时才有效。 当启用机架策略时,该参数将失效,集群以机架策略默认配置的最大实例数(默认值为20)作为一个机架内分批并发重启的最大实例数。 该参数仅在滚动重启HDFS、HBase、Yarn、Kafka、Storm、Flume等部分组件时可设置,具体以实际界面显示为准。
确保集群安装完成,包括HDFS、Yarn、Spark2x和Kafka。 将Kafka的Broker配置参数“allow.everyone.if.no.acl.found”的值修改为“true”。 启动Kafka的Producer,向Kafka发送数据。 {ClassPath}表示工程jar包的存放路径,详细路径由
该指定目录需要与之前“job.properties”中定义的“oozie.coord.application.path”属性和“workflowAppUri”属性的值保持一致。 执行流程文件 命令: oozie job -oozie https://oozie server hostname:port/oozie
lickHouse的“HADOOP_RPC_PROTECTION”配置项与HDFS的“hadoop.rpc.protection”配置项的值保持一致。 恢复ClickHouse元数据 在FusionInsight Manager,选择 “运维 > 备份恢复 > 备份管理”。 在任务列表指定任务的“操作”列,选择“更多
File Channel:基于WAL(预写式日志Write-Ahead Logging)的持久化实现。 JDBC Channel:基于嵌入Database的持久化实现。 Channel支持事务,可提供较弱的顺序保证,可以和任何数量的Source和Sink工作。 Sink Sink负责将
Ldap为用户认证提供数据存储。 集群中的Ldap作为OMS Ldap的备份,其服务名称为LdapServer,角色实例为SlapdServer。 Database Manager的数据库,负责存储日志、告警等信息。 HA 高可用性管理模块,主备OMS通过HA进行主备管理。 NTP Server
Manager选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 磁盘 > 磁盘使用率”中查看该告警阈值是否不合理(默认90%为合理值,用户可以根据自己的实际需求调节)。 是,执行2。 否,执行4。 根据实际服务的使用情况在“运维 > 告警 > 阈值设置 > 待操作集群的名称
Open”,弹出“浏览文件夹”对话框。 选择样例工程文件夹,单击“OK”。 修改样例工程中的如下参数,请参考表1。 表1 文件参数修改列表 文件名 参数名 值 取值样例 \src\main\resources\job.properties userName 提交作业的用户 developuser