检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该章节通过指导用户配置集群绑定EIP,并配置Spark文件的方法,方便用户可以在本地对样例文件进行编译。 本章节以运行SparkScalaExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合(注意如果主机名中出现大写字母要改成小写)。
该章节通过指导用户配置集群绑定EIP,并配置HDFS文件的方法,方便用户可以在本地对样例文件进行编译。 本章节以运行HdfsExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合(注意如果主机名中出现大写字母要改成小写)。
ALM-45653 Flink HA证书文件失效 本章节适用于MRS 3.3.0及以后版本。 告警解释 Flink首次或者每天01:00:00开始健康检查时,检查当前系统中的HA证书文件是否失效(证书是否存在,证书格式是否正确),如果证书文件失效,产生该告警。证书文件恢复,告警恢复。 告警属性
设置为true,Spark将开启定期残余文件清理特性 false spark.clean.residual.tmp.dir.init.delay 文件清理的初始延迟时间,单位min 5 spark.clean.residual.tmp.dir.period.delay 文件清理的间隔时间,单位min
d3dc 从引用文件可以看出,‘3b3ae24c65fc5094bc2acfebaa7a56de’Region是‘ b7b3faab86527b88a92f2a248a54d3dc’的子Region,子Region引用了父Region的文件,父Region的文件在迁移过程中因为未
path”属性和“workflowAppUri”属性的值保持一致。 执行流程文件 命令: oozie job -oozie https://oozie server hostname:port/oozie -config job.properties文件所在路径 -run 参数列表: 表2 参数列表 参数
cal_port_range |cut -f 1命令,获得开始端口值,执行cat /proc/sys/net/ipv4/ip_local_port_range |cut -f 2命令,获得结束端口值,相减得到临时端口总数,若临时端口总数小于28232,说明操作系统随机端口范围太小,需要联系操作系统管理员扩大端口范围。
//失效时间 导入证书文件。 导入新的CA证书文件。 请参考更换MRS集群CA证书章节,申请或生成新的CA证书文件并导入。手动清除该告警信息,查看系统在定时检查时是否会再次产生此告警。 是,执行7。 否,处理完毕。 导入新的HA证书文件。 请参考更换MRS集群HA证书章
步骤三:创建OBS文件系统 登录OBS控制台。 选择“并行文件系统 > 创建并行文件系统”。 填写文件系统名称,例如“mrs-demo01”。 其他参数请根据需要填写。 单击“立即创建”。 在OBS控制台并行文件系统列表中,单击文件系统名称进入详情页面。 在左侧导航栏选择“文件”,新建program、input文件夹。
该章节通过指导用户配置集群绑定EIP,并配置HBase文件的方法,方便用户可以在本地对样例文件进行编译。 本章节以运行hbase-example中的样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合(注意如果主机名中出现大写字母要改成小写)。
可能原因 HDFS文件数超过阈值。 处理步骤 检查系统中是否有不需要的文件。 在集群节点使用客户端,执行hdfs dfs -ls 文件或目录路径命令,检查该目录下的文件或目录是否是可以删除的无用文件。 是,执行1.b。 否,执行2.a。 执行hdfs dfs -rm -r 文件或目录路径
clickhouse client --host 上报告警的ClickHouseServer实例IP --port 9440 --secure 集群未启用Kerberos认证(普通模式): clickhouse client --host 上报告警的ClickHouseServer实例IP
访问开启Kerberos认证模式Kafka集群端口默认为21007,访问没有开启Kerberos认证模式集群端口默认为21005。 旧API仅支持访问9092端口;新API兼容访问没有开启Kerberos模式集群端口9092和开启Kerberos认证模式集群端口21007。 父主题: Kafka接口介绍
原因分析 MapReduce任务提交前对输入文件数的检查策略:在提交的MapReduce任务中,允许的最大输入文件数和HiveServer最大堆内存的比值,例如500000/4(默认值),表示每4GB堆内存最大允许500000个输入文件。在输入的文件数超出此限制时则会发生此错误。 解决办法
可以直接复制样例目录中“map-reduce”文件夹内的内容到“dataLoad”文件夹,然后进行编辑。 目录中 “oozie-client-*”涉及的版本号以实际版本号为准。 编写流程任务属性文件(job.properties)。 请参见job.properties。 编写Workflow任务文件“workflow
ALM-12015 设备分区文件系统只读(2.x及以前版本) 告警解释 系统周期性进行扫描,如果检测到挂载服务目录的设备分区变为只读模式(如设备有坏扇区、文件系统存在故障等原因),则触发此告警。 系统如果检测到挂载服务目录的设备分区的只读模式消失(比如文件系统修复为读写模式、设备拔
TEXTFILE类型文件使用ARC4压缩时查询结果乱码 问题现象 Hive查询结果表做压缩存储(ARC4),对结果表做select * 查询时返回结果为乱码。 可能原因 Hive默认压缩格式不是ARC4格式或者未开启输出压缩。 解决方案 在select结果乱码时,在beeline中进行如下设置。
HDFS文件读写时报错“Failed to place enough replicas” 问题背景与现象 当用户在HDFS上执行写操作时,出现“Failed to place enough replicas:expected…”信息。 原因分析 DataNode的数据接收器不可用。
WebHCat/etc/”目录下面,且该文件内容为空。 登录到Master1节点,将“/opt/Bigdata/*/*_WebHCat/etc/mapred-default.xml”文件拷贝到Master2节点,并修改文件的属组为“omm:wheel”。 登录Manager,重启
问: MRS节点访问OBS报错408,怎么办? 答: MRS节点访问OBS报错408时,用户需要更换OBS域名。 修改OBS域名为myhuaweicloud.com后缀的域名即可。 父主题: 作业管理类