检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何查看System.out.println打印的调试信息或将调试信息输出至指定文件 问题 Flink业务代码中添加了System.out.println调试信息打印，该如何查看此调试日志？避免与运行日志混在一起打印，如何将业务日志单独输出至指定文件？ 回答 Flink所有的运行
如何查看MRS集群各组件配置文件路径？ 常用组件配置文件路径如下所示： 组件 配置文件目录 ClickHouse 客户端安装路径/ClickHouse/clickhouse/config Flink 客户端安装路径/Flink/flink/conf Flume Flume客户端安
sh命令，查看集群中的HDFS版本号。 根据版本号确认开源组件的端口号，查询开源组件的端口号可参考开源组件端口列表，获取对应版本的HDFS端口号。 执行netstat -anp|grep ${port}命令，查看组件的默认端口号是否存在。 如果不存在，说明用户修改了默认的端口号。请修改为默认端口，再重新连接HDFS。
如何查看System.out.println打印的调试信息或将调试信息输出至指定文件 问题 Flink业务代码中添加了System.out.println调试信息打印，该如何查看此调试日志？避免与运行日志混在一起打印，如何将业务日志单独输出至指定文件？ 回答 Flink所有的运行
如何查看System.out.println打印的调试信息或将调试信息输出至指定文件 问题 Flink业务代码中添加了System.out.println调试信息打印，该如何查看此调试日志？避免与运行日志混在一起打印，如何将业务日志单独输出至指定文件？ 回答 Flink所有的运行
ALM-12064 主机随机端口范围配置与集群使用端口冲突 告警解释 系统每一个小时检查一次主机随机端口配置范围是否与集群使用端口范围冲突，如果有冲突，则发送此告警。待客户重新修改该主机的随机端口范围配置到正常范围，该告警会自动清除。 告警属性 告警ID 告警级别 是否自动清除 12064
map 否 无 数据处理规则 将字段值输出到文件。 样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下： aaa,product bbb,Bigdata 配置“文件输出”算子，分隔符为“,”，将A和B输出到文件中： 输出后的结果如下： aaa,product bbb
如何上传本地文件到集群内节点？ 登录MapReduce服务管理控制台。 选择“现有集群”，单击集群名，进入集群基本信息页面。 在“节点管理”页签单击任一节点名称，登录到弹性云服务器管理控制台。 参见申请弹性公网IP为集群的节点绑定一个弹性IP地址。 参考上传文件到云服务器方式概览，将本地文件上传到集群节点。
如果仅有“默认端口”列，表示组件的开源端口与定制端口默认值一致。 如果集群不为LTS版本类型，则没有“组件端口”参数，默认使用开源端口，请参考“开源默认端口”列或“默认端口”列。 HBase常用端口 表中涉及端口的协议类型均为：TCP。 配置参数 开源默认端口 定制默认端口 端口说明 hbase
DBService进程没有停止成功，使用的端口未释放。 解决办法 该解决办法以20051端口被占用为例，20050端口被占用的解决办法与该办法类似。 以root用户登录DBService安装报错的节点主机，执行命令：netstat -nap | grep 20051查看占用20051端口的进程。 使用ki
小文件优化 操作场景 Spark SQL表中，经常会存在很多小文件（大小远小于HDFS的块大小），每个小文件默认对应Spark中的一个Partition，即一个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响系统性能。
如何获取MRS集群ZooKeeper的IP地址和端口？ ZooKeeper的IP地址和端口可以通过MRS控制台或登录Manager界面获取。 方法一：通过MRS控制台获取 在MRS集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 选择“组件管理 >
文件错误导致上传文件到HDFS失败 问题背景与现象 用hadoop dfs -put把本地文件拷贝到HDFS上，有报错。 上传部分文件后，报错失败，从NameNode原生页面看，临时文件大小不再变化。 原因分析 查看NameNode日志“/var/log/Bigdata/hdfs
cal_port_range |cut -f 1命令，获得开始端口值，执行cat /proc/sys/net/ipv4/ip_local_port_range |cut -f 2命令，获得结束端口值，相减得到临时端口总数，若临时端口总数小于28232，说明操作系统随机端口范围太小，需要联系操作系统管理员扩大端口范围。
RPC端口，则需要重新格式化Zkfc服务来更新zookeeper上的节点信息。 处理步骤 登录Manager，停止HDFS服务。 在停止HDFS时，建议不要停止相关服务。 停止成功后，登录到被修改了RPC端口的Master节点。 如果两个Master节点都被修改了RPC端口，则只需登录其中一个修改即可。
小文件优化 操作场景 Spark SQL表中，经常会存在很多小文件（大小远小于HDFS的块大小），每个小文件默认对应Spark中的一个Partition，即一个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响系统性能。
如何配置HBase文件存储 使用条件 集群版本小于MRS 3.x。 使用场景 HBase文件存储模块（HBase FileStream，简称HFS）是HBase的独立模块，它作为对HBase与HDFS接口的封装，应用在MRS的上层应用，为上层应用提供文件的存储、读取、删除等功能。
-i:21302（MRS1.7.X及以后端口号是16020）查看到pid，然后根据pid查看到相应的进程，发现RegionServer的端口被DFSZkFailoverController占用。 查看“/proc/sys/net/ipv4/ip_local_port_range”显示为“9000
Kerberos认证服务的端口有哪些？ 问： Kerberos认证服务的端口有哪些？ 答： Kerberos认证服务的常用端口有21730（TCP）、21731（TCP/UDP）、21732（TCP/UDP）。 父主题： 用户认证及权限类
如何在导入Hive表时指定输出的文件压缩格式？ 问题现象 如何在导入Hive表时指定输出的文件压缩格式？ 处理步骤 当前Hive支持以下几种压缩格式： org.apache.hadoop.io.compress.BZip2Codec org.apache.hadoop.io.compress
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
