检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件输出 概述 “文件输出”算子，用于配置已生成的字段通过分隔符连接并输出到文件。 输入与输出 输入：需要输出的字段 输出：文件 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出分隔符 配置分隔符。 string 是 无 换行符 用户根据数据实际情况，填写字
Storm开发指南（普通模式） Storm应用开发概述 准备Storm应用开发环境 开发Storm应用 调测Strom应用 Storm应用开发常见问题
Impala开发指南（普通模式） Impala应用开发概述 准备Impala应用开发环境 开发Impala应用 调测Impala应用 Impala应用开发常见问题 Impala开发规范
YARN开发指南（普通模式） YARN应用开发简介 YARN接口介绍
String 参数解释： 服务器ID。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 server_name String 参数解释： 服务器名称。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 server_type String 参数解释： 服务器类型。ECS或者BMS。
创建弹性伸缩策略 功能介绍 创建弹性伸缩策略。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/autoscaling-policy/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
Spark2x开发指南（普通模式） Spark应用开发简介 Spark应用开发流程介绍 准备Spark应用开发环境 开发Spark应用 调测Spark应用 Spark应用开发常见问题
引入jar包不正确导致Spark任务无法运行 问题现象 执行Spark任务，任务无法运行。 原因分析 执行Spark任务时，引入的jar包不正确，导致Spark任务运行失败。 处理步骤 登录任意Master节点。 执行cd /opt/Bigdata/MRS_*/install/F
文件最大打开句柄数设置太小导致读写文件异常 问题背景与现象 文件最大打开句柄数设置太小，导致文件句柄不足。写文件到HDFS很慢，或者写文件失败。 原因分析 DataNode日志“/var/log/Bigdata/hdfs/dn/hadoop-omm-datanode-XXX.log”，存在异常提示java
执行balance失败报错“Source and target differ in block-size” 问题背景与现象 执行distcp跨集群拷贝文件时，出现部分文件拷贝失败“ Source and target differ in block-size. Use -pb to
提交Storm拓扑失败，提示Failed to check principle for keytab 问题背景与现象 使用MRS流式安全集群，主要安装ZooKeeper、Storm、Kafka等。 定义拓扑访问HDFS、HBase等组件，使用客户端命令，提交Topology失败。
apache.hadoop.io.compress.GzipCodec 如需要全局设置，即对所有表都进行压缩，可以在Manager页面对Hive的服务配置参数进行如下全局配置： hive.exec.compress.output设置为true mapreduce.output.fileoutputformat
使用IE浏览器在Hue中执行HQL失败 问题背景与现象 使用IE浏览器在Hue中访问Hive Editor并执行所有HQL失败，界面提示“There was an error with your query.”。 原因分析 IE浏览器存在功能问题，不支持在307重定向中处理含有form
000个输入文件。在输入的文件数超出此限制时则会发生此错误。 解决办法 进入Hive服务配置页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Hive > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 如果集群详情页面没有“组件管理”
登录MRS管理控制台。 在集群详情页面，选择“节点管理”。 单击待更换磁盘的“节点名称”进入弹性云服务器管理控制台，单击“关机”。 联系华为云支持人员在后台更换磁盘。 在弹性云服务器管理控制台，单击“开机”，将已更换磁盘的节点开机。 初始化Linux数据盘。 具体步骤可参见初始化数据盘对新磁盘进行初始化操作。
放磁盘空间，该方式需要重启Kafka服务才能生效，可能会影响业务运行。具体请参见7。 可以单独将topic的数据保留期改为较短时间来释放磁盘空间，该方式无需重启Kafka服务即可生效。具体请参见8。 登录Manager页面，在Kafka的服务配置页面，切换为“全部配置”并搜索“log
sleep状态，最终导致虚拟机发生重启。 查看占用的内存进程，发现占用内存都是正常的业务进程。 结论：虚拟机内存不能满足服务需求。 处理步骤 建议扩大节点内存。 建议关闭不需要的服务。 父主题： 集群管理类
面。 在集群详情页，选择“组件管理 > 添加服务”。 在服务列表中，勾选需要添加的服务，单击“下一步”。 添加服务时，该服务依赖的下层服务也会自动勾选，可以同时添加多个服务。 只能在状态正常的节点或节点组上添加服务。 Hadoop服务内的组件（MapReduce、Yarn和HDFS）不支持单独添加。
根据业务调整对应SQL防御规则的参数。 配置Spark SQL防御前提条件 已安装包含Spark服务的集群客户端，安装目录如“/opt/hadoopclient”。 Spark服务运行状态正常。 在租户资源中添加租户，例如创建租户sparkstatic1，具体请参见添加MRS租户章节。
Manager界面重启组件：选择“集群 > 服务 > 待操作的服务名称”，单击右上角的“更多”，选择“重启服务”或“滚动重启服务”。 在MRS控制台重启组件：选择“现有集群”，单击集群名称进入集群详情页面。单击“组件管理”，选择需要重启的服务，进入服务页面。在“服务状态”页签单击“更多”，选择“重启服务”或“滚动重启服务”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
