检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。 字符截取的起点位置或终点位置，大于输入字段的长度时，当前行成为脏数据。 EL操作转换 传入数据为NULL值，不做转换处理。 输入一个或多个字段的值，输出计算结果。 输入类型和算子不兼容时，当前行为脏数据。 字符串大小写转换
图2所示。 图2 设置Eclipse的编码格式 修改样例（未开启Kerberos认证集群可跳过此步骤）。 在5获取新建开发用户的krb5.conf和user.keytab文件后，修改ExampleMain.java中的userName为对应的新建用户，例如hiveuser。
UI页面无法跳转到Spark WebUI界面 【Spark WebUI】HistoryServer缓存的应用被回收导致此类应用页面访问时出错 【Spark WebUI】访问JobHistory中某个应用的原生页面时页面显示错误 【Spark WebUI】使用IE浏览器访问Spark2x WebUI界面失败
文件“zoo.cfg”中的“syncLimit”和“initLimit”两参数值，直到ZooKeeperServer正常。 表1 参数说明 参数 描述 默认值 syncLimit follower与leader进行同步的时间间隔（时长为ticket时长的倍数）。如果在该时间范围内leader没响应，连接将不能被建立。
打开操作系统审计日志，给审计日志增加记录kill命令的规则，即可定位是何进程发送的命令。 操作影响 打印审计日志，会消耗一定操作系统性能，经过分析仅影响不到1%。 打印审计日志，会占用一定磁盘空间。该日志打印量不大，MB级别，且默认配置有老化机制和检测磁盘剩余空间机制，不会占满磁盘。 定位方法
配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。 字符截取的起点位置或终点位置，大于输入字段的长度时，当前行成为脏数据。 EL操作转换 传入数据为NULL值，不做转换处理。 输入一个或多个字段的值，输出计算结果。 输入类型和算子不兼容时，当前行为脏数据。 字符串大小写转换
通过公网IP连接使用HDFS客户端报错 使用Python远程连接HDFS的端口失败 HDFS容量达到100%导致上层服务HBase、Spark等不可用 启动HDFS和Yarn服务报错“Permission denied” HDFS用户可在其他用户目录下创建或删除文件 HDFS的DataNode一直显示退服中 内存不足导致HDFS
db/dataplan_modela_csbch2":spark:hive:drwx------ 根因分析。 创建集群时创建的默认用户使用了相同的uid，造成用户错乱。在大量创建用户的场景下，触发了该问题，导致在创建表时偶现Hive用户没有权限。 处理步骤 重启集群sssd进程。 以root用户执行service
scala) 通过Manager查看Kafka服务是否处于正常状态。 检查客户端命令中ZooKeeper地址是否正确，访问ZooKeeper上所存放的Kafka信息，其路径（Znode）应该加上/kafka，发现配置中缺少/kafka： [root@10-10-144-2 client]#
作业管理类 MRS集群支持提交哪些形式的Spark作业？ MRS节点访问OBS报错408如何处理？ 如何让不同的业务程序分别用不同的Yarn队列？ 提交作业失败，报错与OBS相关如何处理？ MRS集群租户资源最小值为0时只能同时运行一个任务吗？ 作业提交参数间用空格隔开导致参数信息不被识别如何处理？
以下为Hive SQL在哪个阶段执行变慢的排查方法： HiveServer编译变慢 查看HiveServer审计日志“/var/log/Bigdata/audit/hive/hiveserver/hive-audit.log”，搜索运行的SQL，如图1的SQL为“show databas
ax.request.size ”值和本次写入数据大小，若写入数据大小超过此配置项“max.request.size ”的缺省值，则抛出上述异常。 解决办法 在初始化Kafka生产者实例时，设置此配置项“max.request.size ”的值。 例如，参考本例，可以将此配置项设置为“5252880”：
列出catalogName为mv中的所有物化视图以及对应的数据表。如果希望只查看某个schema中的物化视图，可以使用子句[IN/FROM schema_name] 通过可选子句“LIKE”，筛选视图名满足规则运算表达式的视图，如果不使用这个子句，会列举所有视图。匹配的视图会按字母顺序排列。
默认调度器的调度模式。目前支持两个值，具体值与含义如下： “AVERAGE”：使用按空闲Slot数目为优先级的调度机制 “RATE”：使用按空闲Slot比率为优先级的调度机制 AVERAGE nimbus.thrift.threads 设置主用Nimbus对外提供服务时的最大连接线
query, tsd, scan, search, uid, version 创建OpenTSDB指标 创建存入到OpenTSDB中的指标名称，可执行tsdb mkmetric sys.cpu.user命令创建sys.cpu.user。 Start run net.opentsdb
日志）。 日志归档规则：HDFS的日志启动了自动压缩归档功能，默认情况下，当日志大小超过100MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的100个压缩文件，压缩文件保留个数可以在Manager界面中配置。
Kafka”，查看当前Kafka状态，发现状态为良好，且监控指标内容显示正确。 查看Consumer客户端日志发现频繁连接Broker节点和断链打印信息，如下所示。 [root@10-10-144-2 client]# kafka-console-consumer.sh --topic
建议使用新的API createDirectStream代替旧的API createStream进行应用程序开发。旧的API仍然可以使用，但新的API性能和稳定性更好。 /** * 参数解析: * <groupId>为客户的组编号。 * <brokers>为获取元数据的Kafka地址。
建议使用新的API createDirectStream代替旧的API createStream进行应用程序开发。旧的API仍然可以使用，但新的API性能和稳定性更好。 /** * 参数解析: * <groupId>为客户的组编号。 * <brokers>为获取元数据的Kafka地址。
建议使用新的API createDirectStream代替旧的API createStream进行应用程序开发。旧的API仍然可以使用，但新的API性能和稳定性更好。 /** * 参数解析: * <groupId>为客户的组编号。 * <brokers>为获取元数据的Kafka地址。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
