检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置MapReduce任务推测执行 通过Slow Start调优MapReduce任务 MapReduce任务commit阶段优化 降低MapReduce客户端运行任务失败率 父主题： 使用Mapreduce
新增包含如下内容的文件并上传到hdfs的"/home/data"目录下。 Miranda,32 Karlie,23 Candice,27 确保其对启动JDBCServer的用户有读写权限。 确保$SPARK_HOME/conf下有"hive-site.xml文件，且根据实际集群情况配置所需要的参数。
执行exit;退出spark-sql命令行。 OBS文件系统打印大量日志可能导致读写性能受影响，可通过调整OBS客户端日志级别优化，日志调整方式如下： cd 客户端安装目录/Spark2x/spark/conf vi log4j.properties 在文件中添加OBS日志级别配置： log4j
会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。默认最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置。 表1 Broker日志列表 日志类型 日志文件名 描述 运行日志 server
开发Hive用户自定义函数 当Hive的内置函数不能满足需要时，可以通过编写用户自定义函数UDF（User-Defined Functions）插入自己的处理代码并在查询中使用它们。 按实现方式，UDF分为有如下分类： 普通的UDF，用于操作单个数据行，且产生一个数据行作为输出。
topic中获取消息的角色称为Consumer。 Broker Kafka集群中的每一个节点服务器称为Broker。 keytab file 存放用户信息的密钥文件。应用程序采用此密钥文件在集群中进行API方式认证。 父主题： Kafka开发指南（安全模式）
Topic中获取消息的角色称为Consumer。 Broker Kafka集群中的每一个节点服务器称为Broker。 keytab file 存放用户信息的密钥文件。应用程序采用此密钥文件在集群中进行API方式认证。 父主题： Kafka开发指南（安全模式）
rRpcControllerFactory异常如何处理 BulkLoad和Put应用场景有哪些 install编译构建HBase Jar包失败报错Could not transfer artifact如何处理 父主题： HBase开发指南（安全模式）
Yarn企业级能力增强 配置Yarn权限控制开关 手动指定运行Yarn任务的用户 配置AM失败重试次数 配置AM自动调整分配内存 配置AM作业自动保留 配置Yarn数据访问通道协议 配置自定义调度器的WebUI 配置NodeManager角色实例使用的资源 配置ResourceM
一个SQL脚本里面会包含一个或多个子任务。如果SQL脚本中存在先创建再删除临时表的逻辑，建议将删除临时表的逻辑放到脚本的最后。假定删除临时表子任务的后续子任务执行失败，并且删除临时表的子任务之前的子任务用到了该临时表；当下一次以相同batchid执行该SQL脚本时，因为临时表在上一次执行时已被删除，则会
一个SQL脚本里面会包含一个或多个子任务。如果SQL脚本中存在先创建再删除临时表的逻辑，建议将删除临时表的逻辑放到脚本的最后。假定删除临时表子任务的后续子任务执行失败，并且删除临时表的子任务之前的子任务用到了该临时表；当下一次以相同batchid执行该SQL脚本时，因为临时表在上一次执行时已被删除，则会
候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。默认最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置。 表1 Kafka日志列表 日志类型 日志文件名 描述 运行日志 server
执行Kafka Topic创建操作时发现无法创建提示“NoAuthException” 问题背景与现象 在使用Kafka客户端命令创建Topic时，发现Topic无法被创建。 kafka-topics.sh --create --zookeeper 192.168.234.231:2181/kafka
lang.String directory) 入参directory为HDFS目录，该方法创建一个输入流检测可兼容Hadoop文件系统的新文件，并且读取为文本文件。 void start() 启动Spark Streaming计算。 void awaitTermination() 当前进程等待终止，如Ctrl+C等。
产生告警的主机名 磁盘路径 产生告警的磁盘路径 对系统的影响 ClickHouseServer节点进入只读模式后所有写入、修改、删除操作均执行失败。 可能原因 ClickHouse节点磁盘使用率超过90%，节点进入只读模式。 处理步骤 登录FusionInsight Manager页面，选择“运维
生产环境中是不能关闭的。 日志归档调优 参数“spark.eventLog.group.size”用来设置一个应用的JobHistory日志按照指定job个数分组，每个分组会单独创建一个文件记录日志，从而避免应用长期运行时形成单个过大日志造成JobHistory无法读取的问题，设置为“0”时表示不分组。
ector只允许配置为1。 10 Tolerance 容灾策略。 none表示低容错，即出错后导致Connector任务失败。 all表示高容错，出错后忽略失败的记录并继续运行。 all Start Time（MRS 3.2.0版本） 同步表的起始时间。 2022/03/16 14:14:50
12。 处理步骤 如果GLIBC版本太低，则需要使用含有较高版本的（此处为2.12）的文件替换掉"libpthread-*.so"（注意，这是一个链接文件，执行时只需要替换掉它所指向的文件即可）。 参考信息 无 父主题： Flink应用开发常见问题
server会定期向master发送心跳。 kudu kudu的管理工具，可以用来检查集群的健康状况、日常运维等操作。 keytab文件 存放用户信息的密钥文件，应用程序采用此密钥文件在组件中进行API方式认证。 Schema 表信息，用来表示表中列的信息。 父主题： Kudu应用开发概述
12。 处理步骤 如果GLIBC版本太低，则需要使用含有较高版本的（此处为2.12）的文件替换掉"libpthread-*.so"（注意，这是一个链接文件，执行时只需要替换掉它所指向的文件即可）。 参考信息 无 父主题： Flink应用开发常见问题
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
