检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
端会等待返回任务运行的状态，由于AM无返回，客户端会一直处于等待状态。 为避免出现上述场景，使用“core-site.xml”中的“ipc.client.rpc.timeout”配置项设置客户端超时时间。 该参数的参数值为毫秒。默认值为0，表示无超时。客户端超时的取值范围可以为0～2147483647毫秒。
如何处理非static的KafkaPartitioner类对象构造FlinkKafkaProducer010运行时报错 问题 Flink内核升级到1.3.0之后，当Kafka调用带有非static的KafkaPartitioner类对象为参数的FlinkKafkaProducer010去构造函数时，运行时会报错。
so。而一旦LD_LIBRARY_PATH添加了hadoop的native库目录，则使用的就是hadoop native库中的libcrypto.so，而使用系统自带的libssl.so（因为hadoop native目录没有带该包） 。由于这两个库版本不匹配，导致了python文件运行时出现段错误。 解决方案 方案一：
出数据的大小。 如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。 操作前需要进行如下配置： 获取关系型数据库对应的驱动jar包保存在Loader服务主备节点的lib路
Hive服务运行状态为亚健康是否会影响上层业务？ 问： MRS集群内的Hive服务运行状态显示为“亚健康”，是否会影响上层业务？ 图1 Hive服务状态 答： 集群中服务运行状态为“亚健康”表示服务部分增强功能无法正常工作。 在本示例场景中，登录Manager查看集群其它服务状态
跨域数据传输是否开启双向传输，默认为“是”。 是：双向传输，请求通过本端的HSFabric将转发至远端的HSFabric，如果开启双向传输，需要配置本端HSFabric地址。 否，单向传输，请求直接发至远端的HSFabric。 是 本端地址信息 本端MRS集群的HetuEngine服务负责对外通信的HSFabric实例的主机IP地址及端口号。
如何处理非static的KafkaPartitioner类对象构造FlinkKafkaProducer010运行时报错 问题 Flink内核升级到1.3.0之后，当Kafka调用带有非static的KafkaPartitioner类对象为参数的FlinkKafkaProducer010去构造函数时，运行时会报错。
多个NameService环境下运行MapReduce任务失败 问题 多个NameService环境下，运行使用viewFS功能的MapReduce或YARN任务失败。 回答 当使用viewFS时，只有在viewFS中挂载的目录才能被访问到。所以最可能的原因是配置的路径没有在viewFS的挂载点上。例如：
sftp-connector连接器相关作业运行失败 问题 使用sftp-connector连接器相关作业运行失败，出现如下类似报错：“获取Sftp通道失败。xxx (原因是: failed to send channel request)”。 SFTP服务出现如下报错：“subsystem
在程序代码完成开发后，您可以在Windows环境中运行应用。使用Scala或Java语言开发的应用程序在IDEA端的运行步骤是一样的。 Windows环境中目前只提供通过JDBC访问Spark SQL的程序样例代码的运行，其他样例代码暂不提供。 用户需保证Maven已配置华为镜像站中SDK的Maven镜像仓库，具体可参考配置华为开源镜像仓。
cesskey和secretkey有过期时间。 如果需要运行像Flink和SparkStreaming这样的长时作业时，用户可通过“服务配置参数”选项框传入永久的accesskey和secretkey，以保证作业不会在运行过程中因密钥过期而执行失败。 父主题： 作业管理类
应用程序在Windows环境下运行的机器与MRS集群的网络不是完全通畅的，需要重新设置防火墙，把需要使用的UDP端口都打开，保证应用程序在Windows环境下运行的机器与MRS集群的网络是完全通畅的。 父主题： MapReduce应用开发常见问题
全部配置”。 搜索并修改“HDFS > NameNode” 中的“GC_OPTS”参数，将其中的“-Xms512M -Xmx512M”两个参数的值根据实际情况调整为较大的值。 保存配置并重启受影响的服务或实例。 父主题： 集群管理类
多个NameService环境下运行MapReduce任务失败 问题 多个NameService环境下，运行使用viewFS功能的MapReduce或YARN任务失败。 回答 当使用viewFS时，只有在viewFS中挂载的目录才能被访问到。所以最可能的原因是配置的路径没有在viewFS的挂载点上。例如：
告警”，单击“告警ID”为“45616”所在行的，在定位信息中查看发生该告警的任务名称。 选择“集群 > 服务 > CDL”，单击“CDLService UI”后的链接进入CDL WebUI界面。 根据2中的任务名找到对应的失败作业，单击所在行的“运行异常”或“已失败”链接。 在弹出的界面中查看报错信息进
上传软件包。以user用户将软件包上传到将要安装Flume服务客户端的节点目录上，例如“/opt/client” user用户为安装和运行Flume客户端的用户。 解压软件包。 以user用户登录将要安装Flume服务客户端的节点。进入安装包所在目录，例如“/opt/client”，执行如下命令解压安装包到当前目录。
FlinkServer保留残留目录的周期。单位：分钟 10080 10080~2147483647 配置完成后，单击左上角“保存”并确定保存。 该特性只会清理ZooKeeper的“/flink_base”目录和HDFS的“/flink/recovery”目录下的残留目录，用户自定义修改的目录不会清理。
上传软件包。以user用户将软件包上传到将要安装Flume服务客户端的节点目录上，例如“/opt/client” user用户为安装和运行Flume客户端的用户。 解压软件包。 以user用户登录将要安装Flume服务客户端的节点。进入安装包所在目录，例如“/opt/client”，执行如下命令解压安装包到当前目录。
应用程序在Windows环境下运行的机器与MRS集群的网络不是完全通畅的，需要重新设置防火墙，把需要使用的UDP端口都打开，保证应用程序在Windows环境下运行的机器与MRS集群的网络是完全通畅的。 父主题： MapReduce应用开发常见问题
在集群外节点运行PrestoJDBCExample缺少证书 问题 presto-examples-1.0-SNAPSHOT-jar-with-dependencies.jar在集群内节点运行时正常，但在集群外节点运行PrestoJDBCExample连接开启Kerberos认证的集群缺少证书，报错如下:
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
