检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
无法进行下一步操作。 回答 目前出现上述问题时使用的是默认配置,如表1所示,HDFS客户端到NameNode的RPC连接存在keep alive机制,保持连接不会超时,尽力等待服务器的响应,因此导致已经连接的HDFS客户端的操作会长时间无响应。 对于已经长时间无响应的HDFS客户端,可以进行如下操作:
void remoteSubmit(TopologyBuilder builder) throws AlreadyAliveException, InvalidTopologyException, NotALeaderException, AuthorizationException
nfiguration/ticketExpirationPolicies.xml中的p:maxTimeToLiveInSeconds="${tgt.maxTimeToLiveInSeconds:1200}"和p:timeToKillInSeconds="${tgt.timeToK
metrics.num-live-versions true 监测实时版本的数量。版本是内部数据结构,版本太多说明RocksDB可能会因为查询或者Compaction而不能删除旧版本 state.backend.rocksdb.metrics.estimate-live-data-size
void remoteSubmit(TopologyBuilder builder) throws AlreadyAliveException, InvalidTopologyException, NotALeaderException, AuthorizationException
System.out.println("Usage: {brokerList} {topic}"); } } 本地配置好Maven及SDK相关参数后,样例工程会自动加载相关依赖包。加载完毕后,执行package打包,获取打包后的jar文件。 图4 编译Spark应用程序 例如
准备Alluxio应用开发环境 选择Windows开发环境下,安装Eclipse,安装JDK。 建议JDK使用1.8版本,Eclipse使用4.3.2及以上版本。 若使用IBM JDK,请确保Eclipse中的JDK配置为IBM JDK。 若使用Oracle JDK,请确保Eclipse中的JDK配置为Oracle
准备Presto应用开发环境 选择Windows开发环境下,安装Eclipse,安装JDK。 建议JDK使用1.8版本,Eclipse使用4.3.2及以上版本。 若使用IBM JDK,请确保Eclipse中的JDK配置为IBM JDK。 若使用Oracle JDK,请确保Eclipse中的JDK配置为Oracle
为0表示禁用外部排序功能,当内存不够时直接抛错,设置了该值order by可以正常完成,但是速度非常慢。 0 25GB 否 keep_alive_timeout 服务端与客户端保持长连接的时长,单位为秒。 10 600 否 max_concurrent_queries 最大支持的查询并发。
准备OpenTSDB应用开发环境 选择Windows开发环境下,安装Eclipse,安装JDK。 请安装JDK1.8及以上版本。Eclipse使用支持JDK1.8及以上的版本,并安装JUnit插件。 若使用IBM JDK,请确保Eclipse中的JDK配置为IBM JDK。 若使用Oracle
准备本地应用开发环境 选择Windows开发环境下,安装Eclipse,安装JDK。 JDK使用1.8版本,Eclipse使用4.3.2及以上版本。 若使用IBM JDK,请确保Eclipse中的JDK配置为IBM JDK。 若使用Oracle JDK,请确保Eclipse中的JDK配置为Oracle
本地使用IDEA工具导入样例工程,等待Maven工程下载相关依赖包,具体操作可参考配置并导入样例工程。 图1 Flink样例工程示例 本地配置好Maven及SDK相关参数后,样例工程会自动加载相关依赖包。 在本示例中,将开发的DataStream程序通过Flink客户端提交运行,因此在代码中不需单独进行安全认证。
MRS集群加固策略说明 加固Tomcat 在FusionInsight Manager软件安装及使用过程中,针对Tomcat基于开源做了如下功能增强: 升级Tomcat版本为官方稳定版本。 设置应用程序之下的目录权限为500,对部分目录支持写权限。 系统软件安装完成后自动清除Tomcat安装包。
准备本地应用开发环境 在进行二次开发时,要准备的开发环境如表1所示。同时需要准备运行调测的Linux环境,用于验证应用程序运行正常。 表1 开发环境 准备项 说明 操作系统 Windows系统,推荐Windows 7及以上版本。 安装JDK 开发环境的基本配置。版本要求:1.8及以上。
准备本地应用开发环境 选择Windows开发环境下,安装Eclipse,安装JDK。 JDK使用1.8版本,Eclipse使用4.3.2及以上版本。 若使用IBM JDK,请确保Eclipse中的JDK配置为IBM JDK。 若使用Oracle JDK,请确保Eclipse中的JDK配置为Oracle
void remoteSubmit(TopologyBuilder builder) throws AlreadyAliveException, InvalidTopologyException, NotALeaderException, AuthorizationException
结果分析: 通过这个命令,可以查询某个Spark应用的信息,显示的信息如表1所示。 获取正在执行的某个应用的Executor信息: 针对alive executor命令: curl http://192.168.169.84:8088/proxy/application_14785
Kafka应用开发环境简介 Kafka开发应用时,需要准备的开发环境如下表所示: 表1 开发环境 准备项 说明 操作系统 Windows系统,推荐Windows 7以上版本。 安装JDK和Maven 开发环境的基本配置。JDK版本要求:1.7或者1.8。Maven版本要求:3.3
结果分析: 通过这个命令,可以查询某个Spark应用的信息,显示的信息如表1所示。 获取正在执行的某个应用的Executor信息: 针对alive executor命令: curl https://192.168.169.84:26001/proxy/application_147
在Windows中调测Presto应用开发 申请一台Windows的ECS访问MRS集群操作Presto。申请ECS访问MRS集群的步骤如下: 在“现有集群”列表中,单击已创建的集群名称。 记录集群的“可用分区”、“虚拟私有云”,以及Master节点的“默认安全组”。 在弹性云服