检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作场景 loader-tool工具支持通过作业模板或参数选项的方式,对连接器或者作业进行创建、更新、查询、删除等操作。 本文将以“从SFTP服务器导入数据到HDFS”的作业为例,通过引用作业模板的方式,介绍loader-tool工具的使用方法。 前提条件 已安装并配置Loader客户
--zookeeper quorumpeer实例IP地址:ZooKeeper客户端连接端口/kafka --replication-factor 1 --partitions 1 --topic Topic名称 quorumpeer实例IP地址可登录集群的FusionInsight Manager界面,在“集群
怎么通过客户端设置Map/Reduce内存? 问题现象 客户端怎么设置Map/Reduce内存? 处理步骤 Hive在执行SQL语句前,可以通过set命令来设置Map/Reduce相关客户端参数。 以下为与Map/Reduce内存相关的参数: set mapreduce.map.memory
网络故障,无法访问Ldap服务器。 Name Service服务异常。 OS执行命令慢导致无法查询用户。 处理步骤 检查sssd服务是否启动或启动错误。 在FusionInsight Manager界面,选择“运维 > 告警 > 告警”。记录该告警定位信息中的“主机名”的IP地址为IP1(若出
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后,客户端长时间无响应。 回答 对于上述出现的问题,ResourceManager在其WebUI上提供了MapReduce作业关键步骤的诊断信息,对于一个已经提交到YARN上的MapR
其中在Session对象的参数里,设置IoTDBServer所在的节点IP、端口、用户名和密码。 待连接的IoTDBServer所在的节点IP地址,可通过登录FusionInsight Manager界面,选择“集群 > 服务 > IoTDB > 实例”查看。 RPC端口可通过登录FusionInsight
--zookeeper quorumpeer实例IP地址:ZooKeeper客户端连接端口/kafka --replication-factor 1 --partitions 1 --topic Topic名称 quorumpeer实例IP地址可登录集群的FusionInsight Manager界面,在“集群
/tmp/ 登录MRS管理控制台。 在集群详情页面,选择“节点管理”。 单击待更换磁盘的“节点名称”进入弹性云服务器管理控制台,单击“关机”。 联系华为云支持人员在后台更换磁盘。 在弹性云服务器管理控制台,单击“开机”,将已更换磁盘的节点开机。 初始化Linux数据盘。 具体步骤可参见初始化数据盘对新磁盘进行初始化操作。
如果使用的是Windows云服务器,并且与集群的网络是通的,则无需配置EIP。 登录FusionInsight Manager,选择“集群 > 服务 > ZooKeeper > 实例”。 选择任一节点,将该节点对应的EIP填入主机框中(如果使用的是Windows云服务器,并且与集群的网络
其中,在jdbc url里设置待连接的IoTDBServer所在的节点IP、RPC端口、用户名和密码。 待连接的IoTDBServer所在的节点IP地址,可通过登录FusionInsight Manager界面,选择“集群 > 服务 > IoTDB > 实例”查看。 RPC端口可通过登录FusionInsight
postgres:需要连接的数据库名称。 IP:GaussDB(DWS) 集群地址。如果通过公网地址连接,请指定为集群“公网访问域名”,如果通过内网地址连接,请指定为集群“内网访问域名”。如果通过弹性负载均衡连接,请指定为“弹性负载均衡地址”。 username和password:连接数据库的用户名
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后,客户端长时间无响应。 回答 对于上述出现的问题,ResourceManager在其WebUI上提供了MapReduce作业关键步骤的诊断信息,对于一个已经提交到YARN上的MapR
访问MRS Manager页面报错“502 Bad Gateway” 用户问题 访问集群管理页面地址打开显示“502 Bad Gateway”错误。 问题现象 未开启Kerberos认证的集群,访问MRS Manager页面报错如下图: 图1 MRS Manager页面报错 原因分析
Redis部署方式,当前仅支持“Cluster”。 Redis类型数据连接需配置该参数。 Cluster Redis服务器列表 Redis实例的连接信息,格式为“IP地址:端口”,多个实例之间通过逗号分隔。 Redis类型数据连接需配置该参数。 192.168.0.1:6379,192
配置HDFS客户端元数据缓存提高读取性能 操作场景 通过使用客户端缓存元数据块的位置来提高HDFS读取性能。 此功能仅用于读取不经常修改的文件。因为在服务器端由某些其他客户端完成的数据修改,对于高速缓存的客户端将是不可见的,这可能导致从缓存中拿到的元数据是过期的。 本章节适用于MRS 3.x及后续版本。
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后,客户端提示如下信息后长时间无响应。 16/03/03 16:44:56 INFO hdfs.DFSClient: Created HDFS_DELEGATION_TOKEN token
其中,在jdbc url里设置待连接的IoTDBServer所在的节点IP、端口、用户名和密码。 待连接的IoTDBServer所在的节点IP地址,可通过登录FusionInsight Manager界面,选择“集群 > 服务 > IoTDB > 实例”查看。 RPC端口可通过登录FusionInsight
两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前,样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。 运行Py
conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 编译打包前,样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。 运行Pyth
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后,客户端提示如下信息后长时间无响应。 16/03/03 16:44:56 INFO hdfs.DFSClient: Created HDFS_DELEGATION_TOKEN token