检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
2及之后版本默认仅支持Python3。 该样例仅支持在Linux节点上运行。 操作步骤 客户端机器必须安装有Python,其版本不低于2.6.6,最高不能超过2.7.13。 在客户端机器的命令行终端输入python可查看Python版本号。如下显示Python版本为2.6.6。 Python
数个成品Hadoop集群由于NameNode超负荷运行并失去响应而发生故障。 这种阻塞现象是由于Hadoop的初始设计造成的。在Hadoop中,NameNode作为单独的机器,在其namespace内协调HDFS的各种操作。这些操作包括获取数据块位置,列出目录及创建文件。NameNode接受HDFS的操作,将其
HetuEngine启动计算实例时,会给Yarn发送命令启动对应的application,若30秒内没有接收到Yarn的响应消息,则因超时结束此次请求。 若由于机器性能或者是网络环境问题,无法在30秒内接收到Yarn启动application的响应消息时,可适当延长对应的超时时间。 登录FusionInsight
节点上磁盘使用率很高,甚至达到100%,其他节点空闲很多。 原因分析 客户端安装在该节点,根据HDFS数据副本机制,第一个副本会存放在本地机器,最终导致节点磁盘被占满,而其他节点空闲很多。 解决办法 针对已有不平衡的数据,执行balance脚本均衡数据。 /opt/client/
准备Linux客户端环境 背景信息 安装Linux客户端用于拓扑的提交。 前提条件 确认Storm组件已经安装,并正常运行。 客户端机器的时间与集群的时间要保持一致,时间差要小于5分钟。 操作步骤 下载Storm客户端程序。 登录MRS Manager系统。 选择“服务管理 > Storm
数个成品Hadoop集群由于NameNode超负荷运行并失去响应而发生故障。 这种阻塞现象是由于Hadoop的初始设计造成的。在Hadoop中,NameNode作为单独的机器,在其namespace内协调HDFS的各种操作。这些操作包括获取数据块位置,列出目录及创建文件。NameNode接受HDFS的操作,将其
“priority_network”主要用于帮助系统选择正确的网卡IP作为FE或BE的IP,建议任何情况下,都显式的设置该参数,避免后续机器增加新网卡导致IP选择不正确问题。“priority_network”的值是CIDR格式表示的,用于保证所有节点都可以使用统一的配置值。参
Hive WebHCat接口介绍 以下示例的IP为WebHCat的业务IP,端口为安装时设置的WebHCat HTTP端口。 需要在安装客户端的机器上进行kinit认证操作后才可执行示例操作。 以下示例均为https协议的示例,若要使用http协议,需要执行以下操作: 将REST接口切
Hive WebHCat接口介绍 以下示例的IP为WebHCat的业务IP,端口为安装时设置的WebHCat HTTP端口。 需要在安装客户端的机器上进行kinit认证操作后才可执行示例操作。 以下示例均为https协议的示例,若要使用http协议,需要执行以下操作: 将REST接口切
导入并配置Flink样例工程 操作场景 Flink针对多个场景提供样例工程,包含Java样例工程和Scala样例工程等,帮助客户快速学习Flink工程。 针对Java和Scala不同语言的工程,其导入方式相同。 以下操作步骤以导入Java样例代码为例。操作流程如图1所示。 图1 导入样例工程流程
常如何处理? 回答 在使用的MRS集群中查询该弹性云服务器的ID确认没有使用。 在ECS控制台上找到需要退订的服务器单击“MRS使用中”将机器进行解锁。 再次单击“退订”。 若依然显示退订异常,请收集弹性云服务器的ID并联系华为云支持人员。 父主题: 计费FAQ
言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar,只需将样例工程复制到编译机器上即可。 用户需保证worker和driver的Python版本一致,否则将报错:"Python in worker has different
远端调试参数Host和Port,如下图所示。 其中Host为获取的Worker运行的主机IP地址,Port为调试的端口号(确保该端口在运行机器上没被占用)。 图3 配置参数 当改变Port端口号时,在WORKER_GC_OPTS中追加的调试参数也要跟着改变,比如Port设置为80
FROM child" sqlList += "DROP TABLE child" 样例工程中的data文件需要放到JDBCServer所在机器的home目录下 保证本地的data文件和创建的表的所属的用户和用户组保持一致 拼接JDBC URL。 HA模式下url的host和port必须为“ha-cluster”。
浮动IP配置错误。 一次性查询大量的数据,导致查询耗时长,占用了Hue中Hive的链接,导致Hue访问出现异常。 排查思路 在浏览器所在的本地机器,通过命令行执行telnet指令,查看端口是否开放。 在Hue所在节点执行ifconfig,查看配置的浮动IP是否生效。 恢复该故障大概需要10分钟。
TABLE child"); executeSql(url, sqlList); 样例工程中的data文件需要放到JDBCServer所在机器的home目录下。 拼接JDBC URL。 Configuration config = new Configuration(); config
FROM child" sqlList += "DROP TABLE child" 样例工程中的data文件需要放到JDBCServer所在机器的home目录下。 拼接JDBC URL。 val config: Configuration = new Configuration()
配置MRS集群远程运维 当用户使用集群过程中出现问题需要华为云支持人员协助解决时,用户可先联系华为云支持人员,再通过运维授权功能授权华为云支持人员访问用户机器的权限用于定位问题,或通过“日志共享”功能提供特定时间段内的日志给华为云支持人员以便定位问题。 开启MRS集群远程运维授权 登录MRS管理控制台。
常如何处理? 答: 在使用的MRS集群中查询该弹性云服务器的ID确认没有使用。 在ECS控制台上找到需要退订的服务器单击“MRS使用中”将机器进行解锁。 再次单击“退订”。 如果依然显示退订异常,请收集弹性云服务器的ID并联系华为云支持人员。 父主题: 计费类
言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar,只需将样例工程复制到编译机器上即可。 用户需保证worker和driver的Python版本一致,否则将报错:"Python in worker has different