检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入并配置HBase样例工程 背景信息 获取HBase开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。
、写文件、追加文件内容、读文件和删除文件/文件夹;HDFS还有其他的业务处理,例如设置文件权限等,其他操作可以在掌握本代码样例之后,再扩展学习。 本代码样例讲解顺序为: HDFS初始化 创建目录 写文件 追加文件内容 读文件 删除文件 删除目录 多线程 设置存储策略 Colocation
态下,用户不会在同一个磁盘内配置多个data.dir,否则所有的数据都将写入一个磁盘,在性能上会有很大的影响。 因此配置如下: 例如,如果机器有如下磁盘: host-4:~ # df -h Filesystem Size Used Avail Use%
其提交时的版本。一般情况下,应用程序(例如MapReduce、Hive、Tez等)需要进行完整的本地安装,将库安装至所有的集群机器(客户端及服务器端机器)中。当集群内开始进行滚动升级或降级时,本地安装的库的版本必然会在应用运行过程时发生改变。在滚动升级过程中,首先只会对少数Nod
Linux中未安装客户端时提交Storm拓扑 操作场景 Storm支持拓扑在未安装Storm客户端的Linux环境中运行。 前提条件 客户端机器的时间与MRS集群的时间要保持一致,时间差要小于5分钟。 当Linux环境所在主机不是集群中的节点时,需要在节点的hosts文件中设置主机
TABLE child"); executeSql(url, sqlList); 样例工程中的data文件需要放到JDBCServer所在机器的home目录下。 拼接JDBC URL。 String securityConfig = ";saslQop=auth-conf;aut
FROM child" sqlList += "DROP TABLE child" 样例工程中的data文件需要放到JDBCServer所在机器的home目录下。 拼接JDBC URL。 val securityConfig = ";saslQop=auth-conf;auth=K
组件(Component)组成的一个DAG(Directed Acyclic Graph)。一个Topology可以并发地运行在多台机器上,每台机器上可以运行该DAG中的一部分。Topology与Hadoop中的MapReduce Job类似,不同的是,它是一个长驻程序,一旦开始就不会停止,除非人工中止。
Linux中未安装客户端时提交Storm拓扑 操作场景 Storm支持拓扑在未安装Storm客户端的Linux环境中运行。 前提条件 客户端机器的时间与MRS集群的时间要保持一致,时间差要小于5分钟。 当Linux环境所在主机不是集群中的节点时,需要在节点的hosts文件中设置主机
Kudu应用程序开发思路 开发思路 通过典型场景,可以快速学习和掌握Kudu的开发过程,并对关键的接口函数有所了解。 作为存储引擎,通常情况下Kudu会和计算引擎一起协同工作: 首先在计算引擎上(比如Impala)用SQL语句创建表对象; 然后通过Kudu的驱动往这个表里写数据;
HBase样例程序开发思路 通过典型场景,您可以快速学习和掌握HBase的开发过程,并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户信息,如表1所示,A业务操作流程如下: 创建用户信息表。 在用户信息中新增用户的学历、职称等信息。
以下所有第三方教程均来自于华为云社区,由于云服务产品持续更新与迭代,相关社区教程中的内容可能存在时效性,不一定与产品最新版本能力完全保持一致,相关内容仅供学习和参考。 表2 开发者社区精选最佳实践 分类 相关文档 热门组件介绍 MRS StarRocks,新一代极速全场景数据仓库 Hudi:新一代流式数据湖平台
配置HetuEngine SQL诊断功能 HetuEngine SQL诊断功能介绍 HetuEngine QAS实例可对用户的SQL执行历史记录提供自动感知、自动学习、自动诊断服务,提升在线SQL运维能力,自动加速在线SQL分析任务,开启SQL诊断能力后,系统可实现如下能力: 自动感知并向集群管理员展现
态下,用户不会在同一个磁盘内配置多个data.dir,否则所有的数据都将写入一个磁盘,在性能上会有很大的影响。 因此配置如下: 例如,如果机器有如下磁盘: host-4:~ # df -h Filesystem Size Used Avail Use%
其提交时的版本。一般情况下,应用程序(例如MapReduce、Hive、Tez等)需要进行完整的本地安装,将库安装至所有的集群机器(客户端及服务器端机器)中。当集群内开始进行滚动升级或降级时,本地安装的库的版本必然会在应用运行过程时发生改变。在滚动升级过程中,首先只会对少数Nod
Kudu应用程序开发思路 通过典型场景,可以快速学习和掌握Kudu的开发过程,并对关键的接口函数有所了解。 开发思路 作为存储引擎,通常情况下会和计算引擎一起协同工作: 首先在计算引擎上(比如Impala)用SQL语句创建表对象; 然后通过Kudu的驱动往这个表里写数据; 于此同
点出现软硬件故障的概率会增大,并且会因此延长整个任务的执行时间(运行完成的任务会等待异常设备运行完成)。推测执行通过将一个task分给多台机器运行,取首先运行完成的节点。对于小集群,可以将该功能关闭。 操作步骤 参数入口: 进入Yarn服务参数“全部配置”界面,在搜索框中输入参数
点出现软硬件故障的概率会增大,并且会因此延长整个任务的执行时间(运行完成的任务会等待异常设备运行完成)。推测执行通过将一个task分给多台机器运行,取首先运行完成的节点。对于小集群,可以将该功能关闭。 操作步骤 参数入口: 进入Yarn服务参数“全部配置”界面,在搜索框中输入参数
如果使用Linux环境调测程序,需在准备安装集群客户端的Linux节点并获取相关配置文件。 在节点中安装客户端,例如客户端安装目录为“/opt/client”。 客户端机器的时间与集群的时间要保持一致,时间差小于5分钟。 集群的Master节点或者Core节点使用客户端可参考集群内节点使用MRS客户端,MRS
如果使用Linux环境调测程序,需在准备安装集群客户端的Linux节点并获取相关配置文件。 在节点中安装客户端,例如客户端安装目录为“/opt/client”。 客户端机器的时间与集群的时间要保持一致,时间差小于5分钟。 集群的Master节点或者Core节点使用客户端可参考集群内节点使用MRS客户端,MRS