检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Lifecycle > clean”,双击“clean”运行maven的clean命令。 选择“Maven > 样例工程名称 > Lifecycle > install”,双击“install”运行maven的install命令。 图1 maven工具clean和install 方法二:在ID
设置项目使用的Maven版本。 在IntelliJ IDEA的菜单栏中,选择“File > Settings...” 图9 Settings 选择“Build,Execution,Deployment > Maven”,选择Maven home directory为本地安装的Maven版本。
12-3.1.1-hw-ei-311001-SNAPSHOT.jar 版本号中包含hw-ei的依赖包请从华为开源镜像站下载。 版本号中不包含hw-ei的依赖包都来自开源仓库,请从Maven中心仓获取。 运行任务 在运行样例程序时需要指定<checkpointDir> <brokers>
在弹出的提示框中单击“知道了”,开始授权。界面提示“授权成功。”,单击“完成”,委托成功创建。 步骤二:为MRS集群配置委托 配置存算分离支持在新建集群中配置委托实现,也可以通过为已有集群绑定委托实现。本示例以为已有集群配置委托为例介绍。 登录MRS控制台,在导航栏选择“现有集群”。 单击集群名称,进入集群详情页面。
32:21007表示kafka服务器的IP:port SSL加密配置 服务端配置。 登录FusionInsight Manager页面,选择“集群 > 服务 > Kafka > 配置”,参数类别设置为“全部配置”,搜索“ssl.mode.enable”并配置为“true”。 客户端配置。 登录集群的FusionInsight
配置AM自动调整分配内存 本章节适用于MRS 3.x及后续版本集群。 配置场景 启动该配置的过程中,ApplicationMaster在创建Container时,分配的内存会根据任务总数的浮动自动调整,资源利用更加灵活,提高了客户端应用运行的容错性。 配置描述 参数入口: 参考修
构建jar包方式有以下两种: 方法一: 选择“Maven > 样例工程名称 > Lifecycle > clean”,双击“clean”运行maven的clean命令。 选择“Maven > 样例工程名称 > Lifecycle > install”,双击“install”运行maven的install命令。
准备Kafka应用开发环境 Kafka应用开发环境简介 准备Maven和JDK 导入并配置Kafka样例工程 准备Kafka应用安全认证 父主题: Kafka开发指南
开发环境:Windows系统,推荐Windows7以上版本。 运行环境:Linux系统。 安装JDK和Maven 开发环境的基本配置:Java JDK 8或以上、Maven 3.3.9或以上 安装和配置Eclipse或IntelliJ IDEA 用于开发Alluxio应用程序的工具。 网络
HBase ACL安全配置 功能简介 访问权限控制,在关系型数据库中是一个已经很成熟的技术,HBase实现了一个较为简单的特性。这些特性归纳为读(R)、写(W)、创建(C)、执行(X)和管理(A)等。在普通模式下,该功能只有在开启HBase权限管理时才支持。 ACL的方法定义在工具类org
在Linux环境中调测HBase应用 操作场景 HBase应用程序支持在已安装或未安装HBase客户端的Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至Linux环境中运行应用。 前提条件 已安装客户端时: 已安装HBase客户端。 当客户端所在主机不是集群中的节点时,需要在
准备项 说明 操作系统 Windows系统,推荐Windows 7以上版本。 安装JDK和Maven 开发环境的基本配置。JDK版本要求:1.7或者1.8。Maven版本要求:3.3.0及以上 安装和配置Eclipse或IntelliJ IDEA 用于开发Kafka应用程序的工具。
在本地Windows环境中调测HBase应用 单击IDEA右边Maven窗口的“Reimport All Maven Projects”,进行maven项目依赖import。 图1 reimport projects 编译运行程序。 放置好配置文件,并修改代码匹配登录用户后,文件列表如图2所示。
使用“Ctrl + C”退出spark beeline。 集群安装后使用spark sql 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env 修改配置文件: vim 客户端安装目录/Spark2x/spark/conf/hdfs-site
编译方式有以下两种。 方法一 选择“Maven > 样例工程名称 > Lifecycle > clean”,双击“clean”运行maven的clean命令。 选择“Maven > 样例工程名称 > Lifecycle > compile”,双击“compile”运行maven的compile命令。
在Linux环境中调测HBase应用 操作场景 HBase应用程序支持在已安装或未安装HBase客户端的Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 已安装客户端时: 已安装HBase客户端。 当客户端所在主机不是集群中的节点时,需
Hive常用常用配置参数 参数入口 对于MRS 3.x之前版本,登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称,选择“组件管理 > Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 对于MRS 3.x之后版本,登录FusionInsight Manager,选择“集群
在本地Windows环境中调测HBase应用 单击IDEA右边Maven窗口的“Reimport All Maven Projects”,进行maven项目依赖import。 图1 reimport projects 编译运行程序。 放置好配置文件,并修改代码匹配登录用户后,文件列表如图2所示。
构建Jar包方式有以下两种: 方法一: 选择“Maven > 样例工程名称 > Lifecycle > clean”,双击“clean”运行maven的clean命令。 选择“Maven > 样例工程名称 > Lifecycle > install”,双击“install”运行maven的install命令。
p上的数据仓库框架,提供类似SQL的结构化数据。 MRS提供用户、用户组和角色,集群中的各类权限需要先授予角色,然后将用户或者用户组与角色绑定。用户只有绑定角色或者加入绑定角色的用户组,才能获得权限。 如果当前组件使用了Ranger进行权限控制,须基于Ranger配置相关策略进行