检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
disk 在“Choose Plugin File”页面,选择对应版本的Scala插件包,单击“OK”。 图10 choose plugin File 在“Plugins”页面,单击“Apply”安装Scala插件。 在弹出的“Platform and Plugin Updates”页面,单击“Restart”,使配置生效。
plugin from disk 在“Choose Plugin File”页面,选择对应版本的Scala插件包,单击“OK”。 在“Plugins”页面,单击“Apply”安装Scala插件。 在弹出的“Plugins Changed”页面,单击“Restart”,使配置生效。 图10 Plugins
使用Ranger管理员用户rangeradmin登录Ranger管理页面,具体操作可参考登录Ranger WebUI界面。 在首页中单击“HBASE”区域的组件插件名称如“HBase”。 单击“Add New Policy”,添加HBase权限控制策略。 根据业务需求配置相关参数。 表1 HBase权限参数
使用Ranger管理员用户rangeradmin登录Ranger管理页面,具体操作可参考登录Ranger WebUI界面。 在首页中单击“HBASE”区域的组件插件名称如“HBase”。 单击“Add New Policy”,添加HBase权限控制策略。 根据业务需求配置相关参数。 表1 HBase权限参数
WebUI界面,单击右上角用户名,选择“Log Out”,退出当前用户。并使用rangeradmin用户重新登录。 在首页中单击“CDL”区域的组件插件名称,例如“CDL”,进入如下页面: 依次单击每条策略“Action”列的,删除“Allow Conditions”区域“Select U
plugin from disk 在“Choose Plugin File”页面,选择对应版本的Scala插件包,单击“OK”。 在“Plugins”页面,单击“Apply”安装Scala插件。 在弹出的“Plugins Changed”页面,单击“Restart”,使配置生效。 图10 Plugins
使用Ranger管理员用户rangeradmin登录Ranger管理页面,具体操作可参考登录Ranger WebUI界面。 在首页中单击“HADOOP SQL”区域的组件插件名称如“Hive”。 在“Access”页签单击“Add New Policy”,添加Hive权限控制策略。 根据业务需求配置相关参数。 表1
用于开发Spark应用程序的工具。版本要求:13.1.6及以上版本。 安装Scala Scala开发环境的基本配置。版本要求:2.11.0及以上版本。 安装Scala插件 Scala开发环境的基本配置。版本要求:0.35.683及以上版本。 安装Python Python开发环境的基本配置。版本要求:Python2
用于开发Flink应用程序的工具。版本要求:2019.1或其他兼容版本。 安装Scala Scala开发环境的基本配置。版本要求:2.11.7。 安装Scala插件 Scala开发环境的基本配置。版本要求:1.5.4。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 7-zip
plugin from disk 在“Choose Plugin File”页面,选择对应版本的Scala插件包,单击“OK”。 在“Plugins”页面,单击“Apply”安装Scala插件。 在弹出的“Plugins Changed”页面,单击“Restart”,使配置生效。 图10 Plugins
plugin from disk 在“Choose Plugin File”页面,选择对应版本的Scala插件包,单击“OK”。 在“Plugins”页面,单击“Apply”安装Scala插件。 在弹出的“Plugins Changed”页面,单击“Restart”,使配置生效。 图10 Plugins
使用Ranger管理员用户rangeradmin登录Ranger管理页面,具体操作可参考登录Ranger WebUI界面。 在首页中单击“HADOOP SQL”区域的组件插件名称如“Hive”。 在“Access”页签单击“Add New Policy”,添加Spark2x权限控制策略。 根据业务需求配置相关参数。
用于开发Flink应用程序的工具。版本要求:14.1.7。 安装Scala Scala开发环境的基本配置。版本要求:2.11.12。 安装Scala插件 Scala开发环境的基本配置。版本要求:1.5.4。 准备开发用户 参考准备Flink应用开发用户章节配置。 安装客户端 参考安装Flink客户端章节配置。
使用Ranger管理员用户rangeradmin登录Ranger管理页面,具体操作可参考登录Ranger WebUI界面。 在首页中单击“YARN”区域的组件插件名称如“Yarn”。 单击“Add New Policy”,添加Yarn权限控制策略。 根据业务需求配置相关参数。 表1 Yarn权限参数
使用Ranger管理员用户rangeradmin登录Ranger管理页面,在首页中单击“EXTERNAL AUTHORIZATION”区域的组件插件名称“OBS”,单击“Add New Policy”,为对应用户的用户组赋予OBS存储路径的“Read”和“Write”的权限,详细操作请
使用Ranger管理员用户rangeradmin登录Ranger管理页面,具体操作可参考登录Ranger WebUI界面。 在首页中单击“YARN”区域的组件插件名称如“Yarn”。 单击“Add New Policy”,添加Yarn权限控制策略。 根据业务需求配置相关参数。 表1 Yarn权限参数
编译并运行MapReduce应用 在程序代码完成开发后,可以在Linux环境中运行应用。 MapReduce应用程序只支持在Linux环境下运行,不支持在Windows环境下运行。 操作步骤 生成MapReduce应用可执行包。 执行mvn package生成jar包,在工程目录
使用Ranger管理员用户rangeradmin登录Ranger管理页面,具体操作可参考登录Ranger WebUI界面。 在首页中单击“HDFS”区域的组件插件名称,例如“hacluster”。 单击“Add New Policy”,添加HDFS权限控制策略。 根据业务需求配置相关参数。 表1 HDFS权限参数
无需重新打包和部署拓扑。 Native Streaming Window API:提供基于窗口的API。 资源调度器:新增基于资源的调度器插件,可以在拓扑定义时指定可使用的最大资源,并且通过配置的方式指定用户的资源配额,从而管理该用户名下的拓扑资源。 State Manageme
MemArtsCC结构 表1 MemArtsCC结构图说明 名称 说明 MemArtsCC SDK 提供OBSA(OBSA,Hadoop客户端插件) FS客户端使用的可访问OBS服务器对象的SDK。 CCSideCar MemArtsCC的管理面服务,提供MemArtsCC服务监控采集、配置下发、服务启停等能力。