检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。 配置集群安全组规则。 在集群“概览”界面,选择“添加安全组规则 > 管理安全组规则”。 在“入方向规则”页签,选择“添加规则”,在“添加入方向规则”
扩容成功后,可以在集群详情的“节点管理”页签查看集群的节点信息。 添加Task节点 MRS集群创建成功之后,如果需要规划Task类型的节点组进行弹性伸缩,可通过手动添加节点组的方式进行配置。 “自定义”类型集群添加Task节点操作步骤: 在集群详情页面,选择“节点管理”页签,单击
keytab 文件上传到客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 编译打包前,样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如:“/opt/female/user
用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。 图1 修改hosts文件中的IP信息 配置集群安全组规则。 在集群“概览”界面,选择“添加安全组规则 > 管理安全组规则”。
6。 “服务器IP地址”:填写NAS服务器IP地址。 “端口号”:填写CIFS协议连接NAS服务器使用的端口号,默认值为“445”。 “用户名”:填写配置CIFS协议时设置的用户名。 “密码”:填写配置CIFS协议时设置的密码。 “源端路径”:填写备份文件在NAS服务器中保存的完
据集群及其他相关云资源的统一管理。 您可以在创建集群时添加标签,也可以在集群创建完成后,在集群的详情页添加标签,您最多可以给集群添加10个标签。 节点的标签仅支持在节点创建完成后,在节点的标签页添加标签,您最多可以给节点添加10个标签。 父主题: 集群管理
HetuEngine交互查询引擎概述 HetuEngine能够支持多种数据源的快速联合查询并提供可视化的数据源配置、管理页面,用户可通过HSConsole界面快速添加数据源。 当前版本HetuEngine支持对接的数据源如下表所示。 表1 HetuEngine对接数据源一览表 HetuEngine模式 数据源
该用户需要从属于hadoop、supergroup、hive组,同时添加Oozie的角色操作权限。若使用Hive多实例,该用户还需要从属于具体的Hive实例组,如hive3。 用户同时还需要至少有manager_viewer权限的角色。 获取运行状态的Oozie服务器(任意实例)URL,如“https://10
该用户需要从属于hadoop、supergroup、hive组,同时添加Oozie的角色操作权限。如果使用Hive多实例,该用户还需要从属于具体的Hive实例组,如hive3。 用户同时还需要至少有manager_viewer权限的角色。 获取运行状态的Oozie服务器(任意实例)URL,如“https://10
编辑驱动设置 单击“添加文件”,选择准备好的“phoenix-5.0.0-HBase-2.0-client.jar”,如果有多个驱动包,需先删除,只保留手动添加的“phoenix-5.0.0-HBase-2.0-client.jar”。 图6 删除原有的驱动包 图7 添加Phoenix
例如,用户可以选择操作系统为Euler的弹性云服务器准备操作。 同时为弹性云服务分配足够的磁盘空间,例如“40GB”。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 如果不同,请修改弹性云服务器安全组或配置弹性云服务器安全组的出入规则允许MRS集群所有安全组的访问。
弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。 将krb5.conf文件中的IP地址修改为对应IP的主机名称。 配置集群安全组规则。 在集群“概览”界面,选择“添加安全组规则 > 管理安全组规则”。
说明:Web Service客户端和服务器间使用相同的编码方式,是为了防止出现乱码现象,也是实施输入校验的基础。 安全加固:web server响应消息统一采用UTF-8字符编码。 支持IP白名单过滤: 说明:防止非法用户登录,需在web server侧添加IP Filter过滤源IP非法的请求。
Spark的配置项,不仅可以在配置文件中设置,也可以在命令中指定参数值。 在Spark客户端,应用执行命令添加如下内容设置参数值,命令执行完成后立即生效。在--conf后添加参数名称及其参数值,例如: --conf spark.eventQueue.size=50000 父主题:
其他不同组件的完整访问策略配置样例参考: 添加HDFS的Ranger访问权限策略 添加HBase的Ranger访问权限策略 添加Hive的Ranger访问权限策略 添加Yarn的Ranger访问权限策略 添加Spark2x的Ranger访问权限策略 添加Kafka的Ranger访问权限策略 添加Storm的Ranger访问权限策略
其他不同组件的完整访问策略配置样例参考: 添加CDL的Ranger访问权限策略 添加HDFS的Ranger访问权限策略 添加HBase的Ranger访问权限策略 添加Hive的Ranger访问权限策略 添加Yarn的Ranger访问权限策略 添加Spark2x的Ranger访问权限策略 添加Kafka的Ranger访问权限策略
配置Hive列加密功能 操作场景 Hive支持对表的某一列或者多列进行加密;在创建Hive表时,可以指定要加密的列和加密算法。当使用insert语句向表中插入数据时,即可实现将对应列加密。列加密只支持存储在HDFS上的TextFile和SequenceFile文件格式的表。Hive列加密不支持视图以及Hive
说明:Web Service客户端和服务器间使用相同的编码方式,是为了防止出现乱码现象,也是实施输入校验的基础。 安全加固:web server响应消息统一采用UTF-8字符编码。 支持IP白名单过滤: 说明:防止非法用户登录,需在web server侧添加IP Filter过滤源IP非法的请求。
conf文件中的IP地址修改为对应IP的主机名称。 配置集群安全组规则。 在集群“概览”界面,选择“添加安全组规则 > 管理安全组规则”。 在“入方向规则”页签,选择“添加规则”,在“添加入方向规则”窗口配置Windows的IP和21730TCP、21731TCP/UDP、21732TCP/UDP端口。
nux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。 运行任务 在运行样例程序时需要指定