检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措施,包括云安全战略、责任共担模型、合规与隐私、安全组织与人员、基础设施安全、租户服务与租户安全、工程安全、运维运营安全、生态安全。
create table tab_3(...) stored as textfile; ZSTD压缩格式的表和其他普通压缩表的SQL操作没有区别,可支持正常的增删查及聚合类SQL操作。 父主题: Hive数据存储及加密配置
有大量分区时执行drop partition操作失败 问题背景与现象 执行drop partitions操作,执行异常: MetaStoreClient lost connection. Attempting to reconnect. | org.apache.hadoop.hive
配置定时备份告警与审计信息 用户通过修改配置文件,实现定时备份FusionInsight Manager的告警信息、Manager审计信息以及所有服务的审计信息到指定的存储位置。 备份支持使用SFTP协议或FTP协议,FTP协议未加密数据可能存在安全风险,建议使用SFTP。 本章节适用于MRS
检查是否防火墙禁用端口。 执行命令lsof -i :20012查询主备节点的心跳端口是否打开,有查询结果说明端口已经开放,否则说明端口被防火墙禁用。 是,执行13。 否,执行16。 执行命令iptables -P INPUT ACCEPT,防止与服务器断开。 清除防火墙。 iptables
配置Kafka数据传输加密 配置HDFS数据传输加密 配置Spark数据传输加密 配置ZooKeeper数据传输加密 配置Controller与Agent间数据传输加密 配置受信任IP地址访问LDAP 加密HFile和WAL内容 配置HBase只读模式集群允许修改数据的IP白名单 配置LDAP输出审计日志
int ); select cast(186 as varchar); try_cast(value AS type) → type 与cast()相似,区别是转换失败返回null。 select try_cast(1860 as tinyint); _col0 -------
响集群性能,请谨慎开启。 该章节仅适用于MRS 3.x及之后版本。 配置LDAP防火墙策略 在双平面组网的集群中,由于LDAP部署在业务平面中,为保证LDAP数据安全,建议通过配置整个集群对外的防火墙策略,关闭LDAP相关端口。 登录FusionInsight Manager。 选择“集群
资源量,优化客户业务运行环境,提高集群的效率。 在一个复杂的集群环境中,多种服务共享使用集群资源,但是各服务的资源使用周期可能会有比较大的区别。 例如以下业务场景,对于一个银行客户: 在白天HBase查询服务的业务多。 在晚上查询服务的业务少而Hive分析服务业务多。 如果只给每个服务设置固定的资源可能会导致:
用户名和域名。在运维管理或应用开发的场景中,需要在客户端认证用户身份后才能连接到集群服务端。系统操作运维与业务场景中主要使用的用户分为“人机”用户和“机机”用户。二者主要区别在于“机机”用户密码由系统随机生成。 Kerberos认证 Kerberos认证支持两种方式:密码认证及k
MRS支持的角色与组件对应表 表1 MRS支持的角色与组件对应表 角色名 组件名 OMSServer OMSServer NameNode HDFS Zkfc HDFS JournalNode HDFS DataNode HDFS ResourceManager Yarn NodeManager
准备Eclipse与JDK 选择Windows开发环境下,安装Eclipse,安装JDK。 开发环境安装Eclipse程序,安装要求Eclipse使用4.2或以上版本。 开发环境安装JDK程序,安装要求JDK使用1.8版本。 若使用IBM JDK,请确保Eclipse中的JDK配置为IBM
准备Eclipse与JDK 操作场景 开发环境可以搭建在Windows环境下。 操作步骤 安装Eclipse程序。安装要求Eclipse使用3.0及以上版本。 安装JDK程序。安装要求JDK使用1.7及或者1.8版本,支持IBM JDK和Oracle JDK。 若使用IBM JD
一般情况下,建议就近选择靠近您或者您的目标用户的区域,可以减少网络时延,提高访问速度。但在基础设施、BGP网络品质、资源的操作与配置等方面,同一个国家各个区域间区别不大,如果您或者您的目标用户在同一个国家,可以不用考虑不同区域造成的网络时延问题。 在除中国大陆以外的亚太地区的用户,可以
准备Eclipse与JDK 前提条件 MRS服务集群开启了Kerberos认证 操作场景 在Windows环境下需要安装Eclipse和JDK。 操作步骤 开发环境安装Eclipse程序,版本要求Eclipse使用4.2或以上版本。 开发环境安装JDK程序,版本要求JDK使用1.7或者1
用户名和域名。在运维管理或应用开发的场景中,需要在客户端认证用户身份后才能连接到集群服务端。系统操作运维与业务场景中主要使用的用户分为“人机”用户和“机机”用户。二者主要区别在于“机机”用户密码由系统随机生成。 Kerberos认证 Kerberos认证支持两种方式:密码认证及k
不支持企业项目,表示仅能在IAM中给用户组授权并生效,如果在企业管理中授权,则该自定义策略不生效。关于IAM项目与企业项目的区别,详情请参见:IAM与企业管理的区别。 “√”表示支持,“x”表示暂不支持。 表1 API授权项列表 权限 对应API接口 授权项(Action) IAM项目
可能是两台主机处于不同VPC网络中。 密码填写错误。 远端主机开启了防火墙。 处理步骤 两台主机处于不同VPC网络中 放开远端主机的22端口。 密码填写错误 请检查密码是否正确,密码中不能有特殊符号。 远端主机开启防火墙 先将这个MRS集群客户端下载到服务器端主机,然后通过Linux提供的scp命令复制到远端主机。
在创建集群时的组件列表中不呈现。 MRS组件的版本号通常与组件开源版本号保持一致。 MRS集群内各组件不支持单独升级,请根据实际需要选择对应版本的集群。 LTS(Long Term Support)版本集群与普通版本集群区别可参考MRS集群版本说明。 表1 MRS组件版本信息 MRS支持的组件
查询用户(组)与IAM委托的映射关系 功能介绍 获取用户(组)与IAM委托之间的映射关系的详细信息。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/agency-mapping 表1 路径参数