检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作系统 开发环境和运行环境：Linux系统。 安装Python 用于开发Hive应用程序的工具，版本要求不低于2.6.6，最高不超过2.7.13。 安装setuptools Python开发环境的基本配置，版本要求5.0以上。 Python开发工具的详细安装配置可参见配置Hive Python样例工程。
配置Spark Core广播变量 操作场景 Broadcast（广播）可以把数据集合分发到每一个节点上，Spark任务在执行过程中要使用这个数据集合时，就会在本地查找Broadcast过来的数据集合。如果不使用Broadcast，每次任务需要数据集合时，都会把数据序列化到任务里面，不但耗时，还使任务变得很大。
主机名和IP地址请保持一一对应。 未安装HBase客户端时： Linux环境已安装JDK，版本号需要和IntelliJ IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时，需要在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
安装MRS集群客户端 安装客户端（3.x版本） 安装客户端（2.x及之前版本）
配置Spark Core广播变量 操作场景 Broadcast（广播）可以把数据集合分发到每一个节点上，Spark任务在执行过程中要使用这个数据集合时，就会在本地查找Broadcast过来的数据集合。如果不使用Broadcast，每次任务需要数据集合时，都会把数据序列化到任务里面，不但耗时，还使任务变得很大。
加载数据的实质是将数据拷贝到HDFS上指定表的目录下。 “LOAD DATA LOCAL INPATH”命令可以完成从本地文件系统加载文件到Hive的需求，但是当指定“LOCAL”时，这里的路径指的是当前连接的“HiveServer”的本地文件系统的路径，同时由于当前的“Hive
应着FlumeServer实例，直接部署在集群内部。而客户端部署更灵活，可以部署在集群内部，也可以部署在集群外。它们之间没有必然联系，都可以独立工作，并且提供的功能是一样的。 Flume客户端需要单独安装，支持将数据直接导到集群中的HDFS和Kafka等组件上，也可以结合Flume服务端一起使用。
3.x及之后版本客户端的安装请参考安装客户端（3.x及之后版本）。 如果集群外的节点已安装客户端且只需要更新客户端，请使用安装客户端的用户例如“root”。 在Core节点安装客户端 登录MRS Manager页面，选择“服务管理 > 下载客户端”下载客户端安装包至主管理节点。 如
tor的驱动连接数据源，读取数据源元数据和对数据进行增删改查等操作。 Catalog：HetuEngine中一个catalog配置文件对应一个数据源，一个数据源可以有多个不同catalog配置，可以通过数据源的properties文件进行配置。 Schema：对应数据库的Schema名称。
集群内用户密码的过期时间如何查询和修改？ 查询密码有效期 查询组件运行用户（人机用户、机机用户）密码有效期： 以客户端安装用户，登录安装了客户端的节点。 执行以下命令，切换到客户端目录，例如“/opt/Bigdata/client”。 cd /opt/Bigdata/client
reserved”来配置预留磁盘空间大小。配置较小的数值不能满足更大的磁盘要求。但对于更小的磁盘配置更大的数值将浪费大量的空间。 为了避免这种情况，添加一个新的参数“dfs.datanode.du.reserved.percentage”来配置预留磁盘空间占总磁盘空间大小的百分比，那样可以基于总的磁盘空间来预留磁盘百分比。
可以充分利用集群的计算和存储能力，完成海量数据的处理。企业自行部署Hadoop系统有成本高，周期长，难运维和不灵活等问题。 针对上述问题，华为云提供了大数据MapReduce服务（MRS），MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。M
在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录 问题 系统长时间运行后，在客户端安装节点的/tmp目录下，发现残留了很多blockmgr-开头和spark-开头的目录。 图1 残留目录样例 回答 Spark任务在运行过程中，driver会
图1所示。 选择待添加的安全组规则所在安全组，该安全组在创建群时配置。 添加安全组规则，默认填充的是用户访问公网IP地址9022端口的规则，如需开放多个IP段为可信范围用于访问MRS Manager页面，请参考添加安全组规则。如需对安全组规则进行查看，修改和删除操作，请单击“管理安全组规则”。
紧急 否 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 部分ClickHouseServer实例不可用。 可能原因 安装或扩容过程中，实例数或分配方式不能满足拓扑要求。 处理步骤
”。 图5 配置Modules 在“Dependencies”页面，修改“Module SDK”为“SDKs”中添加的JDK。 图6 修改“Module SDK” 单击“Apply”，单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述，增加开源镜像仓地址等配置信息到本地Maven的“setting
默认情况下，安全模式下的大数据集群用户只能访问本集群中的资源，无法在其他安全模式集群中进行身份认证并访问资源。 集群互信概念介绍 域 每个系统用户安全使用的范围定义为“域”，不同的Manager系统需要定义唯一的域名。跨Manager访问实际上就是用户跨域使用。 用户加密 配置跨Manag
在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录 问题 系统长时间运行后，在客户端安装节点的/tmp目录下，发现残留了很多blockmgr-开头和spark-开头的目录。 图1 残留目录样例 回答 Spark任务在运行过程中，driver会
索引列的快速查询。 索引TTL 支持索引表TTL。用于支持数据表开启TTL的场景，为了保障与数据表的一致性，索引表TTL将自动继承数据表索引列和覆盖列的TTL，不支持手动指定。 索引在线变更 支持索引在线创建、删除和修改状态，不影响数据表读写。 索引在线修复 当查询命中的索引数据
API：提供基于窗口的API。 资源调度器：新增基于资源的调度器插件，可以在拓扑定义时指定可使用的最大资源，并且通过配置的方式指定用户的资源配额，从而管理该用户名下的拓扑资源。 State Management：提供带检查点机制的Bolt接口，当事件失败时，Storm会自动管理bolt的状态并且执行恢复。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
