检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
变更MRS集群的计费模式会同时变更集群所包含的弹性云服务器的计费模式。 云硬盘 变更MRS集群的计费模式会同时变更集群弹性云服务器所挂载云硬盘的计费模式。 按需非共享云硬盘不支持单独变更为包年/包月,需跟随弹性云服务器一起变更为包年/包月,变更后到期时间与云服务器一致。 父主题: 变更计费模式
OpenTSDB OpenTSDB是一个基于HBase的分布式、可伸缩的时间序列数据库。OpenTSDB的设计目标是用来采集大规模集群中的监控类信息,并可实现数据的秒级查询,解决海量监控类数据在普通数据库中查询存储的局限性。 OpenTSDB由时间序列守护进程(TSD)和一组命令
外置数据连接:可以为MRS集群选择关联与当前MRS集群同一虚拟私有云和子网的外置数据连接。元数据将存储于关联的数据库中,不会随当前MRS集群的删除而删除,多个MRS集群可共享同一份元数据。 MRS集群支持的外置数据连接类型为: 安装了Hive组件的集群支持连接“RDS服务PostgreSQL数据库”,且Post
读取文件过程 读取文件步骤的详细描述如下所示: Driver与HDFS交互获取File A的文件信息。 HDFS返回该文件具体的Block信息。 Driver根据具体的Block数据量,决定一个并行度,创建多个Task去读取这些文件Block。 在Executor端执行Task并
Driver与HDFS交互获取File A的文件信息。 HDFS返回该文件具体的Block信息。 Driver根据具体的Block数据量,决定一个并行度,创建多个Task去读取这些文件Block。 在Executor端执行Task并读取具体的Block,作为RDD(弹性分布数据集)的一部分。 写入文件的过程如图2所示。
Hive应用开发简介 Hive介绍 Hive是一个开源的,建立在Hadoop上的数据仓库框架,提供类似SQL的HQL语言操作结构化数据,其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务,从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下:
检查AZ容灾列表中健康状态为“非健康”的AZ所在行的操作列中的“容灾演练”是否为灰色。 是,执行4。 否,执行3。 单击目标AZ行“操作”列中的“恢复”,待恢复后。等待2分钟,刷新页面查看该AZ健康状态。查看是否健康恢复。 是,处理完毕。 否,执行4。 收集故障信息。 以root用户登录主管理节点
afka、Ranger、Presto以及相关依赖服务,滚动重启服务不断服。 MRS 1.9.2.3补丁安装完成之后,需要关闭指标共享,重新打开指标共享。 慢盘隔离特性约束: 隔离慢盘之前无法判断集群节点是否存在客户私有化数据,因此不要在节点数据盘存放个人私有化数据,避免慢盘隔离时对业务造成影响;
executor.memoryOverhead”的值。 详细信息请参考如何在CarbonData中配置非安全内存? 该内存被数据查询和加载共享。所以如果加载和查询需要同时进行,建议将“carbon.unsafe.working.memory.in.mb”和“spark.yarn.executor
executor.memoryOverhead”的值。 详细信息请参考如何在CarbonData中配置非安全内存? 该内存被数据查询和加载共享。所以如果加载和查询需要同时进行,建议将“carbon.unsafe.working.memory.in.mb”和“spark.yarn.executor
rk通信协议是否使用共享密钥执行认证。该认证是确保双边都有相同的共享密钥并被允许通信的基本握手。如果共享密钥不同,通信将不被允许。共享密钥通过如下方式创建: 对于YARN部署的Spark,将spark.authenticate配置为真会自动处理生成和分发共享密钥。每个应用程序会独占一个共享密钥。
量插入操作,此时性能是比较高的。 RDD共享变量 在应用开发中,一个函数被传递给Spark操作(例如map和reduce),在一个远程集群上运行,它实际上操作的是这个函数用到的所有变量的独立复制。这些变量会被复制到每一台机器。通常看来,在任务之间中,读写共享变量显然不够高效。Sp
Storm内核,不同的是,Storm使用的内核版本是1.2.1,Streaming使用的是0.10.0。Streaming组件一般用来在升级场景继承过渡业务,比如之前版本已经部署Streaming并且有业务在运行的情况下,升级后仍然可以使用Streaming。如果是新搭建的集群,则建议使用Storm。
web415页面,访问若遇到415错误,则会重定向到配置的页面。 - 是 jobmanager.web.500-redirect-url web500页面,访问若遇到500错误,则会重定向到配置的页面。 - 是 HTML5安全: 适用于MRS 3.x及之后版本。 说明:HTML5是下一代的Web开发规范,为开发者提
rk通信协议是否使用共享密钥执行认证。该认证是确保双边都有相同的共享密钥并被允许通信的基本握手。如果共享密钥不同,通信将不被允许。共享密钥通过如下方式创建: 对于YARN部署的Spark,将spark.authenticate配置为真会自动处理生成和分发共享密钥。每个应用程序会独占一个共享密钥。
web415页面,访问如果遇到415错误,则会重定向到配置的页面。 是 jobmanager.web.500-redirect-url web500页面,访问如果遇到500错误,则会重定向到配置的页面。 是 HTML5安全: 说明:HTML5是下一代的Web开发规范,为开发者提供了许多新的功能并
具体步骤可参见初始化数据盘对新磁盘进行初始化操作。 执行lsblk命令,查看新增磁盘分区信息。 图2 查看新增磁盘(分区) 使用df -TH获取文件系统类型。 图3 获取文件系统类型 使用对应的文件系统类型对新磁盘(分区)进行格式化。 例如:mkfs.ext4 /dev/sdd1 执行如下命令挂载新磁盘。 mount
以及提供日志显示,帮助用户更细粒度地去开发、配置和调优作业。 Keytab文件 存放用户信息的密钥文件。应用程序采用此密钥文件在产品中进行API方式认证。 归档 用来保证所有映射的键值对中的每一个共享相同的键组。 混洗 从Map任务输出的数据到Reduce任务的输入数据的过程称为Shuffle。
以及提供日志显示,帮助用户更细粒度地去开发、配置和调优作业。 Keytab文件 存放用户信息的密钥文件。应用程序采用此密钥文件在产品中进行API方式认证。 归档 用来保证所有映射的键值对中的每一个共享相同的键组。 混洗 从Map任务输出的数据到Reduce任务的输入数据的过程称为Shuffle。
账号 用户注册华为云时的账号,账号对其所拥有的资源及服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用用户进行日常管理工作。 用户 由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。