检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设置可分配给容器的物理内存数量。单位:MB,取值范围大于0。 建议配置成节点物理内存总量的75%~90%。若该节点有其他业务的常驻进程,请降低此参数值给该进程预留足够运行资源。如果节点的总物理内存空间较大,且无其他业务的常驻进程时,该参数可配置为:总物理内存 - NodeManager的常驻进程所占内存。
将table_name_1的分区转移给table_name_2。 ALTER TABLE table_name_2 EXCHANGE PARTITION (partition_spec) WITH TABLE table_name_1; 同时将table_name_1的多个分区转移给table_name_2。
端提交应用程序,调度器将Job分解为多个Task发送到各个Worker中执行,各个Worker将计算的结果上报给Driver(即Master),Driver聚合结果返回给客户端。 图3 Spark的Master和Worker 在此结构中,有几个说明点: 应用之间是独立的。 每个应
全部企业项目。 单击“确定”,完成日志流的创建。 在日志流页面中,可以查看日志流的名称、企业项目、日志存储时间、创建时间和创建类型。 可以给不同的组件设置不同的日志流进行区分。 主机接入。 在云日志服务管理控制台,选择“接入 > 接入中心”。 在“全部分类”页签单击“云主机ECS”。
errors.count() textFile算子从HDFS读取日志文件,返回file(作为RDD)。 filter算子筛出带“ERROR”的行,赋给errors(新RDD)。filter算子是一个Transformation操作。 cache算子缓存下来以备未来使用。 count算子返回
errors.count() textFile算子从HDFS读取日志文件,返回file(作为RDD)。 filter算子筛出带“ERROR”的行,赋给errors(新RDD)。filter算子是一个Transformation操作。 cache算子缓存下来以备未来使用。 count算子返回
errors.count() textFile算子从HDFS读取日志文件,返回file(作为RDD)。 filter算子筛出带“ERROR”的行,赋给errors(新RDD)。filter算子是一个Transformation操作。 cache算子缓存下来以备未来使用。 count算子返回
Users按钮,在对应用户名所在行勾选“Is Role Admin”,单击“Save”保存配置。 若在对数据库/表进行相关操作时指定了HDFS路径,需参考表2在Ranger中给用户添加HDFS路径的相关权限。 否,创建用户并在Manager赋予用户相关操作权限: 选择“系统 > 权限 > 角色 > 添加角色”。 填
使用WebHCat的REST接口以Streaming方式提交MR任务的前置条件 本接口需要依赖hadoop的streaming包,在以Streaming方式提交MR任务给WebHCat前,需要将“hadoop-streaming-2.7.0.jar”包上传到HDFS的指定路径下:“hdfs:///apps/t
To Live:生存时间),为了保证Join的准确性,需要将表级别的TTL设置为较长时间的过期时间,此时状态后端中保存了大量的已经过期的数据,给状态后端造成了较大的压力。为了减少状态后端的压力,可以单独为左表和右表设置不同的过期时间。不支持where子句。 可通过使用Hint方式单独
select sequence(1,30,5);-- [1, 6, 11, 16, 21, 26] shuffle(x)→ array 描述:根据给的数组随机排列获得一个新的数组。 select shuffle(array[1,2,3,4,5]);-- [1, 5, 4, 2, 3] select
aware.scheduler.user.pools” 导致Storm业务提交后无法正常运行。 修改相关配置项时请严格按照提示描述,确保给每个用户分配的资源合理有效。 修改Storm数据目录 该操作不当会导致服务异常,无法提供服务。 请勿手动操作数据目录。 删除/修改Storm元数据
tmeta_表和hbase:acl表) 检查并删除数据(针对hbase:meta表、_ctmeta_表和hbase:acl表) 权限控制 给用户授权 取消用户授权 HDFS审计日志 权限管理 文件/文件夹访问权限 文件/文件夹owner信息 文件操作 创建文件夹 创建文件 打开文件
解决meta缺少进程可用性健康检查的问题。 LdapServer数据一致性检查增强。 解决Executor扩容逻辑日志优化的问题。 解决tomcat重启过程中给管控面返回心跳服务为null导致扩容失败的问题。 解决mrs/mrsjob/下存在大量application目录未清理的问题。 解决历史作业
gionServer所有的Region进行恢复处理,RegionServer也将进行Region的批量open/close并一次性全部上报给HMaster。 该特性只支持将Region恢复到原来的RegionServer,因此该优化生效的前提为HMaster在创建TRSP时,故障
ark作业,连接Zookeeper失败,导致任务执行超时的问题。 解决Spark连接JDBCServer任务失败的问题。 解决Spark只给视图权限不给表的权限时,Hive可以查询视图,sparksql无法查询视图的问题。 补丁兼容关系 MRS 3.2.0-LTS.1.6补丁包中包含所有MRS
failed. 创建/修改策略失败。 请检测策略是否正确 400 MRS.0209 Assign policy to agency failed. 给委托赋予策略失败。 请检查委托是否正确 400 MRS.0210 No secu_admin policy. 没有secu_admin权限。
master需求。 capability object Capability对象。 vcores, memory, .. int 数值可消耗资源属性,给该命令定义分配“单元”。 count int 单元所需的数量。 relaxlocality boolean 本地化需求优先,如果不能满足则不强制满足。
master需求。 capability object Capability对象。 vcores, memory, .. int 数值可消耗资源属性,给该命令定义分配“单元”。 count int 单元所需的数量。 relaxlocality boolean 本地化需求优先,如果不能满足则不强制满足。
master需求。 capability object Capability对象。 vcores, memory, .. int 数值可消耗资源属性,给该命令定义分配“单元”。 count int 单元所需的数量。 relaxlocality boolean 本地化需求优先,如果不能满足则不强制满足。