检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS 1.5.1.4补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.5.1.4 发布时间 2018-08-23 解决的问题 Spark组件问题: 当carbon表元数据文件较大时导致的查询慢问题。 修复carbon在某些场景下,对数据进行压缩时,出现转换为SHORT_INT失败的问题。
配置YARN-Client和YARN-Cluster不同模式下的环境变量 配置场景 当前,在YARN-Client和YARN-Cluster模式下,两种模式的客户端存在冲突的配置,即当客户端为一种模式的配置时,会导致在另一种模式下提交任务失败。 为避免出现如上情况,添加表1中的配
false表示使用多实例模式。 true表示使用多租户模式。 true spark.thriftserver.proxy.maxThriftServerPerTenancy 多租户模式下,一个租户可启动JDBCServer实例的最大个数。 1 spark.thriftserver.proxy
KrbServer及LdapServer KrbServer及LdapServer基本原理 KrbServer及LdapServer开源增强特性 父主题: 组件介绍
并从Kafka组件接收数据。Kafka配置参见样例数据规划章节。 业务2的数据通过socket接收消息记录,可使用netcat命令用户输入模拟数据源。 使用Linux命令netcat -l -p <port>,启动一个简易的文本服务器。 启动应用程序连接netcat监听的port
并从Kafka组件接收数据。Kafka配置参见样例数据规划章节。 业务2的数据通过socket接收消息记录,可使用netcat命令用户输入模拟数据源。 使用Linux命令netcat -l -p <port>,启动一个简易的文本服务器。 启动应用程序连接netcat监测的port
并从Kafka组件接收数据。Kafka配置参见样例数据规划章节。 业务2的数据通过socket接收消息记录,可使用netcat命令用户输入模拟数据源。 使用Linux命令netcat -l -p <port>,启动一个简易的文本服务器。 启动应用程序连接netcat监测的port
并从Kafka组件接收数据。Kafka配置参见样例数据规划章节。 业务2的数据通过socket接收消息记录,可使用netcat命令用户输入模拟数据源。 使用Linux命令netcat -l -p <port>,启动一个简易的文本服务器。 启动应用程序连接netcat监测的port
并从Kafka组件接收数据。Kafka配置参见样例数据规划章节。 业务2的数据通过socket接收消息记录,可使用netcat命令用户输入模拟数据源。 使用Linux命令netcat -l -p <port>,启动一个简易的文本服务器。 启动应用程序连接netcat监测的port
false表示使用多实例模式 true表示使用多租户模式 true spark.thriftserver.proxy.maxThriftServerPerTenancy 多租户模式下,一个租户可启动JDBCServer实例的最大个数。 1 spark.thriftserver.proxy
依赖的授权项:部分Action存在对其他Action的依赖,需要将依赖的Action同时写入授权项,才能实现对应的权限功能。 IAM项目(Project)/企业项目(Enterprise Project):自定义策略的授权范围,包括IAM项目与企业项目。授权范围如果同时支持IAM项目和企业项目,表示此授权项对应的自
IN_CONTEXT_NAME, "test", KEYTAB); LoginUtil.setZookeeperServerPrincipal(ZOOKEEPER_SERVER_PRINCIPAL_KEY, ZOOKEEPER_DEFAULT_SERVER_PRINCIPAL);
在Windows中调测Presto应用开发 申请一台Windows的ECS访问MRS集群操作Presto。申请ECS访问MRS集群的步骤如下: 在“现有集群”列表中,单击已创建的集群名称。 记录集群的“可用分区”、“虚拟私有云”,以及Master节点的“默认安全组”。 在弹性云服
channels.c1.byteCapacity = 800000 server.channels.c1.byteCapacityBufferPercentage = 20 server.channels.c1.keep-alive = 60 server.sources.r1.channels
KrbServer及LdapServer开源增强特性 集群内服务认证 在使用安全模式的MRS集群中,任意服务间的相互访问基于Kerberos安全架构方案。集群内某个服务(例如HDFS)在启动准备阶段的时候,会首先在Kerberos中获取该服务对应的服务名称sessionkey(即
`lo_partkey` bigint, `lo_suppkey` bigint, `lo_orderdate` date, `lo_orderpriority` varchar(100), `lo_shippriority` int, `lo_quantity` int, `lo_extendedprice`
ALM-25501 KerberosServer请求数高 告警解释 系统每30秒周期性检查KerberosServer节点的处理请求数,并把实际处理的请求数和阈值相比较,当请求数连续多次(默认值为5)超过设定阈值时,系统将产生此告警。 平滑次数可配置,当平滑次数为1,进程连接数小
ALTER MATERIALIZED VIEW 语法 ALTER MATERIALIZED VIEW QUALIFIEDNAME SET PROPERTIES PROPERTY_NAME=PROPERTY_VALUE; 描述 修改物化视图的属性,相关属性可以参考CREATE MATERIALIZED
管理FlinkServer作业 查看FlinkServer作业健康状况 导入导出FlinkServer作业信息 配置FlinkServer作业运行残留信息自动清理 配置FlinkServer作业重启策略 配置FlinkServer作业中添加第三方依赖jar 配置FlinkServer作业中使用UDF
Spark与其他组件的关系 Spark和HDFS的关系 通常,Spark中计算的数据可以来自多个数据源,如Local File、HDFS等。最常用的是HDFS,用户可以一次读取大规模的数据进行并行计算。在计算完成后,也可以将数据存储到HDFS。 分解来看,Spark分成控制端(D