检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作场景 频繁的数据获取导致在存储目录中产生许多零碎的CarbonData文件。由于数据排序只在每次加载时进行,所以,索引也只在每次加载时执行。这意味着,对于每次加载都会产生一个索引,随着数据加载数量的增加,索引的数量也随之增加。由于每个索引只在一次加载时工作,索引的性能被降低。C
操作场景 频繁的数据获取导致在存储目录中产生许多零碎的CarbonData文件。由于数据排序只在每次加载时进行,所以,索引也只在每次加载时执行。这意味着,对于每次加载都会产生一个索引,随着数据加载数量的增加,索引的数量也随之增加。由于每个索引只在一次加载时工作,索引的性能被降低。C
成集群的扩缩容,避免出现增加或减少资源的延后。 弹性伸缩规则与资源计划均可触发弹性伸缩,两者既可同时配置也可单独配置。资源计划与基于负载的弹性伸缩规则叠加使用可以使得集群节点的弹性更好,足以应对偶尔超出预期的数据峰值出现。 当某些业务场景要求在集群扩缩容之后,根据节点数量的变化对
Master承担了以前的TaskTracker的一些角色,ResourceManager承担了JobTracker的角色。 Application Master管理一个在YARN内运行的应用程序的每个实例。Application Master负责协调来自ResourceManager的资源,并
旧版本集群升级到新版本后,LDAP管理员密码将继承旧集群的密码策略,为保证系统安全,建议集群升级后及时修改密码。 对系统的影响 MRS 2.x及之前版本,修改密码需要重启全部服务,服务在重启时无法访问。 MRS 3.1.0版本集群: 修改LdapServer服务的用户密码为高危操作,需要重启KrbS
UDF,参数GEO_HASH_INDEX_COLUMN和polygon表的POLYGON_COLUMN。Polygon_column列是一系列的点(经纬度列)。Polygon表的每一行的第一个点和最后一个点必须是相同的。Polygon表的每一行的所有点连接起来形成一个封闭的几何对象。 UDF输入参数: 参数 类型
IDEA的菜单栏依次选择“Run > Edit Configurations”,在弹出的会话框中设置运行用户。 -DHADOOP_USER_NAME=test 图1 参数配置 用户可向管理员咨询运行用户。test在这里只是举例,若需运行Colocation相关操作的样例代码,则
13 以上表格中加粗的版本为现网全网开放的主力版本,其他版本为受限白名单方式开放,需联系技术支持申请白名单开通。 补充说明: 由于历史版本的EOS时间较早, 已经EOS的版本将提供过渡期服务支持截止至2024年8月30日,即在2024年8月30日之后EOS的版本停止提供服务。 版本EOX后的建议策略
以round-robin的形式将元素分区到下游操作的子集中。 说明: 查看代码和rebalance的方式是一样的。 def broadcast: DataStream[T] 广播每个元素到所有分区。 提供设置eventtime属性的能力 表6 提供设置eventtime属性的能力的相关接口 API
以round-robin的形式将元素分区到下游操作的子集中。 说明: 查看代码和rebalance的方式是一样的。 def broadcast: DataStream[T] 广播每个元素到所有分区。 提供设置eventtime属性的能力 表6 提供设置eventtime属性的能力的相关接口 API
以round-robin的形式将元素分区到下游操作的子集中。 说明: 查看代码和rebalance的方式是一样的。 def broadcast: DataStream[T] 广播每个元素到所有分区。 提供设置eventtime属性的能力 表6 提供设置eventtime属性的能力的相关接口 API
以round-robin的形式将元素分区到下游操作的子集中。 说明: 查看代码和rebalance的方式是一样的。 def broadcast: DataStream[T] 广播每个元素到所有分区。 提供设置eventtime属性的能力 表6 提供设置eventtime属性的能力的相关接口 API
uest、sendHttpDeleteRequest方法,发送POST、GET、PUT、DELETE请求,执行登录认证、添加用户、查找用户、修改用户、删除用户的操作。 运行“ExportUsers”类,运行成功会有如下日志信息: 2020-10-19 14:25:02,845 INFO
的所有行。在没有ORDER BY的情况下,所有行都被视为对等行,因此未绑定的前导和当前行之间的范围等于未绑定的前导和未绑定的后续之间的范围。 例如:下面的查询将salary表中的信息按照每个部门员工工资的大小进行排序。 --创建数据表并插入数据 create table salary
该配置指定了表上并发操作过程中所要求的锁的类型。 有以下几种类型锁实现方式: LOCALLOCK:基于本地文件系统的文件来创建的锁。该锁只适用于一台机器上只运行一个Spark Driver(或者JDBCServer)的情况。 HDFSLOCK:基于HDFS文件系统上的文件来创建的锁。该锁适用于集群
该配置指定了表上并发操作过程中所要求的锁的类型。 有以下几种类型锁实现方式: LOCALLOCK:基于本地文件系统的文件来创建的锁。该锁只适用于一台机器上只运行一个Spark Driver(或者JDBCServer)的情况。 HDFSLOCK:基于HDFS文件系统上的文件来创建的锁。该锁适用于集群
同一个集群的自定义自动化脚本名称不允许相同。 只能由英文字母、数字、空格以及“_”和“-”组成,不能以空格开头,且长度为[1-64]个字符。 默认取值: 不涉及 uri 是 String 参数解释: 自定义自动化脚本的路径。设置为OBS桶的路径或虚拟机本地的路径。 OBS桶的路径:直
afka的监控指标“未完全同步的Partition总数”进行查看。 Kafka滚动重启过程中,建议设置客户端Producer的配置参数“acks”的值为“-1”(配置方式和其他Producer配置参数的配置方式一致),否则在逐个重启Broker实例的瞬间有丢失少量数据的风险。设置
长时间运行的集群会因为曾经删除过大量的文件,或者集群中的节点做磁盘扩容等操作导致节点上出现磁盘间数据不均衡的现象。磁盘间数据不均衡会引起HDFS整体并发读写性能的下降或者因为不恰当的HDFS写策略导致业务故障。此时需要平衡节点磁盘间的数据密度,防止异构的小磁盘成为该节点的性能瓶颈。 本章节适用于MRS 3
长时间运行的集群会因为曾经删除过大量的文件,或者集群中的节点做磁盘扩容等操作导致节点上出现磁盘间数据不均衡的现象。磁盘间数据不均衡会引起HDFS整体并发读写性能的下降或者因为不恰当的HDFS写策略导致业务故障。此时需要平衡节点磁盘间的数据密度,防止异构的小磁盘成为该节点的性能瓶颈。 本章节适用于MRS 3