检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Replicated*MergeTree系列引擎表同分片下的多个副本数据相互进行同步,MRS针对该场景下的表数据同步进行了状态监控。 约束限制 当前只支持Replicated*MergeTree系列引擎表并且建表语句携带ON CLUSTER关键字的表监控查询。 复制表数据同步 数据同步菜单路径
仅支持SQL类型作业。 拦截和熔断规则会中断SQL查询,请根据实际业务配置合理的值。 静态规则static_0007,因Spark本身存在笛卡尔积限制(通过“spark.sql.crossJoin.enabled”控制,默认为true),若关闭此开关,会先于防御规则拦截。 动态规则不支持carbon表。
merge_tree_metadata_cache.lru_cache_size 1GB 用于缓存part元数据的RocksDB实例中的LRU大小,0表示不限制。 父主题: ClickHouse企业级能力增强
Kafka常用配置参数 本章节内容适用于MRS 3.x及后续版本。 参数入口 请参考修改集群服务配置参数进入Kafka服务参数“全部配置”页面。 常用参数 表1 参数说明 配置参数 说明 缺省值 log.dirs Kafka数据存储目录列表,以逗号分隔多个目录。 %{@auto.detect
Kafka常用配置参数 本章节内容适用于MRS 3.x及后续版本。 参数入口 请参考修改集群服务配置参数进入Kafka服务全部配置页面。 常用参数 表1 参数说明 配置参数 说明 缺省值 log.dirs Kafka数据存储目录列表,以逗号分隔多个目录。 %{@auto.detect
他目录。如果创建内部表时指定location,则创建失败。 开启本功能之后,创建Hive内部表不能执行location。因为对建表语句做了限制,如果数据库中已存在建表时指向非当前默认warehouse目录的表,在执行建库、表脚本迁移、重建元数据操作时需要特别注意,防止错误。 操作步骤
有元数据丢失。 Hive支持开源MySQL和Postgres元数据库,本章节以对接开源MySQL和Postgres数据库进行说明。 约束与限制 当外置元数据到MySQL后,Hive仅表名、字段名、表描述支持中文,其余暂不支持。 适用于MRS 3.x及以后版本。 步骤一:安装数据库并上传驱动包
个服务运行时需要的资源。 静态服务池简介 静态服务池用来指定服务资源的配置。 在服务级别上,静态服务池对各服务可使用的资源进行统一管理: 限制服务使用的资源总量,支持配置Flume、HBase、HDFS、IoTDB、Kafka(Kafka组件仅MRS 3.2.0及之后版本支持静态
origin_col新增列将会被加入到原始列origin_col之后,可以缺省。FIRST只能在嵌套列添加新的子列时使用,禁止top-level列使用FIRST,AFTER没有限制。 示例 alter table h0 add columns(ext0 string); alter table h0 add columns(new_col
KB” state.backend.rocksdb.files.open -1 最大打开句柄数,主要被用在SST文件句柄上,“-1”表示不限制 父主题: Flink性能调优
city”和“subqueueInterval”两个参数决定,“subqueueCapacity”限制subqueue内的Event总容量,“subqueueInterval”限制subqueue保存Event的时长,只有subqueue达到“subqueueCapacity”或
化最小的方式使节点数量满足计划规定范围,即如果需要扩容则扩容到计划节点数量范围的下限,如果需要缩容则缩容到计划节点数量范围的上限。 约束与限制 在大数据应用,尤其是实时分析处理数据的场景中,常常需要根据数据量的变化动态调整集群节点数量以增减资源。MRS的弹性伸缩规则功能支持根据集群负载对集群进行弹性伸缩。
-- dn-6),然后在label-2中选择一个节点,如果用户指定“/dir6”下文件副本数大于3,则多出来的副本均在label-2。 使用限制 配置文件中,“key”、“value”是以“=”、“:”及空白字符作为分隔的。因此,“key”对应的主机名中间请勿包含以上字符,否则会被误认为分隔符。
10s 否 akka.framesize JobManager和TaskManager间最大消息传输大小。当Flink出现消息大小超过限制的错误时,可以增大这个值。单位:b/B/KB/MB。 10485760b 否 akka.watch.heartbeat.interval Akka
致状态后端压力大,计算性能差。使用MultiJoin算子进行宽表拼接计算性能可以提升1倍。 FlinkSQL支持MultiJoin算子使用限制 MultiJoin算子只支持FULL OUTER JOIN和INNER JOIN语法。 MultiJoin算子只支持等值关联。如果有非等值过滤条件,可以使用view提前过滤。
Filepath:需要填写文件或目录的绝对路径。 OVERWRITE:如果使用了这个关键字,目标表(或分区)的数据将被删除,并使用文件中读取的数据来替代。 限制 如果要加载数据到指定分区,用户必须在partition子句中列出表的所有字段。 不支持复杂类型数据,比如Array,Map等。 不支持外部表(external)。
-- dn-6),然后在label-2中选择一个节点,如果用户指定“/dir6”下文件副本数大于3,则多出来的副本均在label-2。 使用限制 配置文件中,“key”、“value”是以“=”、“:”及空白字符作为分隔的。因此,“key”对应的主机名中间请勿包含以上字符,否则会被误认为分隔符。
内容要求:连接balancer写入报错Request Entity Too Large。这是由于Nginx对http请求体大小有限制,而一次写入的数据量超过了这个限制。 规避:修改Nginx配置项client_max_body_size为一个较大的值。 解决:写本地表,不要通过balancer写入数据。
hosts”值为“*”:表示test用户连接后,可以使用任意代理用户,不限制集群节点。 参数“hadoop.proxyuser.test.groups”值为“*”:表示test用户连接后,可以使用任意代理用户,不限制代理用户所在的用户组。 修改如下参数值,切换JDBCServer实例至多实例模式:
终查询结果正确。 索引工具 支持索引一致性检查、索引修复、索引创建/删除/修改状态、索引数据重建等功能。 HBase全局二级索引限制与约束 使用场景限制 GSI不支持与HIndex同时使用,即不支持在同一个数据表上同时创建本地索引与全局索引。 索引表不支持容灾。 索引数据不支持滚动升级。