检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
schedulerBacklogTimeout 调度第一次超时时间。 1(s) spark.dynamicAllocation.sustainedSchedulerBacklogTimeout 调度第二次及之后超时时间。 spark.dynamicAllocation.schedulerBacklogTimeout
查询。 Table有schema和primary key属性,且可以划分为多个tablet。 Tablet Tablet是指数据分片,可以指定副本数,存放在多个tablet server上,多个副本中有一个是leader tablet;所有的副本都可以读,但是写操作只有leader
务创建时间/版本号_数据源_任务执行时间.tar.gz”。 “OBS”:表示将备份文件保存在OBS中。 选择此参数值,还需要配置以下参数: “源端路径”:填写备份文件在OBS中保存的完整路径。例如,“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间.tar
访问存储的时间至少长30天。若单独设置转换为归档存储,则没有时间限制。 31天 文件过期删除天数 指定在对象最后一次更新后多少天,受规则影响的对象将过期并自动被OBS删除。过期时间必须大于前两个转换时间的最大值。 32天 碎片过期删除天数 受规则影响的碎片将过期并自动被OBS删除。
表示导入任务的超时时间,默认超时时间为600秒,单位为秒。 若导入任务在设定的时间内未完成则会被系统取消,状态变为“CANCELLED”。默认超时时间为600秒,如果导入的源文件无法在规定时间内完成导入,可以在Stream Load请求中设置单独的超时时间,或调整“stream
署为普通模式,则不需要配置互信。 主备集群必须已配置跨集群拷贝,请参见启用MRS集群间拷贝功能。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 在FusionInsight Manager停止所有待恢复数据的NameNode角色实例,其他的HDFS角
任务创建时间/数据源_任务执行时间.tar.gz”。 OBS 表示从OBS中恢复数据,仅MRS 3.3.0-LTS及之后版本支持。 选择此参数值,还需要配置以下参数: “源端路径”:填写备份文件在OBS中保存的完整路径。例如:“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间
务创建时间/版本号_数据源_任务执行时间.tar.gz”。 “OBS”:表示将备份文件保存在OBS中。 选择此参数值,还需要配置以下参数: “源端路径”:填写备份文件在OBS中保存的完整路径。例如,“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间.tar
可以单独将这些磁盘上的topic的数据老化时间修改为较短时间来解决该问题。 查看topic数据过期时间。 bin/kafka-topics.sh --describe --zookeeper <ZooKeeper集群业务IP>:2181/kafka --topic kktest 设置topic数据过期时间,其中-
相关参数介绍如下: tablename.to.index:表示需修改索引状态的数据表的名称。 indexnames.to.build:指定的需要批量生成数据的索引名,可以同时指定多个,用#号分隔。 hbase.gsi.cleandata.enabled(可选):表示构建索引数据前是否需要清空索引表,默认值为“false”。
会起很多Task。当SQL逻辑中存在Shuffle操作时,会大大增加hash分桶数,严重影响性能。 在小文件场景下,您可以通过如下配置手动指定每个Task的数据量(Split Size),确保不会产生过多的Task,提高性能。 当SQL逻辑中不包含Shuffle操作时,设置此配置项,不会有明显的性能提升。
ClickHouse系统表日志过大时如何添加定期删除策略? 问题现象 客户使用ClickHouse,系统表产生的日志过大,一次性删除会耗费较长时间,客户可以添加定期删除策略,即添加TTL。 处理步骤 MRS 3.3.0及之后版本,在Manager页面,选择“集群 > 服务 > ClickHouse>
正常运行的MapReduce任务会在Job结束以后就清理这些临时文件,但是当Job对应的Yarn任务异常退出时,这些临时文件不会被清理,长时间积攒导致该临时目录下的文件数量越来越多,占用存储空间越来越多。 处理步骤 登录集群客户端。 以root用户登录任意一个Master节点,用户密码为创建集群时用户自定义的密码。
xml”中添加参数: “hbase.regionserver.wal.max.splitters”(默认为2) 如果所有的恢复过程都需要时间,增加初始化监控线程超时时间。 “hbase.master.initializationmonitor.timeout”(默认为3600000ms) 父主题:
务创建时间/版本号_数据源_任务执行时间.tar.gz”。 “OBS”:表示将备份文件保存在OBS中。 选择此参数值,还需要配置以下参数: “源端路径”:填写备份文件在OBS中保存的完整路径。例如,“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间.tar
通常用于重定向SQL执行结果。 登录客户端时,可选-disableISO8601参数,用于控制查询结果的时间列展示格式。不指定该参数会显示年月日时分秒格式,指定则显示时间戳。 如果服务端关闭了SSL配置,则需在客户端需也关闭SSL配置才能通信,操作为: cd 客户端安装目录/IoTDB/iotdb/conf
[-help] delete子命令删除key的所有版本,key是由provider中的<keyname>参数指定,provider是由-provider参数指定。除非-f被指定否则该命令需要用户确认。 查看密钥 hadoop key list[-provider <provider>]
Table Table有schema和primary key属性,且可以划分为多个tablet。 Tablet Tablet是指数据分片,可以指定副本数,存放在多个tablet server上,多个副本中有一个是leader tablet;所有的副本都可以读,但是写操作只有leade
storage.size.in.mb 512 指定要存储在内存中的中间排序数据的大小。达到该指定的值,系统会将数据写入磁盘。单位是MB。 sort.inmemory.size.inmb 1024 指定要保存在内存中的中间排序数据的大小。达到该指定值后,系统会将数据写入磁盘。单位:MB。
10:58:00为Kafka重启时间段。2017/05/11 10:58:00重启成功后对应的“Input Size”的值显示为“0 records”。 图1 Web UI界面部分batch time对应Input Size为0 records 回答 Kafka重启成功后应用会按照batch时间把2017/05/11