检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
conf”配置文件中调整如下参数。 表1 参数说明 参数 场景 描述 默认值 spark.sql.tungsten.enabled / 类型为Boolean。 当设置的值等于true时,表示开启tungsten功能,即逻辑计划等同于开启codegeneration,同时物理计划使用对应的tungsten执行计划。
value>键值对上,也就是说,框架把作业的输入作为一组<key,value>键值对,同样也产出一组<key,value>键值对作为作业的输出,这两组键值对的类型可能不同。对单个map和reduce而言,对键值对的处理为单线程串行处理。 框架需要对key和value的类(classes)进行序列化操
value>键值对上,也就是说,框架把作业的输入作为一组<key,value>键值对,同样也产出一组<key,value>键值对作为作业的输出,这两组键值对的类型可能不同。对单个map和reduce而言,对键值对的处理为单线程串行处理。 框架需要对key和value的类(classes)进行序列化操
是否开启批量加载数据复制功能。参数值类型为Boolean。开启批量加载数据复制功能后该参数须在主集群中设置为“true”。 false hbase.replication.cluster.id 源HBase集群ID。开启批量加载数据复制功能必须设置该参数,在源集群定义,参数值类型为String。 -
aults.conf”配置文件中调整如下参数。 表1 参数说明 参数 描述 默认值 spark.sql.tungsten.enabled 类型为Boolean。 当设置的值等于true时,表示开启tungsten功能,即逻辑计划等同于开启codegeneration,同时物理计划使用对应的tungsten执行计划。
m-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 Tez日志列表 日志类型 日志文件名 描述 运行日志 tezui.out TezUI运行环境信息日志 tezui.log TezUI进程的运行日志 tezui-omm-<日期>-gc
ymmdd>.编号.log.gz”。最多保留最近的10个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 IoTDB日志列表 日志类型 日志文件名 描述 运行日志 log-all.log IoTDB服务全部日志。 log-error.log IoTDB服务错误日志。 log-measure
仅当集群类型为分析集群时执行8-9分别记录主备节点的IP。 在Manager页面右上方查看图形的右侧数字,确保该数字显示为“0”表示集群的运行任务数为0。 单击“主机 ”,若集群类型为分析集群,则勾选9记录的“NameNode”的业务IP所对应的主机前的复选框。若集群类型为流式集
行为列表: 将存储策略设置为给定的数据层名称 迁移到其他文件夹 为文件设置新的副本数 删除文件 设置节点标签(NodeLabel) 表2 行为类型 行为类型 描述 所需参数 MARK 为确定数据的冷热度并设置相应的数据存储策略。 <param> <name>targettier</name>
取值范围: 不涉及 默认取值: 不涉及 表4 ResourcesPlan 参数 是否必选 参数类型 描述 period_type 是 String 参数解释: 资源计划的周期类型,当前只允许以下类型:daily。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 start_time
hoodie.hudicow.consume.mode = INCREMENTAL;,但该参数仅限于增量视图查询,不能用于Hudi表的其他类型查询,和其他表的查询。 恢复配置可设置set hoodie.hudicow.consume.mode = SNAPSHOT;或任意值。 父主题:
regex) 查看匹配指定正则表达式格式的用户表。该方法还有另外两个重载的方法,一个入参类型为Pattern;一个入参为空,默认查看所有用户表。该方法的作用与listTables类似,只是该方法返回类型为TableName[]。 TableName[] listTableNames(final
GRANULARITY granularity_value Expr:属性表达式,基于字段或者字段的表达式来创建索引; type(...):支持的索引类型,minmax、set等; Granularity:创建索引的记录粒度。比如index_granularity = 8192,granul
regex) 查看匹配指定正则表达式格式的用户表。该方法还有另外两个重载的方法,一个入参类型为Pattern;一个入参为空,默认查看所有用户表。该方法的作用与listTables类似,只是该方法返回类型为TableName[]。 TableName[] listTableNames(final
ONLY),磁盘(DISK_ONLY),内存+磁盘(MEMORY_AND_DISK)等。 RDD上支持两种类型的操作:Transformation和Action,这两种类型的常用方法如表1和表2所示。 表1 Transformation 方法 说明 map[U](f: (T) =>
ONLY),磁盘(DISK_ONLY),内存+磁盘(MEMORY_AND_DISK)等。 RDD上支持两种类型的操作:Transformation和Action,这两种类型的常用方法如表1和表2所示。 表1 Transformation 方法 说明 map[U](f: (T) =>
请求Body参数 参数 是否必选 参数类型 描述 cluster_name 是 String 参数解释: 新的集群名称。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 result String 参数解释:
value>键值对上,也就是说,框架把作业的输入作为一组<key,value>键值对,同样也产出一组<key,value>键值对作为作业的输出,这两组键值对的类型可能不同。对单个map和reduce而言,对键值对的处理为单线程串行处理。 框架需要对key和value的类(classes)进行序列化操
权限。此机制为Hive实现,SparkSQL与Hive保持一致。 Spark不支持struct数据类型中列名称含有特殊字符(除字母、数字、下划线外的其他字符)。如果struct类型中列名称含有特殊字符,在FusionInsight Manager的“编辑角色”页面进行授权时,该列将无法正确显示。
“作业浏览器”将显示作业以下信息: 表1 MRS作业属性介绍 属性名 描述 名称 表示作业的名称。 用户 表示启动该作业的用户。 类型 表示作业的类型。 状态 表示作业的状态,包含“成功”、“正在运行”、“失败”。 进度 表示作业运行进度。 组 表示作业所属组。 开始 表示作业开始时间。