检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
AvailableSpaceBlockPlacementPolicy host2tags 配置DataNode主机与标签的对应关系。 主机名称支持配置IP扩展表达式(如192.168.1.[1-128]或者192.168.[2-3].[1-128],且IP必须为业务IP),或者为前后加上
true 指定是否在查询处理中启用offheap。 carbon.load.sort.scope local_sort 指定加载操作的排序范围。支持两种类型的排序,batch_sort和local_sort。选择batch_sort将提升加载性能,但会降低查询性能。 说明: local
8*“yarn.app.mapreduce.am.resource.mb” 参考规格: ApplicationMaster配置如下时,可以同时支持并发Container数为2.4万个。 “yarn.app.mapreduce.am.resource.mb”=2048 “yarn.app
selected (1.551 seconds) 从CSV文件加载数据到CarbonData表。 根据所要求的参数运行命令从CSV文件加载数据,且仅支持CSV文件。LOAD命令中配置的CSV列名,需要和CarbonData表列名相同,顺序也要对应。CSV文件中的数据的列数,以及数据格式需要和CarbonData表匹配。
sparkuser 执行Spark shell命令。 Spark常用的命令如下所示: spark-shell 提供了一个简单的调试工具,支持Scala语言。 在shell控制台执行: spark-shell 即可进入Scala交互式界面,从HDFS中获取数据,再操作RDD进行计算,输出并打印结果。
2.3为例,提示Successfully installed JayDeBeApi-1.2.3表示已安装成功。 客户端机器必须安装Java,支持的版本可参考表1中的“安装JDK”。 获取Python3样例代码。 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\het
node-cache-short-circuit.enable”的不同配置控制是否允许访问ECS元数据接口,从而控制是否允许触发ECS流控。 MRS集群支持通过委托获取临时AKSK访问OBS。临时AKSK通过ECS元数据接口获取。ECS元数据接口有单机器5分钟140次的流控阈值,触发流控后机器
类型”中选择“HBASE”,设置数据源信息。 表1 输入设置参数 参数名 解释说明 示例 HBase实例 在HBase作业中,Loader支持从集群可添加的所有HBase服务实例中选择任意一个。如果选定的HBase服务实例在集群中未添加,则此作业无法正常运行。 HBase 个数
在选择迁移节点界面,填写“迁入节点主机名”、“迁出节点主机名”,单击“下一步”。 “迁入节点主机名”与“迁出节点主机名”只能各填写一个主机名,不支持多节点迁移。 具体的参数值可以在ClickHouse服务界面单击“实例”页签,查看当前ClickHouseServer实例所在“主机名称”列获取。
类型”中选择“HBASE”,设置数据源信息。 表1 输入设置参数 参数名 解释说明 示例 HBase实例 在HBase作业中,Loader支持从集群可添加的所有HBase服务实例中选择任意一个。如果选定的HBase服务实例在集群中未添加,则此作业无法正常运行。 HBase 个数
且会匹配不足36个字节截断前缀索引) 。 超过亿级别的数据,如果有模糊匹配或者等值/in条件,可以使用倒排索引(Doris 2.x版本开始支持)或者Bloomfilter。如果是低基数列的正交查询适合使用bitmap索引(bitmap索引的基数在10000~100000之间效果较好)。
port”,获取HSBroker端口号。 user 访问HetuServer的用户名,即在集群中创建的“人机”用户的用户名。 SSL 是否使用HTTPS连接,默认为“false”。 getStatementStatus() 返回当前SQL执行语句的执行状态,一共十一种状态:‘RUNNING’
1/sql-programming-guide.html#distributed-sql-engine。 Beeline 开源社区提供的Beeline连接方式,请参见:https://cwiki.apache.org/confluence/display/Hive/HiveServer2+Clients。 sh
取值范围: 不涉及 默认取值: 不涉及 masterDataVolumeType String 参数解释: Master节点数据磁盘存储类别,目前支持SATA、SAS和SSD。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 masterDataVolumeSize Integer
默认值“0 1 * * 6”表示在每周六的1点执行任务。仅在启用自动执行Balance功能时有效。 修改此参数时,表达式介绍如表1所示。支持“*”表示连续的时间段。 表1 执行表达式参数解释 列 说明 第1列 分钟,参数值为0~59。 第2列 小时,参数值为0~23。 第3列 日期,参数值为1~31。
默认值“0 1 * * 6”表示在每周六的1点执行任务。仅在启用自动执行Balance功能时有效。 修改此参数时,表达式介绍如表1所示。支持“*”表示连续的时间段。 表1 执行表达式参数解释 列 说明 第1列 分钟,参数值为0~59。 第2列 小时,参数值为0~23。 第3列 日期,参数值为1~31。
例如租户“ta1”,默认HDFS存储目录为“tenant/ta1”。第一次创建租户时,系统自动在HDFS根目录创建“/tenant”目录。支持自定义存储路径。 否 租户不可用 /apps{1~5}/ 固定目录 WebHCat使用到Hive的包的路径 否 执行WebHCat任务会失败
est' tblproperties('orc.compress'='SNAPPY'); 当前Impala使用OBS存储时,同一张表中,不支持分区和表存储位置处于不同的桶中。 例如:创建分区表指定存储位置为OBS桶1下的文件夹,此时修改表分区存储位置的操作将不会生效,在实际插入数据时以表存储位置为准。
est' tblproperties('orc.compress'='SNAPPY'); 当前Impala使用OBS存储时,同一张表中,不支持分区和表存储位置处于不同的桶中。 例如:创建分区表指定存储位置为OBS桶1下的文件夹,此时修改表分区存储位置的操作将不会生效,在实际插入数据时以表存储位置为准。
是否开启冷热分级存储。 false(默认值):关闭。 true:开启。 false state.backend.cold 指定冷数据状态后端存储,当前仅支持“hbase”。 hbase table.exec.state.ttl 数据状态变化的超时时间。 table.exec.state.cold