检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
0000000100000001070C6Axxx0E2EF73 服务地址 “内网”中“Remote Write Prometheus 配置代码”中的“url” https://aom-internal-access.xxx/push 在MRS配置对接AOM参数。 登录FusionInsight Manager。
Core任务的Java/Python/Scala/R示例程序。 本工程应用程序实现从HDFS上读取文本数据并计算分析。 SparkRExample示例不支持未开启Kerberos认证的集群。 sparksecurity-examples/SparkPythonExample sparksecu
e.xml”中配置“mapreduce.job.maps”项。 说明: 指定的InputFormat类用来控制map任务个数,注意该类是否支持客户端设定map个数。 setNumReduceTasks(int n) 核心接口,指定MapReduce作业的reduce个数。默认只启
服务 > Spark2x > 配置”。 单击“全部配置”,并搜索“SPARK_DRIVER_MEMORY”。 修改参数值适当增加内存大小。仅支持整数值,且需要输入单位M或者G。例如输入512M。 参考信息 DRIVER内存不足时,查询操作可能遇到以下错误提示信息: 2018-02-11
例如租户“ta1”,默认HDFS存储目录为“tenant/ta1”。第一次创建租户时,系统自动在HDFS根目录创建“/tenant”目录。支持自定义存储路径。 否 租户不可用 /apps{1~5}/ 固定目录 WebHCat使用到Hive的包的路径 否 执行WebHCat任务会失败
服务 > Spark2x > 配置”。 单击“全部配置”,并搜索“SPARK_DRIVER_MEMORY”。 修改参数值适当增加内存大小。仅支持整数值,且需要输入单位M或者G。例如输入512M。 参考信息 DRIVER内存不足时,查询操作可能遇到以下错误提示信息: 2018-02-11
e.xml”中配置“mapreduce.job.maps”项。 说明: 指定的InputFormat类用来控制map任务个数,注意该类是否支持客户端设定map个数。 setNumReduceTasks(int n) 核心接口,指定MapReduce作业的reduce个数。默认只启
设置角色“配置资源权限”请参见表1。 IoTDB权限: 普通用户权限:具有数据操作权限,可选择性的对IoTDB根目录、存储组及存储组到时间序列之间任意节点路径授权,最小可支持对时间序列进行数据的读、写、修改和删除权限。 IoTDB管理员权限:具有表1的所有权限。 表1 设置角色 任务场景 角色授权操作 设置IoTDB管理员权限
e.xml”中配置“mapreduce.job.maps”项。 说明: 指定的InputFormat类用来控制map任务个数,注意该类是否支持客户端设定map个数。 setNumReduceTasks(int n) 核心接口,指定MapReduce作业的reduce个数。默认只启
e.xml”中配置“mapreduce.job.maps”项。 说明: 指定的InputFormat类用来控制map任务个数,注意该类是否支持客户端设定map个数。 setNumReduceTasks(int n) 核心接口,指定MapReduce作业的reduce个数。默认只启
为32G;128G<机器内存<200G,“-Xmx”设置为16G;机器内存<128G,“-Xmx”设置为8G。“-Xmx”配置为32G,可支持单RegionServer节点2000个Region,200个热点Region。 “XX:CMSInitiatingOccupancyFraction”建议设置为“100
集群Master节点规格升级(分步升级)时,请确保全程升级过程中有足够的规格资源。 升级MRS集群Master节点规格使用限制 支持2个及以上Master节点的集群升级Master节点规格 。 不支持使用BMS类型规格的集群升级Master节点规格 。 MRS 1.8.2及之后版本至MRS 3.x之前版本、MRS
1/sql-programming-guide.html#distributed-sql-engine。 Beeline 开源社区提供的Beeline连接方式,请参见:https://cwiki.apache.org/confluence/display/Hive/HiveServer2+Clients。 为了解
数。 上述命令中的参数描述如下: idx_1:表示索引名称。 cf_0:表示列族名称。 q_0:表示列名称。 string:表示数据类型,支持STRING,INTEGER,FLOAT,LONG,DOUBLE,SHORT,BYTE和CHAR。 '#'用于分隔索引,';' 用于分隔列族,'
列化动态添加元素。 另外Flink中的State支持设置TTL,TTL实际上是将时间戳与userValue封装起来,ValueState的TTL基于整个Key,MapState<UK, UV>的TTL是基于UK,它的粒度更小,可支持更丰富的TTL语义。 Checkpoint配置压缩减少Checkpoint大小
群中有两个Core节点,则HDFS默认副本数为2。若集群中Core节点数大于等于3,则HDFS默认副本数为3。 图3 HDFS架构 MRS支持HDFS组件上节点均衡调度和单节点内的磁盘均衡调度,有助于扩容节点或扩容磁盘后的HDFS存储性能提升。 关于Hadoop的架构和详细原理介绍,请参见:http://hadoop
Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景。
缓存行数。 上述命令中的参数描述如下: idx_1:表示索引名称 cf_0:表示列族名称 q_0:表示列名称 string:表示数据类型,支持STRING,INTEGER,FLOAT,LONG,DOUBLE,SHORT,BYTE或CHAR。 '#'用于分隔索引,';' 用于分隔列族,'
NULL 1 (2 rows) ZEROIFNULL(value) 如果value为null,返回0,否则返回原值。目前支持数值类型还有varchar类型。 select zeroifnull(a),zeroifnull(b),zeroifnull(c) from
-yid,--yarnapplicationId <arg>:绑定YARN session。 -h:获取帮助。 强制停止一个运行中的Job(仅支持streaming jobs、业务代码 source 端需要 implements StoppableFunction) flink cancel