检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
(TID 208574) in 15088 ms on 10-196-115-6 (59515/153378) 因此,处理这类网络超时任务,可以减少单个Executor的核数来规避该类问题。 父主题: Spark Core
DstreamKafkaWriter。 建议使用新的API createDirectStream代替原有API createStream进行应用程序开发。原有API仍然可以使用,但新的API性能和稳定性更好。 该样例代码只存在于mrs-sample-project-1.6.0.zip中。 /** * 参数解析:
(TID 208574) in 15088 ms on 10-196-115-6 (59515/153378) 因此,处理这类网络超时任务,可以减少单个Executor的核数来规避该类问题。 父主题: Spark Core
集群中每个DataNode实例平均保存的Blocks= HDFS Block * 3 ÷ DataNode节点数。 HDFS Block:可以登录FusionInsight Manager,选择“集群 > 服务 > HDFS”,单击“NameNode Web UI”后的“Name
参数“advertised.broker.id.port.map”与参数“actual.broker.id.port.map”中的“Port”可以配置为相同端口。 父主题: Kafka企业级能力增强
可使用gs_om -t status --detail查询Coordinator数据路径,在该路径下的“postgresql.conf”文件中查看端口号信息。 创建用于接受数据的空表,如表“customer_t1”: CREATE TABLE customer_t1 (
获取一个拥有MRS集群管理员权限的用户,例如“admin”。 操作步骤 Spark on HBase授权 用户如果需要使用类似SQL语句的方式来操作HBase表,授予权限后可以使用SparkSQL访问HBase表。以授予用户在SparkSQL中查询HBase表的权限为例,操作步骤如下: 设置“spark.yarn
例如,将参数值设置为4MB:-Djute.maxbuffer=0x400000。 表1 配置参数 参数 描述 默认值 jute.maxbuffer 指定可以存储在znode中的数据的最大长度。单位是Byte。默认值为0xfffff,即低于1MB。 说明: 如果更改此选项,则必须在所有服务器和客户端上设置该系统属性,否则将出现问题。
请求要求代理的身份认证,与401类似,但请求者应当使用代理进行授权。 408 Request Time-out 服务器等候请求时发生超时。 客户端可以随时再次提交该请求而无需进行任何更改。 409 Conflict 服务器在完成请求时发生冲突。 返回该状态码,表明客户端尝试创建的资源已经
tition数目小于配置的磁盘个数,导致各磁盘上数据分配无法均匀,进而部分磁盘达到使用率上限)。 如果不清楚哪些Topic业务数据量较大,可以根据2中获取到的主机节点信息,登录到实例节点上,进入对应的数据目录(即6中“log.dirs”修改之前的配置路径),查看该目录下哪些Top
获取一个拥有MRS集群管理员权限的用户,例如“admin”。 操作步骤 Spark on HBase授权 用户如果需要使用类似SQL语句的方式来操作HBase表,授予权限后可以使用SparkSQL访问HBase表。以授予用户在SparkSQL中查询HBase表的权限为例,操作步骤如下: 设置“spark.yarn
例如,将参数值设置为4MB:-Djute.maxbuffer=0x400000。 表1 配置参数 参数 描述 默认值 jute.maxbuffer 指定可以存储在znode中的数据的最大长度。单位是Byte。默认值为0xfffff,即低于1MB。 说明: 如果更改此选项,则必须在所有服务器和客户端上设置该系统属性,否则将出现问题。
在“配置资源权限”的表格中选择“待操作集群的名称 > IoTDB > 普通用户权限”。 在root根目录下,勾选“设置存储组”。 当用户具有该角色权限后,可以创建root根目录下的存储组。 设置用户创建时间序列的权限 在“配置资源权限”的表格中选择“待操作集群的名称 > IoTDB > 普通用户权限”。
return gson.toJson(dataPoints); } PUT_URL中加入了sync参数,表示必须等到数据写入HBase后才可以返回,强烈建议使用此参数;如果不使用sync,表示采用异步写入HBase的方式,可能存在丢失数据的风险。具体信息请参考OpenTSDB应用开发常见问题。
default”,勾选表“thc”的“查询”,单击“确定”保存。 Hive over HBase授权 用户如果需要使用类似SQL语句的方式来操作HBase表,授予权限后可以在Hive中使用HQL命令访问HBase表。以授予用户在Hive中查询HBase表的权限为例,操作步骤如下 在FusionInsight
worker.gc.childopts则服务端参数worker.gc.childopts会被替换。 解决办法 如果想要修改拓扑的JVM参数,可以在命令中直接修改topology.worker.gc.childopts这个参数或者在服务端修改该参数,当topology.worker.gc
使用ls命令查看DataNode数据目录中的每个目录是否存在。 是,执行7。 否,执行3.c。 使用mkdir 数据目录命令创建该目录,查看是否可以创建成功。 是,执行6.a。 否,执行3.d。 单击“告警管理”,查看是否存在告警“ALM-12017 磁盘容量不足”。 是,执行3.e。
的数据滞后性的问题,因此物化视图推荐在如下场景中使用: 执行频次高的查询。 查询包含非常耗时的操作,比如聚合、连接操作等。 对查询结果数据可以允许有一定的滞后性。 物化视图仅支持对接共部署Hive和外接Hive数据源,并且数据源表的存储格式为ORC或者PARQUET,不支持跨源跨域场景。
使用ls命令查看DataNode数据目录中的每个目录是否存在。 是,执行26。 否,执行12。 使用mkdir 数据目录命令创建该目录,查看是否可以创建成功。 是,执行24。 否,执行13。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,查看是否存在告警“ALM-12017
TRY 评估一个表达式,如果出错,则返回Null。类似于编程语言中的try catch。try函数一般结合COALESCE使用,COALESCE可以将异常的空值转为0或者空,以下情况会被try捕获: 分母为0 错误的cast操作或者函数入参 数字超过了定义长度 不推荐使用,应该明确以上异常,做数据预处理