检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
由于HDFS的回收站机制,一般删除HDFS文件后,文件会移动到HDFS的回收站中。如果确认文件不再需要并且需要立马释放存储空间,可以继续清理对应的回收站目录(例如:hdfs://hacluster/user/xxx/.Trash/Current/xxx)。 父主题: 使用HDFS
a,b)。参数a,b必须为正实数,而值v必须为实数。值v必须位于间隔[0,1]上。 beta分布的累积分布函数公式也称为不完全beta函数比(常用Ix表示),对应公式: select beta_cdf(3,4,0.0004); -- 1.278848368599041E-9 inverse_beta_cdf(a
参数类型 描述 tags 否 Array of TagWithMultiValue objects 参数解释: 返回结果包含该参数中所有标签对应的资源。 约束限制: 该参数最多包含10个key,每个key下面的value最多10个,结构体不能缺失,key不能为空或者空字符串。 取值范围:
equals("female"); } }).keyBy( new UserRecordSelector() ).window( TumblingEventTimeWindows.of(Time
解决方案 确保用户可以正常读取客户端节点相关路径下的user.keytab文件。 确保用户的user.principal与指定的keytab文件对应。 可通过klist -kt keytabpath/user.keytab查看。 如果集群有做过切换域名操作,需要保证url中使用的principal字段是新域名。
其他ZooKeeper实例所在节点的主机名。 是,执行9。 否,执行6。 修改“/etc/hosts”中的IP信息,添加主机名与IP地址的对应关系。 再次执行ping命令,查看能否在该ZooKeeper实例节点ping通其他ZooKeeper实例节点的主机名。 是,执行8。 否,执行23。
Table Information Database: default
登录MRS管理控制台。 选择“现有集群”,单击待操作集群的集群名称,进入集群详情页面。 选择“作业管理”页签,在作业列表中获取待操作作业对应的“ID”。 图2 作业ID 父主题: 附录
10003(kafka) 解决办法 MRS Manager界面操作: 登录MRS Manager。 选择“系统设置 > 用户管理”。 在操作用户对应的“操作”列,单击“修改”。 为用户加入kafkaadmin组。 图1 修改用户组 通过命令id查询用户组信息。 [root@host1 client]#
UDF注册会失败。 不同的JAR包中建议不要有全类名相同但实现功能逻辑不一样的类。例如UDF(UDAF/UDTF):udf1、udf2分别对应资源udf1.jar、udf2.jar。如果两个Jar包里都包含一个“com.xxx.bigdata.iotdb.UDTFExample”
equals("female"); } }).keyBy( new UserRecordSelector() ).window( TumblingEventTimeWindows.of(Time
Connection(host='hiveserverIp', port=hiveserverPort, username='hive', database='default', auth='KERBEROS', kerberos_service_name="hive", krbhost='hadoop
Connection(host='hiveserverIp', port=hiveserverPort, username='hive', database='default', auth='KERBEROS', kerberos_service_name="hive", krbhost='hadoop
kinit<用于认证的业务用户> 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input(hdfs dfs命令有同样的作用),创建对应目录。 进入到HDFS客户端下的“/tmp/input”目录,在Linux系统HDFS客户端使用命令hadoop fs -putinput_data1
<用于认证的业务用户> 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input(hdfs dfs命令有同样的作用),创建对应目录。 进入到HDFS客户端下的“/tmp/input”目录,在Linux系统HDFS客户端使用命令hadoop fs -put input_data1
prequery.period.max.minute 预热的最大时长,单位分钟 60 spark.prequery.tables 表名配置database.table:int,表名支持通配符*,int代表预热多长时间内有更新的表,单位为天。 default.test*:10 spark
class”项。该方法用来分配map的输出结果到哪个reduce类,默认使用HashPartitioner,均匀分配map的每条键值对记录。例如在hbase应用中,不同的键值对应的region不同,这就需要设定特殊的partitioner类分配map的输出结果。 setSortComparatorClass(Class<extends
${BIGDATA_DATA_HOME}/data2 -R 在Manager管理界面,选择“集群 > 待操作集群的名称 > 服务 > Yarn > 实例”,选择对应主机的NodeManager实例,单击“实例配置”,选择“全部配置”。 将配置项“yarn.nodemanager.local-dirs”或“yarn
避免JVM动态调整堆内存大小时影响性能。 选择“更多 > 重启服务”重启服务。 在Hive服务重启期间,正在重启的实例无法对外提供服务,且对应实例上正在执行的SQL任务可能失败。 观察界面告警是否清除。 是,处理完毕。 否,执行7。 收集故障信息。 在FusionInsight Manager首页,选择“运维
所有表的附加属性都会放到TBLPROPERTIES中来定义。 参数描述 表1 CREATE TABLE参数描述 参数 描述 db_name Database名称,由字母、数字和下划线(_)组成。 col_name data_type 以逗号分隔的带数据类型的列表。列名由字母、数字和下划线(_)组成。