检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果用户同时配置“dfs.datanode.du.reserved.percentage”和“dfs.datanode.du.reserved”,则采用这两个参数较大的数值作为DataNode的预留空间大小。 建议基于磁盘空间设置“dfs.datanode.du.reserved”或者“dfs.datanode
/opt/client/HDFS/hadoop/sbin/start-balancer.sh -threshold 5 -include IP1,IP2,IP3 如果该命令执行失败,在日志中看到的错误信息为“Failed to APPEND_FILE /system/balancer.i
/opt/client/HDFS/hadoop/sbin/start-balancer.sh -threshold 5 -include IP1,IP2,IP3 如果该命令执行失败,在日志中看到的错误信息为“Failed to APPEND_FILE /system/balancer.i
or在打印日志的时候使用了log4j的日志滚动功能,将日志输出到stdout文件下;而Container同时也会监控这个文件,导致此文件被两个进程同时监控。当其中一个进程按照配置滚动的时候,删除了最早的日志文件,但是另一个进程依旧占用此文件句柄,从而产生了deleted状态的文件。
执行以下命令,将导出的CSV文件数据导入到ClickHouse表中。 clickhouse client --host ClickHouse实例IP地址 --database 数据库名 --port 端口号 --format_csv_delimiter="csv文件数据分隔符" --query="INSERT
VICE_FLOAT_IP}%{DBServer}:%{DBSERVICE_CPORT}/hivemeta?socketTimeout=60 Metastore元数据JDBC链接的URL。 外置MySQL,则值为: jdbc:mysql://MySQL的IP:MySQL的端口/test
或按“天”。 目的端NameService名称:修改备集群的NameService名称。 目的端NameNode IP地址:修改备集群NameNode业务平面IP地址,支持主节点或备节点。 目的端路径:修改备集群保存备份数据的HDFS目录。不支持填写HDFS中的隐藏目录,例如快照
zookeeper.sasl.clientconfig=Client_new[1] # Principal of fi zookeeper server side. zookeeper.server.principal=zookeeper/hadoop.hadoop.com[2] # Set true
将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上 运行任务 在运行样例程序时需要指定 <kafkaBootstrapServers> <maxEventDelay>
将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上 运行任务 在运行样例程序时需要指定 <kafkaBootstrapServers> <maxEventDelay>
参数名称 参数值填写规则 参数样例 名称 不能为空,必须唯一。 test bind avro source绑定的ip地址,此参数不能为空。须配置为服务端配置文件即将要上传的主机IP。 192.168.108.11 port avro source监测的端口,此参数不能为空。须配置为未被使用的端口。
和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 7-zip 用于解压“*.zip”和“*.rar”文件。 支持7-Zip 16.04版本。 准备运行环境 进行应用开发时,需要同时准备代码的运行调测的环境,用于验证应用程序运行正常。
HDFS日志获取应用运行情况。 在本地Windows环境中调测HDFS程序 在开发环境中(例如IntelliJ IDEA中),分别选中以下两个工程运行程序: 选中HdfsExample.java,右键工程,选择“Run 'HdfsExample.main()'”运行应用工程。 选中ColocationExample
Manager首页,选择“运维 > 告警 > 告警 > ALM-24010 Flume证书文件非法或已损坏 > 定位信息”。查看告警上报的实例的IP地址。 检查系统中证书文件是否有效,重新生成证书文件。 以root用户登录告警所在节点主机,并执行su - omm切换用户。 执行以下命令进入Flume服务证书目录。
配置文件目录下。 在IoTDBSessionPool对象的参数里,设置IoTDBServer所在的节点IP、端口、用户名和密码。 待连接的IoTDBServer所在的节点IP地址,可通过登录FusionInsight Manager界面,选择“集群 > 服务 > IoTDB > 实例”查看。
如果用户同时配置“dfs.datanode.du.reserved.percentage”和“dfs.datanode.du.reserved”,则采用这两个参数较大的数值作为DataNode的预留空间大小。 建议基于磁盘空间设置“dfs.datanode.du.reserved”或者“dfs.datanode
请参考创建Hive角色,在Manager界面创建一个角色,例如“hrole”,不需要设置Hive权限、设置提交HQL命令到Yarn执行的权限。 在Manager界面创建两个使用Hive的“人机”用户并加入“hive”组,例如“huser1”和“huser2”。“huser2”需绑定“hrole”。使用“hus
WindowedStream和AllWindowedStream代表不同的两种流。 接口中只有一个参数则是TumblingWindow;有两个或两个以上的参数则是SlidingWindow。 def countWindow(size: Long, slide: Long): WindowedStream[T
WindowedStream和AllWindowedStream代表不同的两种流。 接口中只有一个参数则是TumblingWindow;有两个或两个以上的参数则是SlidingWindow。 def countWindow(size: Long, slide: Long): WindowedStream[T
WindowedStream和AllWindowedStream代表不同的两种流。 接口中只有一个参数则是TumblingWindow;有两个或两个以上的参数则是SlidingWindow。 def countWindow(size: Long, slide: Long): WindowedStream[T