检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS 2.1.0版本集群对Storm日志的大小有什么限制? 问: MRS 2.1.0版本的集群对Storm日志的大小有什么限制? 答: MRS 2.1.0版本的集群对Storm日志有不超过20G的限制,超出后会循环删除。 因为日志是保存在系统盘上,有空间限制。如需长期保存,则需要将日志挂载出来
集群内用户密码的过期时间如何查询和修改? 查询密码有效期 查询组件运行用户(人机用户、机机用户)密码有效期: 以客户端安装用户,登录安装了客户端的节点。 执行以下命令,切换到客户端目录,例如“/opt/Bigdata/client”。 cd /opt/Bigdata/client
处理步骤 MRS 3.3.0及之后版本,在Manager页面,选择“集群 > 服务 > ClickHouse> 配置 > 全部配置”,可以通过参数“query_log.ttl”和“trace_log.ttl”配置数据清理周期,默认为90天。
插入HBase数据 功能简介 HBase是一个面向列的数据库,一行数据,可能对应多个列族,而一个列族又可以对应多个列。通常,写入数据的时候,需要指定要写入的列(含列族名称和列名称)。HBase通过HTable的put方法来Put数据,可以是一行数据也可以是数据集。 代码样例 以下代码片段在
auth=none"); } String url = sBuilder.toString(); 注:直连HiveServer时,若当前连接的HiveServer故障则会导致访问Hive失败;若使用ZooKeeper的访问Hive,只要有任一个HiveServer实例可正常提供服务即可
删除HDFS文件 功能简介 删除HDFS上某个指定文件或者文件夹。 被删除的文件或文件夹,会被放在当前用户目录下的.Trash/Current文件夹中。若发生误删除,可从该文件夹中恢复。 代码样例 如下是删除文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples
Spark Core程序 场景说明 Java样例代码 Scala样例代码 Python样例代码 父主题: 开发Spark应用
函数genQueryReq()生成删除请求,函数deleteData()把删除请求发送到OpenTSDB服务端。
DataStream程序 Flink DataStream应用开发思路 Flink DataStream Java样例代码 Flink DataStream Scala样例代码 父主题: 开发Flink应用
MRS组件jar包版本与集群对应关系说明 MRS 3.1.5 表1 MRS 3.1.5版本集群jar版本 组件 组件版本 jar版本 Flink 1.12.2 1.12.2-hw-ei-315008 Hive 3.1.0 3.1.0-hw-ei- 315008 Tez 0.9.2
开发Flink应用 Flink DataStream样例程序 Flink Kafka样例程序 Flink开启Checkpoint样例程序 Flink Job Pipeline样例程序 Flink Join样例程序 父主题: Flink开发指南(安全模式)
开发HDFS应用 HDFS样例程序开发思路 初始化HDFS 创建HDFS目录 创建HDFS文件并写入内容 追加信息到HDFS指定文件 读取HDFS指定文件内容 删除HDFS指定文件 删除HDFS指定目录 创建HDFS多线程任务 配置HDFS存储策略 配置HDFS同分布策略(Colocation
开发Kudu应用 Kudu应用程序开发思路 开发Kudu应用 父主题: Kudu开发指南(安全模式)
Spark2x开发指南(安全模式) Spark应用开发简介 Spark应用开发流程介绍 Spark2x样例工程介绍 准备Spark应用开发环境 开发Spark应用 调测Spark应用 Spark应用开发常见问题
开发Storm应用 Storm样例程序开发思路 创建Storm Spout 创建Storm Bolt 创建Storm Topology 父主题: Storm开发指南(安全模式)
调测Flink应用 编译并调测Flink应用 查看Flink应用调测结果 父主题: Flink开发指南(普通模式)
调测HDFS应用 在本地Windows中调测HDFS程序 在Linux环境中调测HDFS应用 父主题: HDFS开发指南(普通模式)
调测Strom应用 打包Strom样例工程应用 打包Strom应用业务 提交Storm拓扑 查看Storm应用调测结果 父主题: Storm开发指南(普通模式)
删除HDFS指定目录 功能简介 删除HDFS上某个指定目录。 被删除的目录会被直接删除,且无法恢复。所以,执行删除操作需谨慎。 代码样例 如下是删除文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 /*
代码样例 登录FusionInsight Manager页面,选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”。