检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理Hive表的元数据 在Hive表的元数据信息界面,单击右上角的可导入数据,单击可浏览数据,单击可查看表文件的位置信息。 Hue界面主要用于文件、表等数据的查看与分析,禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作,建议在确认对业务没有影响后通过各组件的相应操
权限”。 图2 设置权限 Manager权限: Cluster: 查看权限:“集群”页面查看权限、“运维 > 告警”页面下“告警”、“事件”的查看权限。 管理权限:“集群”、“运维”页面的管理权限。 User: 查看权限:“系统”页面下“权限”区域中内容的查看权限。 管理权限:“
配置Container日志聚合功能 启用Yarn CGroups功能限制Container CPU使用率 Yarn企业级能力增强 Yarn性能调优 Yarn运维管理 Yarn常见问题
/user/shl下的数据存储在A,E,F 图7 基于标签的数据块摆放策略样例 HDFS开源增强特性:HDFS Load Balance HDFS的现有读写策略主要以数据本地性优先为主,并未考虑节点或磁盘的实际负载情况。HDFS Load Balance功能是基于不同节点的I/O负载情况,在HDFS客
收集周期最小可设定为3600秒。当设置为大于0秒且小于3600秒时,收集周期将使用3600秒。 定义NodeManager唤醒并上传日志的间隔周期。设置为-1或0表示禁用滚动监控,应用任务结束后日志汇聚。取值范围大于等于-1。 -1 yarn.nodemanager.disk-health-checker.log-dirs
ClickHouse表创建 ClickHouse数据导入 ClickHouse企业级能力增强 ClickHouse性能调优 ClickHouse运维管理 ClickHouse常用SQL语法 ClickHouse常见问题
Doris用户权限管理 使用MySQL客户端连接Doris 快速使用Doris Doris数据导入 Doris数据分析 Doris企业级能力增强 Doris运维管理 Doris常见SQL语法说明 Doris常见问题 Doirs故障排除
erge/Sort流程提升MapReduce性能 下图展示了MapReduce任务的工作流程。 图2 MapReduce 作业 图3 MapReduce作业执行流程 Reduce过程分为三个不同步骤:Copy、Sort(实际应当称为Merge)及Reduce。在Copy过程中,R
ClickHouse客户端使用实践 ClickHouse数据导入 ClickHouse企业级能力增强 ClickHouse性能调优 ClickHouse运维管理 ClickHouse常用SQL语法 ClickHouse常见问题
CGroups功能限制Container CPU使用率 配置TimelineServer支持HA Yarn企业级能力增强 Yarn性能调优 Yarn运维管理 Yarn常见问题
val conf = new SparkConf().setAppName("CollectFemaleInfo") //提交Spark作业 val sc = new SparkContext(conf) //读取数据。传入参数args(0)指定数据路径 val text = sc
快速使用HBase进行离线数据分析 使用BulkLoad工具向HBase迁移数据 HBase数据操作 HBase企业级能力增强 HBase性能调优 HBase运维管理 HBase常见问题 HBase故障排除
快速使用HBase进行离线数据分析 使用BulkLoad工具向HBase迁移数据 HBase数据操作 HBase企业级能力增强 HBase性能调优 HBase运维管理 HBase常见问题 HBase故障排除
hadoopmanager 将用户加入此用户组,可获得HDFS和Yarn的组件运维管理员权限。对HDFS来说,运维管理员可以访问NameNode WebUI,还能进行手动主备倒换等操作。对Yarn来说,运维管理员可以执行Yarn集群的管理操作,例如访问ResourceManager
快速使用Flume采集节点日志 配置Flume非加密传输数据采集任务 配置Flume加密传输数据采集任务 Flume企业级能力增强 Flume运维管理 Flume常见问题
Hive数据存储及加密配置 Hive on HBase 配置Hive读取关系型数据库数据 Hive企业级能力增强 Hive性能调优 Hive运维管理 Hive常见SQL语法说明 Hive常见问题 Hive故障排除
快速使用Flume采集节点日志 配置Flume非加密传输数据采集任务 配置Flume加密传输数据采集任务 Flume企业级能力增强 Flume运维管理 Flume常见问题
IoTDB用户权限管理 IoTDB客户端使用实践 快速使用IoTDB 创建IoTDB用户自定义函数(UDF) IoTDB性能调优 IoTDB运维管理
创建Kafka Topic 在Kafka Topic中接入消息 管理Kafka Topic Kafka企业级能力增强 Kafka性能调优 Kafka运维管理 Kafka常见问题
-putinput_data2.txt /tmp/input,上传数据文件。 开发思路 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 主要分为四个部分: 读取原文件数据。 筛选女性网民上网时间数据信息。 汇总每个女性上网总时间。 筛选出停留时间大于两个小时的女性网民信息。 打包项目