检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Hudi Hudi表概述 使用Spark Shell创建Hudi表 使用spark-sql操作Hudi表 使用Hudi-Cli.sh操作Hudi表 Hudi写操作 Hudi读操作 Hudi数据管理维护 Hudi SQL语法参考 Hudi Schema演进 配置Hudi数据列默认值
Manager管理开发指南 Manager应用开发简介 Manager应用开发流程 准备Manager应用开发环境 开发Manager应用 调测Manager应用 Manager应用开发常见问题
cache table使用指导 问题 cache table的作用是什么?cache table时需要注意哪些方面? 回答 Spark SQL可以将表cache到内存中,并且使用压缩存储来尽量减少内存压力。通过将表cache,查询可以直接从内存中读取数据,从而减少读取磁盘带来的内存开销
Kafka开发指南(安全模式) Kafka应用开发简介 Kafka应用开发流程介绍 Kafka样例工程介绍 准备Kafka应用开发环境 开发Kafka应用 调测Kafka应用 Kafka应用开发常见问题
Hive开发指南(安全模式) Hive应用开发简介 Hive应用开发流程介绍 准备Hive应用开发环境 开发Hive应用 调测Hive应用 Hive应用开发常见问题
MapReduce开发指南 MapReduce应用开发概述 准备MapReduce应用开发环境 开发MapReduce应用 调测MapReduce应用 MapReduce应用开发常见问题
常见操作 修改集群服务配置参数 访问集群Manager 使用MRS客户端
从零开始使用Spark 本章节提供从零开始使用Spark提交sparkPi作业的操作指导,sparkPi是最经典的Spark作业,它用来计算Pi(π)值。 操作步骤 准备sparkPi程序。 开源的Spark的样例程序包含多个例子,其中包含sparkPi。可以从https://archive.apache.org
选中该证书拖动到电脑桌面,即可获得证书。 在Mac应用中选择钥匙串访问。 “钥匙串”选择“登录”,“种类”选择“证书”。 将步骤3获得的证书拖动到钥匙串列表中。 双击证书将该证书设置为“始终信任”并关闭弹窗。
ALM-12016 CPU使用率超过阈值 告警解释 系统每30秒周期性检测CPU使用率,并把实际CPU使用率和阈值相比较。CPU使用率默认提供一个阈值范围。当检测到CPU使用率连续多次(可配置,默认值为10)超出阈值范围时产生该告警。 平滑次数为1,CPU使用率小于或等于阈值时,告警恢复
使用Storm 从零开始使用Storm 使用Storm客户端 使用客户端提交Storm拓扑 访问Storm的WebUI 管理Storm拓扑 查看Storm拓扑日志 Storm常用参数 配置Storm业务用户密码策略 迁移Storm业务至Flink Storm日志介绍 性能调优
Hudi SQL语法参考 Hudi SQL使用约束 Hudi DDL语法说明 Hudi DML语法说明 Hudi CALL COMMAND语法说明 Hudi TTL语法说明 父主题: 使用Hudi
快速使用Flume采集节点日志 操作场景 Flume支持将采集的日志信息导入到Kafka。 前提条件 已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。 已配置网络,使日志生成节点与流集群互通。 使用Flume客户端(MRS 3.x之前版本
Storm开发指南 Storm应用开发概述 准备Storm应用开发环境 开发Storm应用 调测Storm应用 Storm应用开发常见问题
管理FlinkServer作业 配置FlinkServer重启策略 配置FlinkServer作业中使用UDF 父主题: 使用Flink
快速使用Flume采集节点日志 Flume支持将采集的日志信息导入到Kafka。 前提条件 已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。 已配置网络,使日志生成节点与流集群互通。 使用Flume客户端 普通集群不需要执行2-6。
访问Presto的WebUI 用户可以通过Presto的WebUI,在图形化界面查看Presto的统计信息。Presto的WebUI界面不支持使用IE浏览器访问,建议使用Google浏览器访问。 前提条件 已安装Presto服务的集群。 已安装集群客户端,例如安装目录为“/opt/
配置ZooKeeper ZNode ACL 操作场景 该操作指导用户对ZooKeeper的znode设置权限。 ZooKeeper通过访问控制列表(ACL)来对znode进行访问控制。ZooKeeper客户端为znode指定ACL,ZooKeeper服务器根据ACL列表判定某个请求
使用Loader导入数据 操作场景 该任务指导用户完成将数据从外部的数据源导入到MRS的工作。 一般情况下,用户可以手工在Loader界面管理数据导入导出作业。当用户需要通过shell脚本来更新与运行Loader作业时,必须对已安装的Loader客户端进行配置。 前提条件 创建或获取该任务中创建
Presto配置多Hive连接 用户问题 Presto如何配置多Hive连接。 处理步骤 将目标Hive集群的core-site.xml,hdfs-site.xml文件复制分发到Presto集群上,放置在omm用户有读权限的路径下(如/home/omm),将文件属主改为omm:wheel