检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 SparkSQL UDF功能的权限控制机制
colum_a='value1'; 则估算查询的最终条数为1000000 * 1/50 = 20000条,选择率为2%。 以下以TPC-DS Q3为例来介绍CBO是如何调整Join顺序的。 select dt.d_year, item.i_brand_id brand_id,
启动HDFS和Yarn服务报错“Permission denied” 用户问题 启动HDFS和Yarn时报错。 问题现象 无法启动HDFS、Yarn服务组件,报错内容:/dev/null Permission denied。 原因分析 用户修改了虚机系统的“/dev/null”的权限值为775。
管理MRS集群静态服务资源 静态服务资源概述 配置MRS集群静态资源 查看MRS集群静态资源 父主题: 管理MRS集群
查看集群是否存在配置过期的服务,如果存在,需重启对应服务或角色实例使配置生效。也可在保存配置时直接勾选“重新启动受影响的服务或实例。”。 MRS 3.x之前的版本,服务配置参数均支持登录MRS Manager进行修改: 登录MRS Manager。 单击“服务管理”。 单击服务视图中指定的服务名称。
Manager(MRS 3.x及之后版本)。 以rangeradmin用户登录Ranger WebUI界面。 选择“集群 > 服务 > Ranger”,进入Ranger服务概览页面。 单击“基本信息”区域中的“RangerAdmin”,进入Ranger WebUI界面。 在Ranger W
HBase全局二级索引样例程序开发思路 HBase支持使用全局二级索引加速条件查询,通过本样例,您可以了解如何管理及使用全局二级索引。 该样例程序仅适用于MRS 3.3.0及之后版本。 场景说明 假定用户开发一个应用程序,其中一个功能需要记录用户信息及地址,记录数据如下表: 表1
CLIENT_GC_OPTS="-Xmx1G" 在修改完后,使用如下命令刷新客户端配置,使之生效: source <客户端安装路径>/bigdata_env 问题二:如何设置HDFS客户端运行时的日志级别? HDFS客户端运行时的日志是默认输出到管理控制台的,其级别默认为INFO。如果需要开启DEBUG级别
SQL查询样例介绍 HBase对外接口介绍 如何配置HBase双读能力 配置Windows通过EIP访问普通模式集群HBase Phoenix命令行操作介绍 运行HBase应用开发程序产生ServerRpcControllerFactory异常如何处理 BulkLoad和Put应用场景有哪些
集群Hive 使用二次开发程序产生Unable to read HiveServer2异常如何处理 使用IBM JDK产生异常“Problem performing GSS wrap”如何处理 Hive SQL与SQL2003标准有哪些兼容性问题 父主题: Hive开发指南(安全模式)
Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 由于Kafka配置的限制,导致Spark Streaming应用运行失败
Spark Core 日志聚合下,如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中
MapReduce访问多组件样例程序开发思路 场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例,介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下: 以HDFS文本文件为输入数据: log1.txt:数据输入文件
S -Dfastjson.parser.safeMode=true" 使用omm用户在主OMS节点执行如下命令重启Manager Web 服务。 $OMS_RUN_PATH/workspace/ha/module/harm/plugin/script/tomcat stop $O
Ranger常见问题 安装集群过程中,Ranger启动失败 如何判断某个服务是否使用了Ranger鉴权 新创建用户修改完密码后无法登录Ranger Ranger界面添加或者修改HBase策略时,无法使用通配符搜索已存在的HBase表 在Ranger管理界面查看不到创建的MRS用户
CLI介绍 Flink应用性能调优建议 Savepoints相关问题解决方案 如何处理checkpoint设置RocksDBStateBackend方式,且当数据量大时,执行checkpoint会很慢的问题? 如何处理blob.storage.directory配置/home目录时,启动yarn-session失败的问题?
Storm-HDFS开发指引 Storm-HBase开发指引 Storm Flux开发指引 Storm对外接口介绍 如何使用IDEA远程调试业务 使用旧插件storm-kafka时如何正确设置offset IntelliJ IDEA中远程提交拓扑执行Main时报错:Command line
MRS服务是否支持安全删除的能力? 问:MRS服务是否支持安全删除(删除后防止非法恢复)的能力? 答:MRS集群目前仅支持恢复用户备份的数据,即MRS服务的删除都是安全删除。 父主题: 周边生态对接类
Flume客户端无法连接服务端 问题现象 安装Flume客户端并设置Avro Sink与服务端通信,发现无法连接Flume服务端。 原因分析 服务端配置错误,监测端口启动失败,例如服务端Avro Source配置了错误的IP,或者已经被占用了的端口。 查看Flume运行日志: 2016-08-31
29860 29860 HSBroker服务侦听的端口号。 server.port(HSConsole) 29880 29880 HSConsole服务侦听的端口号。 server.port(HSFabric) 29900 29900 HSFabric服务侦听的端口号,用于跨域连接。 gateway