检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用OfflineMetaRepair工具重新构建元数据后HMaster启动失败 问题 为什么在使用OfflineMetaRepair工具重新构建元数据后,HMaster启动的时候会等待namespace表分配超时,最后启动失败? 且HMaster将输出下列FATAL消息表示中止: 2017-06-15
StarRocks既支持从各类实时和离线的数据源高效导入数据,也支持直接分析数据湖上各种格式的数据。 StarRocks兼容MySQL协议,可使用MySQL客户端和常用BI工具对接进行数据分析,同时StarRocks具备水平扩展、高可用、高可靠、易运维等特性,广泛应用于实时数仓、OLAP报表、数据湖分析等场景。
Flink常用配置参数 配置文件说明 Flink所有的配置参数都可以在客户端侧进行配置,建议用户直接修改客户端的“flink-conf.yaml”配置文件进行配置,如果通过Manager界面修改Flink服务参数,配置完成之后需要重新下载安装客户端: 配置文件路径:客户端安装路径/
如何查询MRS节点的启动时间? 在MRS服务管理控制台中单击集群名称,进入集群详情页面。 在集群节点管理页面中,查看具体节点IP地址信息。 登录当前节点,执行如下命令查询节点启动时间。 date -d "$(awk -F. '{print $1}' /proc/uptime) second
Client支持SQL校验功能方法 通过SQL Client进行SQL作业开发时,支持进入校验模式校验SQL语法正确性。校验模式下执行SQL命令不会启动Flink job。 校验SQL语句 执行SQL shell命令时添加“-v”参数(或“--validate”参数)直接进入校验模式。 sql-client
删除HDFS指定文件 功能简介 删除HDFS上某个指定文件。 被删除的文件会被直接删除,且无法恢复。所以,执行删除操作需谨慎。 代码样例 如下是删除文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 /**
初次启动JobGateway后提交作业失败,无法提交作业到Yarn上 问题 初次启动JobGateway提交作业失败,无法提交到Yarn上,无launcher-job ID生成。 查看Yarn界面,无launcher-job队列: 查看Manager界面接口返回,显示有launcher-job信息:
删除HDFS指定文件 功能简介 删除HDFS上某个指定文件。 被删除的文件会被直接删除,且无法恢复。所以,执行删除操作需谨慎。 代码样例 如下是删除文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 /**
删除HDFS指定文件 功能简介 删除HDFS上某个指定文件。 被删除的文件会被直接删除,且无法恢复。所以,执行删除操作需谨慎。 代码样例 如下是删除文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 /**
删除HDFS指定文件 功能简介 删除HDFS上某个指定文件。 被删除的文件会被直接删除,且无法恢复。所以,执行删除操作需谨慎。 代码样例 如下是删除文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 /**
传。 如果必须使用Hue上传,参考以下步骤修改Httpd的参数: 以omm用户登录主管理节点。 执行以下命令编辑“httpd.conf”配置文件。 vi $BIGDATA_HOME/om-server/Apache-httpd-*/conf/httpd.conf 搜索21201,
Main Class Main-Class类型。 默认:默认根据Jar包文件的Mainfest文件指定类名。 指定:手动指定类名。 类名 类名。 “Main Class”选择“指定”时存在该参数。 类参数 类参数,为Main-Class的参数(参数间用空格分隔)。 并行度 并行数量。
单击“导出全部”可导出全部事件详情。 单击手动刷新当前页面,也可在修改事件表格显示的列。 支持通过指定对象或集群来筛选指定的事件。 单击“高级搜索”显示事件搜索区域,搜索条件包括事件ID、事件名称、事件级别、开始时间和结束时间。 单击指定事件名称左侧的,展开完整信息参数,各项说明如表1所示。 表1 事件参数
Collection),评估内存中RDD的大小来判断内存是否变成性能瓶颈,并根据情况优化。 监控节点进程的GC情况(在客户端的conf/spark-default.conf配置文件中,在spark.driver.extraJavaOptions和spark.executor.extraJavaOptions配置项中添加参数:"-verbose:gc
证和Kerberos+SSL模式认证,用户在使用的时候可任选其中一种方式进行认证。 Kerberos认证配置 客户端配置。 在Flink配置文件“flink-conf.yaml”中,增加kerberos认证相关配置(主要在“contexts”项中增加“KafkaClient”),示例如下:
rmi://%s/kafka #修改kafka mysql jdbc driver address数据库相关的配置 efak.driver=com.mysql.cj.jdbc.Driver efak.url=jdbc:mysql://IP:Port/ke?useUnicode=
通过客户端启动HetuEngine集群超时如何处理 问题 通过客户端启动集群,集群启动时间过长会等待超时并退出等待界面。 回答 等待集群启动超时,会自动退出等待界面,用户可以等待集群启动成功后再重新登录。 用户还可以在HSConsole页面上查看集群的运行状态当集群处于运行中状态时再重新登录。
安装集群过程中Ranger启动失败 问题 MRS集群创建过程中,Ranger启动失败,Manager进程任务列表里打印“ERROR:cannot drop sequence X_POLICY_REF_ACCESS_TYPE_SEQ”等关于数据库信息。 回答 该现象可能出现在安装两个RangerAmdin实例的场景下。
out.println打印的调试信息或将调试信息输出至指定文件 问题 Flink业务代码中添加了System.out.println调试信息打印,该如何查看此调试日志?避免与运行日志混在一起打印,如何将业务日志单独输出至指定文件? 回答 Flink所有的运行日志打印都会打印至Ya
out.println打印的调试信息或将调试信息输出至指定文件 问题 Flink业务代码中添加了System.out.println调试信息打印,该如何查看此调试日志?避免与运行日志混在一起打印,如何将业务日志单独输出至指定文件? 回答 Flink所有的运行日志打印都会打印至Ya