检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ableTable,enableTable,tableExists,isTableEnabled,isTableDisabled结合在一起使用。 父主题: HBase数据读写示例程序
ableTable,enableTable,tableExists,isTableEnabled,isTableDisabled结合在一起使用。 父主题: HBase数据读写样例程序
registrator", "com.huawei.bigdata.spark.examples.MyRegistrator"); 在SparkConf对象使用set方法设置,代码如下: val conf = new SparkConf().setAppName("HbaseTest"); conf
ableTable,enableTable,tableExists,isTableEnabled,isTableDisabled结合在一起使用。 父主题: HBase数据读写样例程序
timestamp,则只需要根据start.timestamp进行过滤。 set hoodie.tableName.consume.mode=SNAPSHOT; --使用完增量模式,必须把查询模式重新设置回来。 父主题: Spark on Hudi开发规范
增加队列的资源。 排除用户jar包中的Flink和Hadoop依赖,依赖环境中的jar包。 重新配置Flink的SSL证书,可参考从零开始使用Flink。 父主题: 作业管理类
从控制台获取项目ID 在调用接口的时候,部分URL中需要填入项目编号(project_id),所以需要获取到项目编号。项目编号获取步骤如下: 登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。 多项目时,展开“所属区域”,从“项目ID”列获取子项目ID。
本章节操作仅支持MRS 3.x及之后的版本。 对系统的影响 保存新的配置需要重启服务,此时对应的服务不可用。 修改Manager日志级别 以omm用户登录主管理节点。 执行以下命令,切换路径。 cd ${BIGDATA_HOME}/om-server/om/sbin 执行以下命令,修改日志级别。
回滚补丁 卸载补丁 登录华为云管理控制台界面,在“现有集群”列表中单击需要卸载补丁的集群名称,单击“补丁管理”页签,找到需要卸载的补丁,单击“卸载”,等待补丁卸载成功后,需要按照该章节顺序依次执行相关操作。 当“状态”显示为“卸载失败”时,在“失败任务”中查看错误提示信息,查找相应日志来定位处理。
getOrCreate() import spark.implicits._ //通过隐式转换,将RDD转换成DataFrame,然后注册表 spark.sparkContext.textFile(args(0)).map(_.split(",")) .map(p
return femaleInfo; } }); // 注册表。 Dataset<ROW> schemaFemaleInfo = spark.createDataFrame(femaleInfoJavaRDD
在Linux环境中查看Spark程序调测结果 操作场景 Spark应用程序运行完成后,可通过如下方式查看应用程序的运行情况。 通过运行结果数据查看应用程序运行情况。 登录Spark WebUI查看应用程序运行情况。 通过Spark日志获取应用程序运行情况。 操作步骤 查看Spark应用运行结果数据。 结果数
> 重置数据库密码”。 在弹出窗口中输入当前登录的管理用户密码确认身份,单击“确定”。 继续勾选“我已阅读此信息并了解其影响。”,单击“确定”。 密码重置完成后,在服务概览页面中选择“更多 > 滚动重启服务”。 在弹出窗口中输入当前登录的用户密码确认身份,单击“确定”。 确认重启
ommdba用户或密码过期,OMS数据库无法管理,数据不能访问。 可能原因 系统ommdba用户或密码即将过期。 处理步骤 检查系统中ommdba用户和密码是否正常。 登录故障节点。 执行以下命令来查看当前ommdba用户密码设置信息: chage -l ommdba 检查系统提示信息,是否用户已过期。 查找“Password
当Flume服务不可用时,Flume不能正常工作,数据传输业务中断。 可能原因 HDFS服务不可用。 LdapServer服务不可用。 处理步骤 检查HDFS的服务状态。 登录MRS集群详情页面,选择“告警管理”。 查看是否有“ALM-14000 HDFS服务不可用”告警产生。 是,参考ALM-14000 HDFS服务不可用(2
ableTable,enableTable,tableExists,isTableEnabled,isTableDisabled结合在一起使用。 父主题: 开发HBase应用
Service connectivity error. 原因分析 出现该异常可能都是由于Knox线程数不足。 处理步骤 以root用户分别登录OMS主节点和备节点。 在主备OMS节点的gateway-site.xml文件中增加以下配置,适当增加线程池。 vi /opt/knox/conf/gateway-site
修改节点主机名后导致MRS集群状态异常 问题现象 修改节点主机名后,MRS集群状态异常。 原因分析 修改节点hostname导致兼容性问题和故障。 处理步骤 以root用户登录集群的任意节点。 在集群节点中执行cat /etc/hosts命令,查看各个节点的hostname值,根据此值来配置newhostname变量值
************************************************") // 读取文本路径信息,并使用逗号分隔 val filePaths = ParameterTool.fromArgs(args).get("filePath",
告警 > 告警”,查看该TokenServer节点是否上报“TokenServer堆内存使用率超过阈值”告警。 是,执行7。 否,执行9。 参考“ALM-45737 TokenServer堆内存使用率超过阈值”的处理步骤处理该故障。 等待10分钟,查看该告警是否自动消除。 是,处理完毕。