检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对系统的影响 当Guardian调用ECS的securitykey接口失败时,可能会导致任务获取访问OBS的临时aksk失败,进而业务无法正常访问OBS。 可能原因 集群未绑定ECS委托。 ECS底层接口异常,导致请求失败。 处理步骤 确认是否绑定委托。
obs.access_key:8获取的AK信息。 obs.secret_key:8获取SK的信息。
操作场景 在业务不断运行中,Loader会积累大量的历史数据,这些历史数据可能会对作业提交、作业运行、作业状态获取等产生影响,严重时可能导致页面访问卡顿,作业运行失败等,所以需要根据具体Loader业务数据量,合理配置历史数据清理机制。
图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\flink-examples”目录下的样例工程文件夹“flink-examples-normal”。
过程为: 使用FileSystem实例的append方法获取追加写入的输出流。 使用该输出流将待追加内容添加到HDFS的指定文件后面。 在完成后,需关闭所申请资源。
查看MapReduce应用调测结果 MapReduce应用程序运行完成后,可以通过WebUI查看应用程序运行情况,也可以通过MapReduce日志获取应用运行情况。
使用deleteall命令删除大量znode时偶现报错“Node does not exist” 问题 客户端连接非Leader实例,使用deleteall命令删除大量znode时,报错Node does not exist,但是stat命令能够获取到node状态。
获取运行状态的Oozie服务器(任意实例)URL,如“https://10.1.130.10:21003/oozie”。 获取运行状态的Oozie服务器主机名,如“10-1-130-10”。 获取Yarn ResourceManager主节点IP,如10.1.130.11。
操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\hive-examples”目录下的样例工程文件夹“hive-jdbc-example”。
请联系管理员获取具有访问Web UI权限的业务账号及其密码。 操作步骤 登录FusionInsight Manager页面。选择“集群 > 待操作集群的名称 > 服务 > HBase > HMaster(主)”打开HBase的Web UI。
参考准备运行环境下载并解压客户端文件“FusionInsight_Cluster_集群ID_ HetuEngine_Client.tar”获取jdbc驱动包,并上传到Linux环境“/opt/client”目录下。
在Linux中调测Hive JDBC应用 执行mvn package生成jar包,在工程目录target目录下获取,比如:hive-examples-1.0.jar。
获取相关配置文件。获取方法如下。 在安装好的HDFS客户端目录下找到目录“/opt/client/HDFS/hadoop/etc/hadoop”,在该目录下获取到配置文件“core-site.xml”和“hdfs-site.xml”。
获取拼接后的数据取最后一条输出到HBase、HDFS,通过类MultiComponentReducer继承Reducer抽象类实现。 main方法提供建立一个MapReduce job,并提交MapReduce作业到Hadoop集群。
获取拼接后的数据取最后一条输出到HBase、HDFS,通过类MultiComponentReducer继承Reducer抽象类实现。 main方法提供建立一个MapReduce job,并提交MapReduce作业到Hadoop集群。
su - omm cd 客户端安装目录 source bigdata_env 获取文件列表。
前提条件 已获取“admin”账号密码。“admin”密码在创建MRS集群时由用户指定。 操作步骤 进入Impala服务页面:登录FusionInsight Manager,然后选择“集群 > 待操作的集群名称 > 服务 > Impala”。
Spark2x无法访问Spark1.5创建的DataSource表 问题 在Spark2x中访问Spark1.5创建的DataSource表时,报无法获取schema信息,导致无法访问表。
hbaseConfig = HBaseConfiguration.create(); 错误示例: hbaseConfig = new Configuration(); 共享Configuration实例 HBase客户端代码通过创建一个与ZooKeeper之间的HConnection,来获取与一个
使用REST接口操作Namespace 功能简介 使用REST服务,传入对应host与port组成的url以及指定的Namespace,通过HTTPS协议,对Namespace进行创建、查询、删除,获取指定Namespace中表的操作。