检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
请参见配置Container日志聚合功能。 然而,开启container日志聚合功能之后,其日志聚合至HDFS目录中,只能通过获取HDFS文件来查看日志。 开源Spark和Yarn服务不支持通过WebUI查看聚合后的日志。 父主题: Spark Core
选择开发环境 在工程信息页面,填写工程名称和存放路径,设置JDK版本,并勾选“Config later”(待工程创建完毕后引入scala的编译库文件),然后单击“Finish”完成工程创建。 图3 填写工程信息 父主题: 准备Spark应用开发环境
export HADOOP_ROOT_LOGGER=ERROR,console,调整为ERROR。 永久调整 在HDFS客户端环境变量配置文件“/opt/client/HDFS/component_env”(其中“/opt/client”需要改为实际客户端路径)增加“export
置页面。 参数说明 表1 HDFS参数说明 参数 参数说明 默认值 fs.obs.security.provider 指定获取访问OBS文件系统密钥的实现方式。 参数取值: com.huawei.mrs.MrsObsCredentialsProvider:通过MRS云服务委托获取凭证。
界面报错或部分功能不可用。 例如: 使用当前用户登录Flink WebUI后,部分内容不能正常显示,且没有权限创建应用、创建集群连接、创建数据连接等: 使用当前用户访问HDFS WebUI报错:Failed to retrieve data from /jmx?qry=java.lang:type=Memory
execute(QueryExecutorImpl.java:346) 回答 带有分区条件的查询,Hiveserver会对分区进行优化。 避免全表扫描,需要查询元数据符合条件的所有分区。 而gaussDB中提供的接口sendOneQuery,调用的sendParse方法中对参数的限制为32767。 如果分区条件数超过32767就异常。
Engine遵循该规范,并删除该子句的冗余用法,以避免对性能造成负面影响。 例如在执行INSERT语句时,ORDER BY子句不会对插入的数据产生影响,是个冗余的操作,会对整个INSERT语句的整体性能产生负面影响,因此HetuEngine会跳过ORDER BY操作。 ORDER
启动指定个数Consuemr线程来消费 // 注意:当该参数大于待消费Topic的Partition个数时,多出的线程将无法消费到数据 for (int threadNum = 0; threadNum < CONCURRENCY_THREAD_NUM; threadNum++)
3.x之前版本默认密码:KAdmin@123。 首次登录后会提示该密码过期,请按照提示修改密码并妥善保存。 执行以下命令 ,查看被锁用户数据密码错误次数“Failed password attempts”参数值是否大于或等于5,如果是,则证明账户被锁。 getprinc 被锁用户名
用。运行过程中依赖客户端已配置好的环境变量、运行依赖包和配置文件, 在Spark应用程序运行节点,执行如下命令使用Spark Launcher方式提交。之后,可通过Spark WebUI查看运行情况,或通过获取指定文件查看运行结果,可参见在Linux环境中查看Spark程序调测结果。
户及该用户的user.keytab、krb5.conf为示例,实际操作时请联系管理员获取相应权限的账号以及对应该账号的keytab文件和krb5文件。 用户可登录FusionInsight Manager,单击“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。
ALM-12047 网络读包错误率超过阈值(2.x及以前版本) 告警解释 系统每30秒周期性检测网络读包错误率,并把实际错误率和阈值(系统默认阈值0.5%)进行比较,当检测到网络读包错误率连续多次(默认值为5)超过阈值时产生该告警。 用户可通过“系统设置 > 阈值配置 > 设备 >
用户及该用户的user.keytab、krb5.conf为示例,实际操作时请联系管理员获取相应权限的账号以及对应账号的keytab文件和krb5文件。 用户可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。
查看“ips.ini”文件中是否配置了集群所有节点IP地址,如果配置了请执行3.c,否则添加节点IP地址到该文件中: cd /root/MRS_3x_Patch_Diskmgt_v2.1_20230322/ vim ips.ini 执行脚本卸载补丁,需要保证私钥文件“/tmp/xxxx
tWAL无法完成,则会再次提交相同的任务,在一定时间内多次提交了相同的任务,当其中某次任务执行完毕时会删除这个temp文件,所以在后来的任务执行时无法找到这个文件,故出现FileNotFoudException。需做如下调整: 当前“hbase.splitlog.manager.
修改。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下,“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。普通模式不需要下载keytab文件及修改密码操作。 使用Yarn客户端 安装客户端。 MRS 3.x之前版本请参考安装客户端章节。 MRS
nt.tar 执行以下命令校验安装文件包。 sha256sum -c /opt/MRS_Services_ClientConfig.tar.sha256 MRS_Services_ClientConfig.tar:OK 执行以下命令解压安装文件包。 tar -xvf MRS_Services_ClientConfig
ResourceManager(主)”进入Web界面后查看任务执行状态。 图2 ResourceManager Web UI页面 查看MapReduce应用运行结果数据。 当用户在Linux环境下执行yarn jar mapreduce-example.jar命令后,可以通过执行结果显示正在执行的应用的运行情况。例如:
b36ae4,ZKFC的sessionId为0x144cb2b3e4b36ae4。这意味着ZooKeeper服务端与客户端(ZKFC)之间数据交互失败。 ZooKeeper日志,如下所示: 2015-04-15 21:24:54,257 | INFO | CommitProcessor:22
接口参数说明 命令 参数 含义 oozie version 无 显示Oozie版本信息 oozie job -config <arg> 指定job配置文件(job.properties)路径 -oozie <arg> 指定oozie server地址 -run 运行job -start <arg>