检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MOVE:表示基于age规则识别出相应的数据冷热度,并标记出对应的存储策略后,并触发HDFS Auto Data Movement工具进行数据搬迁,调用HDFS冷热数据迁移工具并跨层迁移数据的行为操作。 SET_REPL:为文件设置新的副本数的行为操作。
MRS对外提供了基于Hive组件的应用开发样例工程,本实践用于指导您创建MRS集群后,获取并导入样例工程并在本地进行编译调测,用于实现MRS集群中的Hive表的创建、数据插入、读取等操作。
原因:创建UDF后,Spark服务端的JDBCServer未重启或者spark-sql未重新启动的场景,Spark所在线程的FunctionRegistry对象未保存新创建的UDF,那么删除UDF时就会出现错误。
原因:创建UDF后,Spark服务端的JDBCServer未重启或者spark-sql未重新启动的场景,Spark所在线程的FunctionRegistry对象未保存新创建的UDF,那么删除UDF时就会出现错误。
/var/log/Bigdata/clickhouse/clickhouseServer/clickhouse-server.log /var/log/Bigdata/clickhouse/clickhouseServer/ugsync.log 用户角色同步工具打印日志。
若需要在本地Windows调测HBase样例代码,需参考表1放置各样例项目所需的配置文件、认证文件: 表1 放置各样例项目所需的配置文件/认证文件 样例工程位置 需放置的配置/认证文件 hbase-examples/hbase-example(单集群场景) 需将以下文件放置在样例工程的
解压keytab文件,使用WinSCP工具将解压得到的“user.keytab”文件上传到待操作节点的Hive客户端安装目录下,例如:“/opt/client”。
解压keytab文件,使用WinSCP工具将解压得到的“user.keytab”文件上传到待操作节点的Hive客户端安装目录下,例如:“/opt/client”。
安装IntelliJ IDEA和JDK工具后,需要在IntelliJ IDEA配置JDK。 打开IntelliJ IDEA,选择“Configure”。 图1 Quick Start 在下拉框中选择“Structure for New Projects”。
安装IntelliJ IDEA和JDK工具后,需要在IntelliJ IDEA配置JDK。 不同的IDEA版本的操作步骤可能存在差异,以实际版本的界面操作为准。 打开IntelliJ IDEA,选择“Configure”。
然后使用Beeline工具,创建Hive表,并插入数据。 执行如下命令,创建命名为person的Hive表。
安装IntelliJ IDEA和JDK工具后,需要在IntelliJ IDEA配置JDK。 不同的IDEA版本的操作步骤可能存在差异,以实际版本的界面操作为准。 打开IntelliJ IDEA,选择“Configure”。
安装IntelliJ IDEA和JDK工具后,需要在IntelliJ IDEA配置JDK。 打开IntelliJ IDEA,选择“Configure”。 图1 Quick Start 在下拉框中选择“Structure for New Projects”。
打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/female/” )下。
task异常导致Shuffle FetchFailed Executor进程Crash导致Stage重试 执行大数据量的shuffle过程时Executor注册shuffle service失败 在Spark应用执行过程中NodeManager出现OOM异常 安全集群使用HiBench工具运行
处理步骤 使用工具分别登录集群的Master节点执行如下操作。 执行如下命令编辑文件。
在FusionInsight Manager界面,选择“运维 > 日志 > 在线检索”,选择“Oozie”服务,检索日志关键词“[Oozie Alarm Enhancement][DB Service]”,在日志中查看具体告警原因,并进行处理。
在FusionInsight Manager界面,选择“运维 > 日志 > 在线检索”,选择“Oozie”服务,检索日志关键词“[Oozie Alarm Enhancement][YARN]”,在日志中查看具体告警原因,并进行处理。
实例列表区 实例列表区显示了该主机所有安装的角色实例,并显示每个角色实例的状态,单击角色实例名称后的日志文件,可在线查看该实例对应日志文件内容。 告警和事件的历史记录 告警和事件的历史记录区显示了当前主机上报的关键告警与事件记录,系统最多可显示20条历史记录。
(普通模式跳过此步骤) kinit 组件业务用户 执行以下命令登录客户端工具。 zkCli.sh -server ZooKeeper角色实例所在节点业务IP: clientPort 使用如下命令检查ClickHouse集群拓扑信息是否能正常获取到。