正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
-start <arg> 启动指定的job -submit 提交job -kill <arg> 删除指定的job -suspend <arg> 暂停指定的job -resume <arg> 恢复指定的job -D <property=value> 给指定的属性赋值 oozie admin
topic信息即重置Kafka数据,具体命令请参考: 删除topic:kafka-topics.sh --delete --zookeeper ZooKeeper集群业务IP:2181/kafka --topic topicname 查询所有topic:kafka-topics.sh
如果需要在日志中调整记录的日志级别,则管理员可以修改FusionInsight Manager的日志级别。对于某个具体的服务,除了可以修改日志级别,还可以修改日志文件大小,防止磁盘空间不足日志无法保存。 本章节操作仅支持MRS 3.x及之后的版本。 对系统的影响 保存新的配置需要重启服务,此时对应的服务不可用。
可能原因 运行的系统和编译环境所在的系统版本不同,造成GLIBC的版本不兼容。 定位思路 使用strings /lib64/libpthread.so.0 | grep GLIBC命令查看GLIBC是否版本低于2.12。 处理步骤 如果GLIBC版本太低,则需要使用含有较高版本的(此处为2
创建RDD. 以数据源的方式操作HBase,将上面生成的RDD写入HBase表中. 读取HBase表中的数据,并且对其进行简单的操作。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到S
HBase REST API接口介绍 MRS1.6之后,支持采用REST的方式来对HBASE进行相应的业务操作,REST API支持curl命令和Java client来操作HBase,有关curl命令的详细使用方法与Apache HBase保持一致,具体请参见https://hbase
用户可以在Spark应用程序中以数据源的方式去使用HBase,将dataFrame写入HBase中,并从HBase读取数据以及对读取的数据进行过滤等操作。 数据规划 在客户端执行hbase shell,进入HBase命令行,使用下面的命令创建样例代码中要使用的HBase表: create
创建RDD. 以数据源的方式操作HBase,将上面生成的RDD写入HBase表中. 读取HBase表中的数据,并且对其进行简单的操作。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到
Python3样例工程 操作场景 为了运行MRS产品Spark2x组件的Python3接口样例代码,需要完成下面的操作。 操作步骤 客户端机器必须安装有Python3,其版本不低于3.6。 在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3.8.2。
Python3样例工程 操作场景 为了运行MRS产品Spark2x组件的Python3接口样例代码,需要完成下面的操作。 操作步骤 客户端机器必须安装有Python3,其版本不低于3.6。 在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3.8.2。
如何修复长时间处于RIT状态的Region 问题 在HBase WEBUI界面看到有长时间处于RIT状态的Region,如何修复? 回答 登录HMaster WebUI,在导航栏选择“Procedure & Locks”,查看是否有处于Waiting状态的process id。如果
获取运行中Spark应用的Container日志 运行中Spark应用的Container日志分散在多个节点中,本章节用于说明如何快速获取Container日志。 场景说明 可以通过yarn logs命令获取运行在Yarn上的应用的日志,针对不同的场景,可以使用以下命令获取需要的日志: 获取
以客户端安装用户登录安装了HDFS客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装目录 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命令进行用户认证,该用户需具有OBS目录的读写权限。普通模式集群无需执行用户认证。
以客户端安装用户登录安装了Yarn客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装目录 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命令进行用户认证,该用户需具有OBS目录的读写权限。普通模式集群无需执行用户认证。
ALTER RENAME TABLE 命令功能 RENAME命令用于重命名现有表。 命令语法 ALTER TABLE oldTableName RENAME TO newTableName 参数描述 表1 RENAME参数描述 参数 描述 oldTableName 现有表名。 new_table_name
-start <arg> 启动指定的job -submit 提交job -kill <arg> 删除指定的job -suspend <arg> 暂停指定的job -resume <arg> 恢复指定的job -D <property=value> 给指定的属性赋值 oozie admin
用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将构建的RDD写入HBase中。 数据规划 在客户端执行hbase shell,进入HBase命令行,使用下面的命令创建样例代码中要使用的Hase表: create 'bulktable','cf1'
并且HDFS状态为“CORRUPT” 解决办法 请确认该损坏的块是否可以删除。 是,执行2。 否,请联系技术支持。 执行以下命令进入HDFS客户端。 cd HDFS客户端安装目录 source bigdata_env kinit 业务用户 执行以下命令删除之前记录的损坏的块。 hdfs dfs -rm -skipTrash
为了运行FusionInsight MRS产品HetuEngine组件的Python3样例代码,需要完成下面的操作。 操作步骤 客户端机器必须安装有Python3,其版本不低于3.6,最高不能超过3.9。 在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3
Python3样例工程 操作场景 为了运行MRS产品Spark2x组件的Python3接口样例代码,需要完成下面的操作。 操作步骤 客户端机器必须安装有Python3,其版本不低于3.6。 在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3.8.2。