检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
多CPU内核下MapReduce调优配置 操作场景 当CPU内核数很多时，如CPU内核为磁盘数的3倍时的调优配置。 操作步骤 以下参数有如下两个配置入口： 服务器端配置 进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 客户端配置
* 再通过storm客户端中storm -jar的命令进行提交 * * 如果是安全环境，客户端命令行提交之前，必须先通过kinit命令进行安全登录 * * 运行命令如下： * ./storm jar ../example/example
操作如下： 执行以下命令查看数据库Location。 show create database obs_test; 执行以下命令修改数据库Location。 alter database obs_test set location 'obs://test1/' 执行命令show create
使用root用户登录Impala所在节点，执行如下命令，确认当前系统上安装的Python版本： python --version 执行命令yum install make，查看yum是否可用。 如果yum install报如下错误，说明yum设置有问题，执行3。 如果没有报错，执行4。 执行命令cat /etc/yum
恢复Doris业务数据 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对Doris进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对Doris进行恢复数据操作。 系统管理员可以通过FusionInsight
如果两个Master节点都被修改了RPC端口，则只需登录其中一个修改即可。 执行su - omm命令切换到omm用户。 如果是安全集群，需要执行kinit hdfs命令进行认证。 执行如下命令，将环境变量脚本加载到环境中。 cd ${BIGDATA_HOME}/MRS_X.X.X/1_8_Zkfc/etc
policy=compact Topic创建成功后，执行以下命令运行程序。 java -cp .:/opt/client/lib/* com.huawei.bigdata.kafka.example.WordCountDemo 重新打开一个客户端连接窗口，执行以下命令，使用“kafka-console-producer
on.sh脚本执行时添加上传目录，例如在执行▪命令4：之前，应首先执行yarn-session.sh -t config/ ***。 四种类型实际命令示例，以ReadFromKafka为例，集群域名为“HADOOP.COM”： 命令1： bin/flink run --class
并统一打出完整的业务jar包，请参见打包Storm业务。 执行命令提交拓扑。 keytab方式下，若用户修改了keytab文件名，如修改为“huawei.keytab”，则需要在命令中增加第二个参数进行说明，提交命令示例（拓扑名为hdfs-test）： storm jar /opt/jartarget/source
MRS集群节点支持用户远程登录，远程登录包含界面登录和SSH登录两种方式： 界面登录：直接通过弹性云服务器管理控制台提供的远程登录功能，登录到集群节点的Linux命令行操作界面。 SSH登录：仅适用于Linux弹性云服务器，您可以使用远程登录工具（例如PuTTY）登录弹性云服务器，此时需要该弹性云服务器绑定弹性IP地址。
Lifecycle > clean”，双击“clean”运行maven的clean命令。 选择“Maven > 样例工程名称 > Lifecycle > compile”，双击“compile”运行maven的compile命令。 图3 mavne工具 clean和compile 方法二 在ID
setBolt("kafka-bolt", kafkaBolt, 10).shuffleGrouping("count-bolt"); // 命令行提交拓扑 StormSubmitter.submitTopology(args[0], conf, builder.createTopology());
一对一的转换：如Map。 一对0、1或多个的转换：如FlatMap。 一对0或1的转换，如Filter。 多对1转换，如Union。 多个聚合的转换，如window、keyby。 Topology 一个Topology代表用户的一个执行任务。一个Topology由输入（如kafka soruce）、输出（如kafka
Kerberos Server配置信息。 streaming-site.xml 配置Storm详细参数。 检查客户端节点网络连接。 在安装客户端过程中，系统会自动配置客户端节点“hosts”文件，建议检查“/etc/hosts”文件内是否包含集群内节点的主机名信息，如未包含，需要手动复制解压目录
“conf”目录下的“log4j.properties”文件，客户可根据自己的需要进行配置。 检查客户端节点网络连接。 在安装客户端过程中，系统会自动配置客户端节点“hosts”文件，建议检查“/etc/hosts”文件内是否包含集群内节点的主机名信息，如未包含，需要手动复制解压目录
端所在目录并加载变量。 cd /opt/client source bigdata_env 执行beeline命令进入Hive Beeline命令行界面。 执行以下命令创建一个与原始数据字段匹配的雇员信息数据表“employees_info”： create external table
登录主Master节点，主节点请参考如何确认MRS Manager的主备管理节点。 执行如下命令，配置环境变量。 source /opt/client/bigdata_env /opt/client为举例当前集群客户端的安装目录，请根据实际情况修改。 执行如下命令将OBS容器内部的目录挂载到Alluxio的/obs目录。
您可以根据实际任务数量的多少，为JobManager设置一个合适的内存。 在使用yarn-session命令时，添加“-jm MEM”参数设置内存。 在使用yarn-cluster命令时，添加“-yjm MEM”参数设置内存。 配置TaskManager个数。 每个TaskManag
以root用户登录DBService安装报错的节点主机，执行命令：netstat -nap | grep 20051查看占用20051端口的进程。 使用kill命令强制终止使用20051端口的进程。 约2分钟后，再次执行命令：netstat -nap | grep 20051，查看是否还有进程占用该端口。
keytab文件位置请根据自己实际路径填写。 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input（hdfs dfs命令有同样的作用），创建对应目录。 在Linux系统HDFS客户端使用命令hadoop fs -put log1.txt /tmp/input，上传数据文件。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
