检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
给当前用户赋予更高权限(在“/etc/sudoers”文件中添加 'user ALL=(ALL) ALL',其中user指的是被授予更高权限的用户)。 父主题: 执行Shell脚本
使用Spark Shell创建Hudi表 操作场景 本指南通过使用spark-shell简要介绍了Hudi功能。使用Spark数据源,将通过代码段展示如何插入和更新Hudi的默认存储类型数据集: COW表。每次写操作之后,还将展示如何读取快照和增量数据。 前提条件 在Manage
使用Spark Shell创建Hudi表 本章节仅适用于MRS 3.3.1-LTS及之前版本。 操作场景 本章节主要介绍了如何通过spark-shell使用Hudi功能。 使用Spark数据源,通过代码段展示如何插入和更新Hudi的默认存储类型数据集COW表,以及每次写操作之后如何读取快照和增量数据。
MRS如何连接spark-shell? 用root用户登录集群Master节点。 配置环境变量。 source 客户端安装目录/bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit
修改/etc/ssh/sshd_config 中 ClientAliveInterval属性值建议为1800。 重启sshd服务。 父主题: 执行shell命令
修改/etc/ssh/sshd_config 中 ClientAliveInterval属性值建议为1800。 重启sshd服务。 父主题: 执行Shell脚本
给当前用户赋予更高权限(在“/etc/sudoers”文件中添加 'user ALL=(ALL) ALL',其中user指的是被授予更高权限的用户)。 父主题: 执行shell命令
如何配置Kafka客户端shell命令日志 用户问题 如何设置客户端shell命令的日志输出级别? 处理步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录,例如“/opt/client”。 cd /opt/client 切换到Kafka客户端配置目录。
问题现象 日志信息提示非法路径。 原因分析 输入的路径有误。 处理方法 检查输入的路径是否正确,路径中不能出现“\”。 父主题: 执行shell命令
单击“新建环境”,信息配置完成后单击“保存”,切换到“资源列表”页面。 单击“导入主机”,主机导入并验证连通性成功后重新部署应用即可。 父主题: 执行shell命令
开源sqoop-shell工具使用指导 概述 sqoop-shell是一个开源的shell工具,其所有功能都是通过执行脚本“sqoop2-shell”来实现的。 sqoop-shell工具提供了如下功能: 支持创建和更新连接器 支持创建和更新作业 支持删除连接器和作业 支持以同步或异步的方式启动作业
如何查看HBase shell的TTL属性? 如果插入数据时,设置了CELL的TTL,TTL属性不支持查看,但是可以通过验证设置的TTL是否生效来确认。 如果插入数据时未设置CELL的TTL,此时系统会自动插入当前时间为时间戳。 父主题: 通用类
开源sqoop-shell工具使用指导 概述 本章节适用于MRS 3.x及后续版本。 sqoop-shell是一个开源的shell工具,其所有功能都是通过执行脚本“sqoop2-shell”来实现的。 sqoop-shell工具提供了如下功能: 支持创建和更新连接器 支持创建和更新作业
file环境变量中。 shell脚本部署完成后未达到脚本预期 问题现象 部署应用中的shell脚本部署完成后未达到脚本预期。 原因分析 应用部署成功,但应用中的脚本执行失败。 处理方法 部署应用中shell脚本,会输出脚本执行过程中的结果,可以参考shell脚本提供的两个执行选项,方便定位问题。
单击“环境管理”,切换到“环境管理”页面。 单击目标环境名称,切换到“资源列表”页面,单击“导入主机”。 主机添加并验证成功后重新部署应用即可。 父主题: 执行Shell脚本
问题现象 日志信息提示非法路径。 原因分析 输入的路径有误。 处理方法 检查输入的路径是否正确,路径中不能出现“\”。 父主题: 执行Shell脚本
使用Kafka Shell命令无法操作Kafka集群 问题背景与现象 用户执行Kafka命令查看当前topic信息,但发现业务执行失败。 具体信息如下: root@Slave2bin]#./kafka-topics.sh --describe --topic example-metric1
script 失败 问题现象 日志信息提示“没有那个文件或目录”。 原因分析 Shell脚本路径填写错误。 处理方法 核查Shell脚本的路径输入,确保路径和文件名都没有问题。 父主题: 执行Shell脚本
单击“新建环境”,信息配置完成后单击“保存”,切换到“资源列表”页面。 单击“导入主机”,主机导入并验证连通性成功后重新部署应用即可。 父主题: 执行Shell脚本
Shell/Python节点执行失败,后台报错session is down 本指导以Shell算子为例。 问题现象 Shell节点运行失败了,实际上Shell脚本运行成功了。 原因分析 获取Shell节点的运行日志。 [2021/11/17 02:00:36 GMT+0800]