检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
确认后续配置,单击“Next”;如无特殊需求,使用默认值即可。 选择推荐的JDK版本,单击“Finish”完成导入。 在开发环境IntelliJ IDEA中,样例工程的conf目录下,打开文件“clickhouse-example.properties”,按需修改表1的参数。 (可选)如果使用机机用户认证,需
要生成的加密密钥的长度,支持设置为“192”或“256”。 256 spark.network.crypto.keyFactoryAlgorithm 生成加密密钥时使用的算法。 PBKDF2WithHmacSHA1 spark.io.encryption.enabled 启用本地磁盘I/O加密。 安全模式:true
keytab文件位置请根据自己实际路径填写。 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input(hdfs dfs命令有同样的作用),创建对应目录。 在Linux系统HDFS客户端使用命令hadoop fs -put log1.txt /tmp/input,上传数据文件。
表1 参数含义 参数 含义 name 流程文件名 start 流程开始节点 end 流程结束节点 action 实现具体业务动作的节点(可以是多个) 样例代码 <workflow-app xmlns="uri:oozie:workflow:1.0" name="data_load">
表1 参数含义 参数 含义 name 流程文件名 start 流程开始节点 end 流程结束节点 action 实现具体业务动作的节点(可以是多个) 样例代码 <workflow-app xmlns="uri:oozie:workflow:1.0" name="data_load">
存无法满足当前TokenServer进程所需的堆内存,建议根据2查看“TokenServer堆内存使用率”,调整“GC_OPTS”参数中“-Xmx”的值为“TokenServer使用的堆内存大小”的两倍(可根据实际业务场景进行修改)。 重启受影响的服务或实例,观察界面告警是否清除。
表1 参数含义 参数 含义 name 流程文件名 start 流程开始节点 end 流程结束节点 action 实现具体业务动作的节点(可以是多个) 样例代码 <workflow-app xmlns="uri:oozie:workflow:1.0" name="data_load">
表1 参数含义 参数 含义 name 流程文件名 start 流程开始节点 end 流程结束节点 action 实现具体业务动作的节点(可以是多个) 样例代码 <workflow-app xmlns="uri:oozie:workflow:1.0" name="data_load">
调测Kudu应用 使用Maven编译。 解决“Error:(123,49) java: -source 1.5 中不支持 diamond 运算符”错误: 得到输出包: 上传jar包到Linux服务器执行。 父主题: Kudu开发指南(普通模式)
调测Kudu应用 使用Maven编译。 解决“Error:(123,49) java: -source 1.5 中不支持 diamond 运算符”错误: 得到输出包: 上传jar包到Linux服务器执行。 父主题: Kudu开发指南(安全模式)
easy_install命令,找到easy_install程序路径。如果有多个路径,使用easy_install --version确认选择setuptools对应版本的easy_install,例如:/usr/local/bin/easy_install。 使用对应的easy_install命令,安装dependency_python3
easy_install命令,找到easy_install程序路径。如果有多个路径,使用easy_install --version确认选择setuptools对应版本的easy_install,例如/usr/local/bin/easy_install。 使用对应的easy_install命令,安装dependency_python3
点组信息。 在“磁盘使用率”列,检查磁盘空间是否不足。 是,执行3.c。 否,执行4.a。 对磁盘进行扩容。 等待5分钟后,在“告警管理”页签,查看该告警是否恢复。 是,处理完毕。 否,执行4.a。 检查NameNode节点是否进入安全模式。 在集群节点使用客户端,执行hdfs dfsadmin
确认后续配置,单击“Next”;如无特殊需求,使用默认值即可。 选择推荐的JDK版本,单击“Finish”完成导入。 在开发环境IntelliJ IDEA中,样例工程的conf目录下,打开文件“clickhouse-example.properties”,按需修改表1的参数。 (可选)如果使用机机用户认证,需
在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input(hdfs dfs命令有同样的作用),创建对应目录。 进入到HDFS客户端下的“/tmp/input”目录,在Linux系统HDFS客户端使用命令在Linux系统HDFS客户端使用命令hadoop fs
可能导致任务堆积,无法及时处理。 可能原因 集群运算能力低于任务提交速率,导致任务提交后无法及时运行处理。 处理步骤 检查Yarn页面的内存和vcore使用情况。 查看Yarn原生页面的Memory Used|Memory Total和VCores Used|VCores Total,看是否已经到达或者接近最大值。
admin,设置其“主组”为supergroup,并绑定角色sparkrole取得权限,单击“确定”。 Spark Streaming程序使用的用户需要加kafkaadmin组权限,用来操作Kafka组件。 在MRS Manager界面选择“系统设置>用户管理”,在用户名中选择s
sh 回退完成后需要在FusionInsight Manager界面上重启Spark的JDBCServer2x实例。 回退客户端补丁 如果有使用自主安装的客户端(集群内、外新下载客户端),需要执行客户端升级或者回退的操作。 登录客户端所在节点并执行以下命令: cd /opt/{MRS补丁版本号}/client
在弹性云服务器管理控制台,单击“开机”,将已更换磁盘的节点开机。 执行fdisk -l命令,查看新增磁盘。 使用cat /etc/fstab获取盘符。 图2 获取盘符 使用对应的盘符对新磁盘进行格式化。 例如:mkfs.ext4 /dev/sdh 执行如下命令挂载新磁盘。 mount
不存在该环境变量,则设置为spark.local.dir的值,若此配置还不存在,则使用java.io.tmpdir的值。客户端默认配置中spark.local.dir被设置为/tmp,因此默认使用系统/tmp目录。 但存在一些特殊情况,如driver进程未正常退出,比如被kill