检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
具体可参考如何上传本地文件到集群内节点?。 使用root用户登录主OMS节点,修改补丁工具相应权限,切到omm用户下,并解压补丁工具至当前目录。
yarn logs -applicationId application_* -show_container_log_info --containerId container_1547547065745_0001_01_000004 下载指定日志taskmanager.log至本地
数据文件若存放在本地文件系统,需在所有部署Yarn NodeManager的节点指定目录放置,并设置运行用户访问权限。 若将数据文件放置于HDFS,需指定程序中读取文件路径HDFS路径,例如"hdfs://hacluster/path/to/file"。
数据文件若存放在本地文件系统,需在所有部署Yarn NodeManager的节点指定目录放置,并设置运行用户访问权限。 或将数据文件放置于HDFS,并指定程序中读取文件路径HDFS路径,例如"hdfs://hacluster/path/to/file"。
数据文件若存放在本地文件系统,需在所有部署Yarn NodeManager的节点指定目录放置,并设置运行用户访问权限。 或将数据文件放置于HDFS,并指定程序中读取文件路径HDFS路径,例如"hdfs://hacluster/path/to/file"。
单击左下角的下载按钮,将日志下载回本地。 搜索日志中 UserIP关键字,统计提交较多的客户端IP,针对该客户端进行流控限制,避免提交过多请求导致其他客户端抢占不到资源。 收集故障信息 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。
若将checkpoint的快照信息保存到本地文件,则可直接登录到各个节点查看。 查看Stream SQL Join结果 结果在flink的“taskmanager.out”文件中,用户可以通过Flink的WebUI查看“task manager”标签下的out按钮查看。
如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下: 服务端和客户端仅支持自带的OpenJDK,版本为1.8.0_272,不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。
本地新建两个文本文件,将log1.txt中的内容复制保存到input_data1.txt,将log2.txt中的内容复制保存到input_data2.txt。
参考准备本地应用开发环境将准备好的Python虚拟环境打包,获取“venv.zip”文件。
文件必须是HDFS上的文件,不可以用file://的形式指定本地文件系统上的文件。 文件名不能以下横线(_)或点(.)开头,以这些开头的文件会被忽略。
fs.obs.buffer.dir:该参数值需要修改为本地挂载的数据盘目录,例如“/srv/BigData/data1/tmp/HBase/obs”。 单击“保存”,保存配置。 单击“概览”,选择“更多 > 重启服务”,重启HBase服务。服务重启成功后即开启了冷热分离功能。
如果在本地配置该文件,配置完成后可参考如下步骤在Manager界面上传配置文件。如果操作顺序不规范,可能造成用户自定义环境变量丢失。 登录FusionInsight Manager。
Local DBService HA Name 本地DBService HA名称。 Peer DBService HA Name 对端DBService HA名称。
数据文件若存放在本地文件系统,需在所有部署Yarn NodeManager的节点指定目录放置,并设置运行用户访问权限。 若将数据文件放置于HDFS,需指定程序中读取文件路径HDFS路径,例如"hdfs://hacluster/path/to/file"。
参考准备本地应用开发环境将准备好的Python虚拟环境打包,获取“venv.zip”文件。
ClickHouse需要写本地表。 内容要求:连接balancer写入报错Request Entity Too Large。这是由于Nginx对http请求体大小有限制,而一次写入的数据量超过了这个限制。
-applicationId application_* --containerId container_1547547065745_0001_01_000004 -out logdir/ 图17 获取指定container运行日志 上述命令会将container运行日志下载至本地
MRS集群网络互通时,可以直接在本地进行调测运行。
元数据准备及上传 数据文件快照上传完成后,Frontend会首先将对应元数据写成本地文件,然后通过Broker将本地元数据文件上传到远端仓库,完成备份作业操作。