检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
sh”脚本工具生成“Security Cookie”、“flink.keystore”和“flink.truststore”。需要输入自定义密码(不能包含#)。 父主题: 使用Flink
sh”脚本工具生成“Security Cookie”、“flink.keystore”和“flink.truststore”。需要输入自定义密码(不能包含#)。 父主题: 使用Flink
助客户自动完成华为云企业级大数据平台的安装部署和参数调优。 MRS服务为客户提供完全可控的大数据集群,客户在创建时可设置虚拟机的登录方式(密码或者密钥对),所创建的MRS集群资源完全归客户所用。同时MRS支持在两节点4U8G的ECS上部署大数据集群,为客户测试开发提供更多的灵活选择。
clickhouse client --host ClickHouse的实例IP --user 用户名 --password --port 9000 输入用户密码 执行如下命令查询集群分片信息: select cluster,shard_num,replica_num,host_name from system
f/”目录。 重启受影响的FlinkServer实例。 单击“实例”,勾选所有FlinkServer实例,选择“更多 > 重启实例”,输入密码,单击“确定”重启实例。 访问FlinkServer,并创建Flink SQL作业。 登录Manager,选择“集群 > 服务 > Flink”,在“Flink
拥有该权限的用户必须同时拥有Tenant Guest和Server Administrator权限。 RBAC策略 表2列出了MRS常用操作与系统权限的授权关系,您可以参照该表选择合适的系统权限。 表2 常用操作与系统策略的授权关系 操作 MRS FullAccess MRS CommonOperations
换为对应的本地表。 deny 根据场景定: deny/local/global/allow 否 background_pool_size 后台用于merge的线程池大小。 16 4u16G:cpu核数 8u32G:cpu核数 16u64G及以上:CPU内核数 * 2 否 log_queries
登录MRS管理控制台。 在集群详情页面,选择“节点管理”。 单击待更换磁盘的“节点名称”进入弹性云服务器管理控制台,单击“关机”。 联系华为云支持人员在后台更换磁盘。 在弹性云服务器管理控制台,单击“开机”,将已更换磁盘的节点开机。 初始化Linux数据盘。 具体步骤可参见初始化数据盘对新磁盘进行初始化操作。
务端的部分配置文件(hdfs-site.xml、core-site.xml、mapred-site.xml、yarn-site.xml),后台修改这些配置文件,再重启服务后也会被强制还原。 在MRS Manager界面上无法修改HBase的dfs.client.read.shortcircuit配置项。
分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。 MRS 3.0.5.1补丁需要集群管理员手工下载该补丁并在集群后台任意一个Master节点执行安装。操作步骤请参考补丁文件包内README.md文件。 集群扩容后需要再次在Master节点执行该补丁安装步
控,以及重新执行已经失败的任务。 MapReduce主要特点如下: 大规模并行计算 适用于大型数据集 高容错性和高可靠性 合理的资源调度 常用概念 Hadoop shell命令 Hadoop基本shell命令,包括提交MapReduce作业,终止MapReduce作业,进行HDFS文件系统各项操作等。
控,以及重新执行已经失败的任务。 MapReduce主要特点如下: 大规模并行计算 适用于大型数据集 高容错性和高可靠性 合理的资源调度 常用概念 Hadoop Shell命令 Hadoop基本shell命令,包括提交MapReduce作业,终止MapReduce作业,进行HDFS文件系统各项操作等。
控,以及重新执行已经失败的任务。 MapReduce主要特点如下: 大规模并行计算 适用于大型数据集 高容错性和高可靠性 合理的资源调度 常用概念 Hadoop shell命令 Hadoop基本shell命令,包括提交MapReduce作业,终止MapReduce作业,进行HDFS文件系统各项操作等。
} ] } } 结果分析: 通过这个接口,可以查询当前集群中已完成的MapReduce任务,并且可以得到表1 表1 常用信息 参数 参数描述 submitTime 任务提交时间 startTime 任务开始执行时间 finishTime 任务执行完成时间 queue
} ] } } 结果分析: 通过这个接口,可以查询当前集群中已完成的MapReduce任务,并且可以得到表1 表1 常用信息 参数 参数描述 submitTime 任务提交时间 startTime 任务开始执行时间 finishTime 任务执行完成时间 queue
控,以及重新执行已经失败的任务。 MapReduce主要特点如下: 大规模并行计算 适用于大型数据集 高容错性和高可靠性 合理的资源调度 常用概念 Hadoop shell命令 Hadoop基本shell命令,包括提交MapReduce作业,终止MapReduce作业,进行HDFS文件系统各项操作等。
-alias myservercert -file ca.crt -keystore truststore.jks 执行该命令后需输入一个自定义密码。 若需在Linux环境中运行样例代码,需将生成的“truststore.jks”文件复制到“客户端安装目录/IoTDB/iotdb/conf”目录下:
Flume Agent启动失败。 处理步骤 检查JAVA_HOME目录是否存在或JAVA权限是否正确 以root用户登录故障节点IP所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行以下命令获取发生告警的Flume客户端安装目录。(AgentId可以在告警的“定位信息”中获取)
IP地址为IP1(若出现多个告警,则分别记录其中的IP地址为IP1、IP2、IP3等)。 联系运维人员,以root用户登录IP1节点,用户密码为安装前用户自定义,请咨询系统管理员,在该节点执行ps -ef | grep sssd命令,查看是否有/usr/sbin/sssd进程启动。
bigdata_env 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit HetuEngine用户 根据回显提示输入密码。 执行如下命令创建目录,并将已准备好相应的UDF函数包、“udf.properties”、UDF依赖的配置文件上传到目录路径。 hdfs