检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“DBService”和“NodeAgent”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除
在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选“NodeAgent”,单击“确定”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除
MapReduce客户端配置文件路径:客户端安装目录/HDFS/hadoop/etc/hadoop/mapred-site.xml。 表1 多CPU内核设置 配置 描述 参数 默认值 Server/Client 影响 备注 节点容器槽位数 如下配置组合决定了每节点任务(map、reduce)的并发数。
REPLICATION SLAVE on *.* to 'maxwell'@'%'; 如果Maxwell部署在MySQL机器上,则创建的maxwell用户可以设置为只能在本机登录数据库,此时创建命令为 mysql> GRANT SELECT, REPLICATION CLIENT, REPLICATION
个Task节点。如果 YARNAppRunning 小于等于25 ,并持续 1 个五分钟,则终止 1个Task节点。冷却时间皆为20分钟,并且设置了该策略下弹出的节点会打上aaa=bbb的标签。 /v2/{project_id}/autoscaling-policy/{cluster_id}
Channel和HDFS Sink,如图3所示。 图3 Flume配置工具示例 双击对应的source、channel以及sink,根据实际环境并参考表1设置对应的配置参数。 如果想在之前的“properties.propretites”文件上进行修改后继续使用,则登录FusionInsight
本章节内容仅适用于MRS 3.1.2及之后版本。 前提条件 已登录Manager。 登录角色拥有Manager管理员权限。 将RSGroup最小节点数设置为下述三种情况的最大值。 为了保证服务的可靠性,RSGroup内的RegionServer节点数量需要配置一定的冗余量,确保冗余节点数 >
val resultValue = hbase1Value.toInt + hbase2Value.toInt // 设置结果到put对象 put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(qualifier)
efaults.conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”(该参数值默认为“false”,改为“true”后对已有业务没有影响。如果要卸载HBase服务,卸载前请将此参数值改回“false”)。
println(s"Finished! Exit code is $exitCode") } 根据业务逻辑,开发对应的Spark应用程序。并设置用户编写的Spark应用程序的主类等常数。不同场景的示例请参考开发Spark应用。 如果您使用的安全模式,建议按照安全要求,准备安全认证代码、业务应用代码及其相关配置。
RegionServer实例的规则。 前提条件 已登录Manager。 登录角色拥有Manager管理员权限。 将RSGroup最小节点数设置为下述三种情况的最大值。 为了保证服务的可靠性,RSGroup内的RegionServer节点数量需要配置一定的冗余量,确保冗余节点数 >
全部配置”。搜索参数项“clickhouse-config-customize”添加名称为“mysql_port”,值为“9004”的参数值。 参数值可以自行设置。 修改完成后,单击“保存”。 单击“概览”页签,选择“ 更多 > 重启实例”或者“ 更多 > 滚动重启实例”。 父主题: ClickHouse数据导入
参考表2。 表2 HetuEngine数据源自定义配置参数 名称 描述 取值样例 hsfabric.health.check.time 设置检测HSFabric实例状态的周期间隔,单位:秒 60 hsfabric.subquery.pushdown 开启跨域查询下推参数,默认开启。
on 10-196-115-2 (694/153378) 单个任务运行时间超过6分钟,从而导致连接超时问题,最终使得任务失败。 将参数中的核数设置为1,“--executor-cores 1”,任务正常完成,单个任务处理时间在合理范围之内(15秒左右)。 16/02/29 02:24:46
Manager首页,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的如下节点信息。 ZooKeeper HDFS 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除
on 10-196-115-2 (694/153378) 单个任务运行时间超过6分钟,从而导致连接超时问题,最终使得任务失败。 将参数中的核数设置为1,“--executor-cores 1”,任务正常完成,单个任务处理时间在合理范围之内(15秒左右)。 16/02/29 02:24:46
代码样例 创建拓扑: public static void main(String[] args) throws Exception { // 设置拓扑配置 Config conf = new Config(); // 配置安全插件 setSecurityPlugin(conf);
Session.close() 关闭Session。 void setStorageGroup(String storageGroupId) 设置存储组。 void deleteStorageGroup(String storageGroup) void deleteStorageGroups(List<String>
println(s"Finished! Exit code is $exitCode") } 根据业务逻辑,开发对应的Spark应用程序。并设置用户编写的Spark应用程序的主类等常数。不同场景的示例请参考开发Spark应用。安全模式,建议按照安全要求,准备安全认证代码、业务应用代码及其相关配置。
量中密文存放,使用时解密,确保安全; // 本示例以密码保存在环境变量中来实现身份验证为例,运行本示例前,请先在本地环境中设置环境变量HETUENGINE_PASSWORD properties.setProperty("user", "YourUserName");