检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
发现日志中有内存溢出的现象,判断是由于PMS内存不足导致Manager界面出现卡顿。 处理步骤 以omm用户登录主管理节点。 执行以下命令打开application.properties文件。 vi ${BIGDATA_HOME}/om-server_*/OMS/workspac
“最大备份数”:填写备份目录中可保留的备份文件集数量。 “OBS”:表示将备份文件保存在OBS中。 选择此参数值,还需要配置以下参数: “目的端路径”:填写保存备份数据的OBS目录。 “最大备份数”:填写备份目录中可保留的备份文件集数量。 MRS 3.1.0及之后版本才支持备份数据到OBS。 单击“确定”保存。
可以参考备份数据将数据备份到第三方服务器,例如备份到:远端HDFS(RemoteHDFS)、NAS(NFS/CIFS)、SFTP服务器(SFTP)、OBS。 创建备份任务成功后,等待2分钟,检查告警是否消除。 是,处理完毕。 否,执行6。 收集故障信息。 在FusionInsight Manager界面,选择“运维
建备份任务。 如果数据要备份至NAS中,需要提前部署好NAS服务端。 如果数据要备份至OBS中,需要当前集群已对接OBS,并具有访问OBS的权限。MRS 3.5.0及之后版本支持备份数据到OBS。 备份HDFS业务数据 在FusionInsight Manager,选择“运维 >
delta_commits 选填 MOR表Compaction计划触发条件。 200 compaction.async.enabled 必填 是否开启在线压缩。将compaction操作转移到sparksql运行,提升写性能。 FALSE hive_sync.enable 选填 是否向Hive同步表信息。
主机名 产生告警的主机名。 对系统的影响 当Guardian调用ECS metadata失败时,可能会导致获取访问OBS的临时aksk失败,进而业务无法正常访问OBS。 可能原因 ECS底层接口异常,导致请求失败。 处理步骤 收集故障信息。 在FusionInsight Manager界面,选择“运维
在读取文件时,将单个分区打包的最大字节数。 单位:byte。 134217728(即128M) spark.files.openCostInBytes 打开文件的预估成本, 按照同一时间能够扫描的字节数来测量。当一个分区写入多个文件时使用。高估更好,这样小文件分区将比大文件分区更先被调度。 4M
[编号]”。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 Guardian日志列表 日志类型 日志文件名 描述 是否支持Manager在线检索 运行日志 token-server.log Guardian服务运行时的日志。 是 startDetail.log Guardian服务预启动日志。
Sink可以获取到HBase的Connection。 通过Connection判断表是否存在,如果不存在则创建表。 将接收到的数据转化成Put对象,写到HBase。 读HBase: 通过参数指定“hbase-site.xml”文件的父目录,Flink Source可以获取到HBase的Connection。
()返回的值以米为单位;ST_Area()返回的值以平方米为单位。 使用to_spherical_geography()函数将几何对象转换为地理对象。 例如ST_Distance(ST_Point(-71.0882,42.3607),ST_Point(-74.1197,40.69
文件压缩格式,包括gzip、bzip2、lzo、lzop、snappy。 hdfs.maxOpenFiles 5000 最大允许打开的hdfs文件数,当打开的文件数达到该值时,最早打开的文件将会被关闭。 hdfs.writeFormat Writable 文件写入格式,“Writable”或者“Text”。
在读取文件时,将单个分区打包的最大字节数。 单位:byte。 134217728(即128M) spark.files.openCostInBytes 打开文件的预估成本, 按照同一时间能够扫描的字节数来测量。当一个分区写入多个文件时使用。高估更好,这样小文件分区将比大文件分区更先被调度。 4M
在读取文件时,将单个分区打包的最大字节数。 单位:byte。 134217728(即128M) spark.files.openCostInBytes 打开文件的预估成本, 按照同一时间能够扫描的字节数来测量。当一个分区写入多个文件时使用。高估更好,这样小文件分区将比大文件分区更先被调度。 4M
在读取文件时,将单个分区打包的最大字节数。 单位:byte。 134217728(即128M) spark.files.openCostInBytes 打开文件的预估成本, 按照同一时间能够扫描的字节数来测量。当一个分区写入多个文件时使用。高估更好,这样小文件分区将比大文件分区更先被调度。 4M
群名称,进入集群信息页面。 在集群详情页,单击“租户管理”。 在左侧租户列表,将光标移动到需要添加子租户的租户节点上,单击“添加子租户”,打开添加子租户的配置页面,参见以下表格内容为租户配置属性。 表1 租户参数一览表(MRS 3.x版本) 参数名 示例 描述 名称 ta1 指定
使用默认值即可。 选择推荐的JDK版本,单击“Finish”完成导入。 在开发环境IntelliJ IDEA中,样例工程的conf目录下,打开文件“clickhouse-example.properties”,按需修改表1的参数。 (可选)如果使用机机用户认证,需要参考准备MRS应用开发用户下载该机机用户的user
1.0.1/nodeagent/security/cert/subcert/certFile/ 将ca.crt文件下载到本地,以管理员的身份打开cmd。 输入如下命令: keytool -import -v -trustcacerts -alias ca -file "D:\xx\ca
Sink可以获取到HBase的Connection。 通过Connection判断表是否存在,如果不存在则创建表。 将接收到的数据转化成Put对象,写到HBase。 读HBase: 通过参数指定“hbase-site.xml”文件的父目录,Flink Source可以获取到HBase的Connection。
资源权限:ClickHouse支持的资源权限如表2所示。 表1 ClickHouse支持的权限管理对象 资源列表 是否集成 备注 数据库 是(一级) - 表 是(二级) - 视图 是(二级) 与表一致 表2 资源权限列表 资源对象 可选权限 备注 数据库(DATABASE) CREATE CREATE
ly ------------------------------- on (1 row) 是,执行4。 否,执行13。 执行以下命令,打开“dbservice.properties”文件: source $DBSERVER_HOME/.dbservice_profile vi