检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
添加MySQL数据源 本章节适用于MRS 3.3.0及之后的版本。 HetuEngine支持配置MySQL数据源实现对MySQL数据源的接入与查询功能。本章节指导用户在集群的HSConsole界面添加MySQL类型的JDBC数据源。 添加MySQL数据源前提条件 数据源与HetuEngine集群节点网络互通。
ClickHouse基本原理 ClickHouse简介 ClickHouse是一款开源的面向联机分析处理的列式数据库，其独立于Hadoop大数据体系，最核心的特点是压缩率和极速查询性能。同时，ClickHouse支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常
准备HBase应用开发和运行环境 准备开发环境 在进行二次开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
anger权限控制策略后，通过FusionInsight Manager创建的角色中关于该组件的权限将失效（HDFS与Yarn的组件ACL规则仍将生效），用户需通过Ranger管理界面添加策略进行资源的赋权。 Ranger的权限模型由多条权限策略组成，权限策略主要由以下几方面组成：
ClickHouse数据查询 数据查询规则 禁止select *查询 只查询需要的字段可以减少磁盘io和网络io，提升查询性能。 使用uniqCombined替代distinct uniqCombined对去重逻辑进行了优化，通过近似去重提升十倍查询性能，如果对查询允许有误差，可
请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 DataNode JVM参数配置规则 DataNode JVM参数“GC_OPTS”默认值为： -Xms2G -Xmx4G -XX:NewSize=128M -XX:MaxNewSize=256M
准备HDFS应用开发和运行环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows7以上版本。 运行环境：Windows或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
准备ClickHouse应用开发和运行环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows7以上版本。 运行环境：Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
准备ClickHouse应用开发和运行环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows7以上版本。 运行环境：Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
准备HDFS应用开发和运行环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows7以上版本。 运行环境：Windows或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
“设置最小授权范围”根据实际情况选择授权的资源范围，单击“确定”，创建委托。 在“委托”页面，将鼠标移动到新创建的委托名称上，获取具备访问OBS权限的委托ID。 创建对接ECS/BMS云服务委托 登录华为云管理控制台，选择“统一身份认证服务”。 在左侧导航栏选择“委托”，单击右上角的“创建委托”，设置相关参数，单击“下一步”。
标准，并对照检查标准对文件进行进一步的手动检查和修改。 执行vi 文件名命令进入编辑模式，按“Insert”键开始编辑。 修改完成后按“Esc”键退出编辑模式，并输入:wq保存退出。 例如： vi /etc/ssh/sshd_config 等待一个小时，进入下一次检查，查看告警是否恢复。
设置告警平滑次数 根据实际服务的使用情况在“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 进程 > omm 进程使用率”中修改对应规则的阈值，如图2所示。 图2 设置告警阈值 等待2分钟，查看告警是否自动恢复。 是，处理完毕。 否，执行3。 检查系统omm用户同时打开的进程（包括线程）最大数的配置是否合理。
待操作集群的名称 > DBService > 数据库 > 数据库连接数使用率 (DBServer)”，单击“操作”栏的“修改”按钮，进入修改规则界面，修改后单击“确定”，修改即生效，如图4所示。 图4 设置告警阈值 等待2分钟，查看告警是否自动恢复。 是，处理完毕。 否，执行9。 收集故障信息
“设置最小授权范围”根据实际情况选择授权的资源范围，单击“确定”，创建委托。 在“委托”页面，将鼠标移动到新创建的委托名称上，获取具备访问OBS权限的委托ID。 创建对接ECS/BMS云服务委托 登录华为云管理控制台，选择“统一身份认证服务”。 在左侧导航栏选择“委托”，单击右上角的“创建委托”，设置相关参数，单击“下一步”。
置确定是否汇聚到HDFS目录中，详情请参见Yarn常用配置参数。 其他日志：“/var/log/Bigdata/spark2x” 日志归档规则： 使用yarn-client或yarn-cluster模式提交任务时，Executor日志默认50MB滚动存储一次，最多保留10个文件，不压缩。
ClickHouse数据入库规范 规则 写本地表，查询分布式表，提升写入和查询性能，保证写入和查询的数据一致性。 只有在去重诉求的场景下，可以使用分布式表插入，通过sharding key将要去重的数据转发到同一个shard，便于后续去重查询。 外部模块保证数据导入的幂等性。 C
置确定是否汇聚到HDFS目录中，详情请参见Yarn常用配置参数。 其他日志：“/var/log/Bigdata/spark2x” 日志归档规则： 使用yarn-client或yarn-cluster模式提交任务时，Executor日志默认50MB滚动存储一次，最多保留10个文件，不压缩。
现。例如，您只允许用户组A访问某一OBS文件系统中的日志文件，您可以执行以下操作来实现： 为MRS集群配置OBS访问权限的委托，实现使用ECS自动获取的临时AK/SK访问OBS。 在IAM中创建一个只允许访问某一OBS文件系统中的日志文件的策略，并创建一个绑定该策略权限的委托。
ume时可设置。 HBase的RegionServer滚动重启的并发数不支持手动配置，会根据RegionServer的节点数自行调整，调整规则为：30节点以内，每个批次1个节点；300节点以内，每个批次2个节点；300节点以上(含300节点)，每个批次1%(向下取整)个节点。 “批次时间间隔”
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
