-
提升HBase实时读数据效率 - MapReduce服务 MRS
对于可以压缩的数据,配置压缩算法可以有效减少磁盘的IO,从而达到提高性能的目的。 说明: 并非所有数据都可以进行有效压缩。例如一张图片的数据,因为图片一般已经是压缩后的数据,所以压缩效果有限。常用的压缩算法是SNAPPY,因为它有较好的Encoding/Decoding速度和可以接受的压缩率。
-
安全 - MapReduce服务 MRS
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 更新管理 安全加固 MRS集群保留JDK说明
-
提升HBase实时读数据效率 - MapReduce服务 MRS
对于可以压缩的数据,配置压缩算法可以有效减少磁盘的IO,从而达到提高性能的目的。 说明: 并非所有数据都可以进行有效压缩。例如一张图片的数据,因为图片一般已经是压缩后的数据,所以压缩效果有限。常用的压缩算法是SNAPPY,因为它有较好的Encoding/Decoding速度和可以接受的压缩率。
-
在线检索日志 - MapReduce服务 MRS
在线检索日志 操作场景 FusionInsight Manager支持在线检索并显示组件的日志内容,用于问题定位等其他日志查看场景。 操作步骤 登录FusionInsight Manager。 选择“运维 > 日志 > 在线检索”。 图1 在线检索 根据所需查询日志分别填写表1各
-
修改集群属性 - MapReduce服务 MRS
长度不能超过199个字符。 单击“确定”使新的集群名称生效。 修改“集群描述”。 单击,填入新的描述信息。 只能包含汉字、英文字母、数字、中英文逗号、中英文句号、下划线(_)、空格和换行符,并且不能超过199个字符。 单击“确定”使新的描述生效。 父主题: 管理集群
-
集群在线扩缩容 - MapReduce服务 MRS
集群在线扩缩容 大数据集群的处理能力通常可以通过增加集群的节点数来横向扩展,当集群规模不符合业务要求时,用户可以通过该功能进行集群节点规模的调整,进行扩容或者缩容;在缩容节点时,MRS会智能地选择负载最少或者迁移数据量最小节点,并且在缩容过程中,缩容节点不再接收新的任务,正在执行
-
ClickHouse DataBase设计 - MapReduce服务 MRS
系统数据库造成不必要的影响。 命名规范设计规则 所有命名采用26个英文字母和0~9这10个自然数,加上下划线_组成,一般不要出现其他符号。 对象名尽量的短,能表达业务所使用数据库含义即可,以英文单词、单词组合或英文单词缩写组成,不以数字或下划线_开头。 命名尽量不要使用SQL保留
-
安装在线补丁 - MapReduce服务 MRS
安装在线补丁 当您通过如下途径获知集群版本补丁信息,请根据您的实际需求进行集群补丁升级操作。 通过消息中心服务推送的消息获知MapReduce服务发布了补丁信息。 在管理控制台中的MRS集群详细页面内,单击“补丁管理 > 集群组件补丁”,查看可支持安装的补丁信息。 安装补丁前准备
-
资产识别与管理 - MapReduce服务 MRS
通信安全授权需要在创建集群时完成,如图1所示。 图1 通信安全授权 建议用户在使用大数据组件时,仅给可信的IP地址放开安全组访问权限。谨慎使用0.0.0.0/0作为安全组源地址。 敏感操作保护 MRS支持对敏感操作进行保护,若用户已开启敏感操作保护(请参见IAM服务的敏感操作),则
-
配置HetuEngine物化视图推荐能力 - MapReduce服务 MRS
WebUI”后的链接,进入HSConsole界面。 选择“SQL运维 > 物化视图推荐”,可根据“租户”、“状态”、“推荐周期”、“物化视图名称”进行搜索,支持模糊搜索,支持导出指定物化视图推荐结果信息。 物化视图任务的“状态”包括如下: 表2 物化视图任务的“状态” 状态名称 描述 状态名称 描述 To Be
-
提升HBase实时写数据效率 - MapReduce服务 MRS
对于可以压缩的数据,配置压缩算法可以有效减少磁盘的IO,从而达到提高性能的目的。 说明: 并非所有数据都可以进行有效压缩。例如一张图片的数据,因为图片一般已经是压缩后的数据,所以压缩效果有限。常用的压缩算法是SNAPPY,因为它有较好的Encoding/Decoding速度和可以接受的压缩率。
-
提升HBase实时写数据效率 - MapReduce服务 MRS
对于可以压缩的数据,配置压缩算法可以有效减少磁盘的IO,从而达到提高性能的目的。 说明: 并非所有数据都可以进行有效压缩。例如一张图片的数据,因为图片一般已经是压缩后的数据,所以压缩效果有限。常用的压缩算法是SNAPPY,因为它有较好的Encoding/Decoding速度和可以接受的压缩率。
-
Manager关键特性 - MapReduce服务 MRS
览器的语言偏好设置,显示中文或者英文。当浏览器首选语言是中文时,Manager显示中文界面;当浏览器首选语言不是中文时,Manager显示英文界面。用户也可以根据语言偏好,在界面左下角一键切换中英文界面(仅MRS 3.x及后续版本支持一键切换中英文界面)。 父主题: Manager
-
管理实例组 - MapReduce服务 MRS
表示实例组包含哪个角色的实例。 复制源 指从指定的实例组复制配置值到新组,若为空,则新组对应的各配置值为系统默认值。 描述 只可以包含汉字、英文字母、数字、中英文逗号、中英文句号、下划线(_)、空格和换行符,并且不能超过200个字符。 每个实例必须且只能属于一个实例组,实例首次安装时默认属于的实例组为“角色名-DEFAULT”。
-
Hive不支持复杂类型字段名称中包含哪些特殊字符 - MapReduce服务 MRS
Hive复杂类型字段名称中包含特殊字符,导致建表失败。 回答 Hive不支持复杂类型字段名称中包含特殊字符,特殊字符是指英文大小写字母、阿拉伯数字、中文字符、葡萄牙文字符以外的其他字符。 父主题: Hive常见问题
-
配置作业消息通知 - MapReduce服务 MRS
配置向订阅者发送作业执行结果消息的规则。 表1 消息订阅规则参数说明 参数 说明 规则名称 用户自定义发送订阅消息的规则名称,只能包含数字、英文字符、中划线和下划线。 提醒通知 选择开启,将向订阅者发送对应订阅消息。 主题名称 选择已创建的主题,也可以单击“创建主题”重新创建。 消息类型
-
添加引导操作 - MapReduce服务 MRS
信息页面。 在集群基本信息页,单击“引导操作”。 单击“添加”,根据界面信息填写对应参数。 图1 添加引导操作 表1 参数描述 参数 说明 名称 引导操作脚本的名称。 只能由数字、英文字符、空格、中划线和下划线组成,且不能以空格开头。 可输入的字符串长度为1~64个字符。 说明:
-
创建FlinkServer作业写入数据至Hive表 - MapReduce服务 MRS
连接成功后单击“确定”,完成集群连接创建。 表1 创建集群连接信息 参数名称 参数描述 取值样例 集群连接名称 集群连接的名称,只能包含英文字母、数字和下划线,且不能多于100个字符。 flink_hive 描述 集群连接名称描述信息。 - 版本 选择集群版本。 MRS 3 是否安全版本
-
作业提交参数间用空格隔开导致参数信息不被识别如何处理? - MapReduce服务 MRS
作业提交参数间用空格隔开导致参数信息不被识别如何处理? 问: 作业提交参数间用空格隔开会导致参数信息不被识别吗? 答: 不同参数间用空格隔开,可通过在参数名前添加'@'的方式防止参数信息被明文存储,例如: @password=XXXXXX进行使用。 父主题: 作业开发类
-
MapReduce服务 MRS - MapReduce服务 MRS
MapReduce服务 MRS MRS集群健康检查 03:25 MRS集群健康检查 MapReduce服务 MRS 在线检索和下载MRS集群日志 03:48 在线检索和下载MRS集群日志 MapReduce服务 MRS 创建MRS集群用户 05:19 创建MRS集群用户 组件知识培训