检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
级别:单条语句设置 > 会话级别设置 > 全局默认设置。 副本间强一致必须要结合原子性一起使用,否则在插入过程中出现异常,无法回退成功。 登录FusionInsight Manager页面,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置 > 可靠性”,修改以下参数:
可靠性、向后兼容性和更高的资源利用率,以及能支持除了MapReduce计算框架外的更多的计算框架。 基本概念 ResourceManager(RM) RM是一个全局的资源管理器,负责整个系统的资源管理和分配。它主要由两个组件构成:调度器(Scheduler)和应用程序管理器(Applications
Sqlline接口介绍 用户可以直接使用sqlline.py在服务端对HBase进行SQL操作。 Phoenix的sqlline接口与开源社区保持一致。 详情请参见http://phoenix.apache.org/。 此版本不包含开源社区中Phoenix二级索引特性。 父主题:
单击“配置”,显示服务池配置组管理页面。 在“系统资源调整基数”分别修改参数“CPU(%)”和“Memory(%)”。 修改“系统资源调整基数”将限制Flume、HBase、HDFS、Impala和YARN服务能够使用节点的最大物理CPU和内存资源百分比。如果多个服务部署在同一节点,则所有服务使用的最大物理资源百分比不能超过此参数值。
数据目录下文件或目录的权限不对,GaussDB要求文件权限至少是600,目录权限至少为700。 图2 目录权限列表 图3 文件权限列表 解决办法 按照图2和图3的权限列表,修改相应文件和目录的权限。 重启相应的DBServer实例。 父主题: 使用DBservice
X,请执行搬迁前务必确认是否支持搬迁。 方案架构 CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。 CDM服务迁移Hadoop数据至MRS集群方案如图1所示。 图1 Hadoop数据迁移示意
ONLY),内存+磁盘(MEMORY_AND_DISK)等。 RDD上支持两种类型的操作:Transformation和Action,这两种类型的常用方法如表1和表2所示。 表1 Transformation 方法 说明 map[U](f: (T) => U): RDD[U] 对
ONLY),内存+磁盘(MEMORY_AND_DISK)等。 RDD上支持两种类型的操作:Transformation和Action,这两种类型的常用方法如表1和表2所示。 表1 Transformation 方法 说明 map[U](f: (T) => U): RDD[U] 对
输入给reduce任务,最后返回给客户端。通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控,以及重新执行已经失败的任务。 MapReduce主要特点如下: 大规模并行计算 适用于大型数据集 高容错性和高可靠性 合理的资源调度 父主题: MapReduce应用开发概述
getExecutionEnvironment(); //将StormConfig设置到Job的环境变量中,用于构造Bolt和Spout //如果Bolt和Spout初始化时不需要config,则不用设置 env.getConfig().setGlobalJobParameters(stormConfig);
密码包含的最小字符个数,取值范围为8~32。 字符类型的数目 4 密码字符包含大写字母、小写字母、数字、空格和特殊符号(包含~`!?,.:;-_'(){}[]/<>@#$%^&*+|\=)的最小种类。可选择数值为“4”和“5”。默认值“4”表示可使用大写字母、小写字母、数字、特殊符号,选择“5”表示可使用全部。
> 告警 > 告警”,在告警列表中查看是否有“进程故障”告警产生。 是,执行7。 否,执行10。 查看告警信息中的服务名和主机名是否和LdapServer服务名和主机名一致。 是,执行8。 否,执行10。 按“ALM-12007 进程故障”提供的步骤处理该告警。 在告警列表中查看“
Jar作业提交SQL样例程序开发思路 场景说明 当作业的SQL语句修改频繁时,可使用Flink Jar的方式提交Flink SQL语句,以减少用户工作量。 本场景适用于MRS 3.2.1及以后版本。 开发思路 使用当前样例提交并执行指定的SQL语句,多个语句之间使用分号分隔。 父主题:
配置自定义调度器的WebUI 配置场景 如果用户在ResourceManager中配置了自定义的调度器,可以通过以下配置项为其配置相应的Web展示页面及其他Web应用。 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。 表1 配置自定义调度器的WebUI
使用Spark 运行Spark应用时修改split值报错 提交Spark任务时提示参数格式错误 磁盘容量不足导致Spark、Hive和Yarn服务不可用 引入jar包不正确导致Spark任务无法运行 Spark任务由于内存不够或提交作业时未添加Jar包,作业卡住 提交Spark任
参数 描述 database_name Database名称,由字母、数字和下划线(_)组成。 table_name Database中的表名,由字母、数字和下划线(_)组成。 using 参数hudi,定义和创建Hudi table。 table_comment 表的描述信息。 location_path
“ERROR”:错误日志级别,设置后日志打印输出“ERROR”和“FATAL”信息。 “WARN”:警告日志级别,设置后日志打印输出“WARN”、“ERROR”和“FATAL”信息。 “INFO”(默认):提示信息日志级别,设置后日志打印输出“INFO”、“WARN”、“ERROR”和“FATAL”信息。 “DE
remote-app-log-dir-suffix”参数还需要在Yarn的客户端进行配置,且在ResourceManager、NodeManager和JobHistory节点的配置与在Yarn的客户端的配置必须一致。 周期性收集日志功能目前仅支持MapReduce应用,且MapReduce
高效、易用的数据集成服务。CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高数据迁移和集成的效率,可参考Hadoop数据迁移到华为云MRS服务、HBase数据迁移到华为云MRS服务相关内容。
Presto样例程序开发思路 场景说明 假定用户开发一个Presto数据分析应用,用于获取Presto提供的TPCDS Catalog的call_center表。 开发思路 数据准备。 创建三张表,雇员信息表“employees_info”、雇员联络信息表“employees_c