检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 无。 可能原因 提交的YARN作业程序有问题,例如: spark提交任务参数错误导致。 处理步骤 查看运行失败的作业日志,找到作业
ctas_select_parquet STORED AS carbondata as select * from parquet_ctas_test; 系统响应 该命令会从Parquet表上创建一个Carbon表,同时导入所有Parquet表的数据。 父主题: DDL
city) as 'carbondata' ; SHOW INDEXES ON productdb.productSalesTable; 系统响应 显示列出给定CarbonData表中的所有索引表和相应的索引列。 父主题: CarbonData语法参考
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
创建HBase表 功能简介 HBase通过org.apache.hadoop.hbase.client.Admin对象的createTable方法来创建表,并指定表名、列族名。创建表有两种方式(强烈建议采用预分Region建表方式): 快速建表,即创建表后整张表只有一个Regio
创建HBase表 功能简介 HBase通过org.apache.hadoop.hbase.client.Admin对象的createTable方法来创建表,并指定表名、列族名。创建表有两种方式,建议采用预分Region建表方式: 快速建表,即创建表后整张表只有一个Region,随
创建HBase表 功能简介 HBase通过org.apache.hadoop.hbase.client.Admin对象的createTable方法来创建表,并指定表名、列族名。创建表有两种方式(强烈建议采用预分Region建表方式): 快速建表,即创建表后整张表只有一个Regio
需避免不断创建对象或数组,否则容易造成内存耗尽。 Java UDF应该捕获和处理可能发生的异常,不能将异常给服务处理,以避免程序出现未知异常。可以使用try-catch块来处理异常,并在必要时记录异常信息。 UDF中应避免定义静态集合类用于临时数据的存储,或查询外部数据存在较大对象,否则会导致内存占用过高。
导入并配置SpringBoot样例工程 操作场景 为了运行MRS产品Hive组件的SpringBoot接口样例代码,需要完成下面的操作。 该章节以在Windows环境下开发SpringBoot方式连接Hive服务的应用程序为例。 该章节内容适用于MRS 3.3.0及之后版本。 操作步骤
e.xml”中配置“mapreduce.job.maps”项。 说明: 指定的InputFormat类用来控制map任务个数,注意该类是否支持客户端设定map个数。 setNumReduceTasks(int n) 核心接口,指定MapReduce作业的reduce个数。默认只启
参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 数据库服务不可用,无法对上层服务提供数据入库、查询等功能,使部分服务异常。 可能原因 浮动IP不存在。 没有主DBServer实例。
e.xml”中配置“mapreduce.job.maps”项。 说明: 指定的InputFormat类用来控制map任务个数,注意该类是否支持客户端设定map个数。 setNumReduceTasks(int n) 核心接口,指定MapReduce作业的reduce个数。默认只启
监控的指标具有随着时间不断变化的特点。 具有HBase的高吞吐,良好的伸缩性等特点。 接口类型简介 OpenTSDB提供基于HTTP的应用程序编程接口,以实现与外部系统的集成。 几乎所有OpenTSDB功能都可通过API访问,例如查询时间序列数据,管理元数据和存储数据点。详情请参见:http://opentsdb
查看样例程序的jar包。 jar包名最多为1023字符,不能包含;|&>,<'$特殊字符,且不可为空或全空格。 执行程序可存储于HDFS或者OBS中,不同的文件系统对应的路径存在差异。 OBS存储路径:以“obs://”开头。示例:obs://wordcount/program/hadoop-mapreduce-examples-2
导入并配置Hive JDBC样例工程 操作场景 为了运行MRS产品Hive组件的JDBC接口样例代码,需要完成下面的操作。 本章节以在Windows环境下开发JDBC方式连接Hive服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\h
并行的方式来处理。框架会对map的输出先进行排序,然后把结果输入给reduce任务,最后返回给客户端。通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控,以及重新执行已经失败的任务。 MapReduce主要特点如下: 大规模并行计算 适用于大型数据集 高容错性和高可靠性
HDFS上下载到本地,看到是gz结尾的文件,使用tar命令解压报错,格式不正确无法解压。使用file命令查看文件属性发现此文件来自于FAT系统的压缩而非UNIX。 解决办法 将格式不正确的文件移除HDFS目录或者替换为正确的格式的文件。 父主题: 使用Hive
集群的用户密码过期或遗忘后,也可使用管理员登录Manager初始化该用户的密码。 登录FusionInsight Manager。 选择“系统 > 权限 > 用户”。 在要初始化密码用户所在行,选择“更多 > 初始化密码”。在弹出窗口中输入当前登录的管理员用户密码确认身份,单击“
登录MRS集群的FusionInsight Manager界面,单击“集群 > 服务 > ZooKeeper > 配置 > 全部配置 > quorumpeer > 系统”,调整“GC_OPTS”参数:-Xmx最大内存数GB。 最大内存数参考值:master节点内存-16GB * 0.65 (保守估计值)