检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实例上迁移,再配置对接。 如果需要迁移多个MRS集群中的元数据到同一个LakeFormation实例,MRS集群之间的Database名称不能重复。 MRS对接LakeFormation后,MRS组件功能约束限制: Hive暂不支持临时表功能。 Hive暂不支持跨集群的列加密表功能。
Status:物化视图状态 DISABLE:物化视图连续三次自动刷新失败导致的不可用状态,不可用作被改写 ENABLE:正常状态 REFRESHING:刷新中 INIT:物化视图首次被创建,没有实体数据 SUSPEND:挂起状态,不能改写,不能刷新 State:物化视图有效期 Stale:物化视图过期
CREATE TABLE As SELECT 命令功能 CREATE TABLE As SELECT命令通过指定带有表属性的字段列表来创建CarbonData Table。 命令格式 CREATE TABLE [IF NOT EXISTS] [db_name.]table_name
SHOW SECONDARY INDEXES 命令功能 该命令用于在所提供的CarbonData表中显示所有的二级索引表。 命令格式 SHOW INDEXES ON db_name.table_name; 参数描述 表1 SHOW SECONDARY INDEXES参数 参数 描述
把结果输入给reduce任务,最后返回给客户端。通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控,以及重新执行已经失败的任务。 MapReduce主要特点如下: 大规模并行计算 适用于大型数据集 高容错性和高可靠性 合理的资源调度 常用概念 Hadoop shell命令
时,可以先缓存起来,避免频繁调用。 使用Token前请确保Token离过期有足够的时间,防止调用API的过程中Token过期导致调用API失败。 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到
具体样例程序可参考开发Spark应用。 在Spark任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例,否则可能会导致任务失败,并可能导致JobHistory部分数据丢失。 查看调测结果 Spark应用程序运行完成后,可通过如下方式查看应用程序的运行情况。 通过运行结果数据查看应用程序运行情况。
把结果输入给reduce任务,最后返回给客户端。通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控,以及重新执行已经失败的任务。 MapReduce主要特点如下: 大规模并行计算 适用于大型数据集 高容错性和高可靠性 合理的资源调度 常用概念 Hadoop Shell命令
12:07:20'之前的所有segment。 有关详细信息,请参阅DELETE SEGMENT by DATE。 删除结果 数据对应的segment被删除,数据将不能再被访问。可通过SHOW SEGMENTS命令显示segment状态,查看是否成功删除。 调用DELETE SEGMENT命令时,物理上而
sleep.before.failover=1 replication.sleep.before.failover是指在RegionServer启动失败时备份其剩余数据前需要的休眠时间。由于30秒(默认值)的睡眠时间没有任何意义,因此将其设置为1(s),使备份过程更快触发。 注意事项 当主
“WhiteList”:输入数据库中的表(如myclass) “Topic Table Mapping”:第一个框输入topic名(与4中作业名称“Name”的值不能一样,例如myclass_topic)。 第二个框输入表名(例如myclass。该值与第一个框的topic只能是一对一的关系)。 单击“确定”,PgSQL作业参数配置完成。
connection = DriverManager.getConnection(url, "", ""); 执行HQL 执行HQL,注意HQL不能以";"结尾。 正确示例: String sql = "SELECT COUNT(*) FROM employees_info"; Connection
检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从SFTP服务器导入数据时,确保SFTP服务器输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务
12:07:20'之前的所有segment。 有关详细信息,请参阅DELETE SEGMENT by DATE。 删除结果 数据对应的segment被删除,数据将不能再被访问。可通过SHOW SEGMENTS命令显示segment状态,查看是否成功删除。 调用DELETE SEGMENT命令时,物理上而
sleep.before.failover=1 replication.sleep.before.failover是指在RegionServer启动失败时备份其剩余数据前需要的休眠时间。由于30秒(默认值)的睡眠时间没有任何意义,因此将其设置为1(s),使备份过程更快触发。 注意事项 当主
把结果输入给reduce任务,最后返回给客户端。通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控,以及重新执行已经失败的任务。 MapReduce主要特点如下: 大规模并行计算 适用于大型数据集 高容错性和高可靠性 合理的资源调度 常用概念 Hadoop shell命令
当监控的租户目录下的文件对象使用率超过用户自定义设置的阈值时触发该告警,但不影响对该目录继续写入文件。一旦超过该目录分配的最大文件对象个数,则HDFS写入数据会失败。 可能原因 告警阈值配置不合理。 租户分配的文件目录数上限不合理 处理步骤 查看阈值设置是否合理 查看告警定位信息,获取上报告警的租户名称,租户目录。
huawei.bigdata.hdfs.examples.ColocationExample时,HDFS的配置项“fs.defaultFS”不能配置为“viewfs://ClusterX”。 未安装客户端时编译并运行程序 进入工程本地根目录,在Windows命令提示符窗口中执行下面命令进行打包。
ry MEM”参数设置内存。 示例 在执行spark wordcount计算中。1.6T数据,250个executor。 在默认参数下执行失败,出现Futures timed out和OOM错误。 因为数据量大,task数多,而wordcount每个task都比较小,完成速度快。
把结果输入给reduce任务,最后返回给客户端。通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控,以及重新执行已经失败的任务。 MapReduce主要特点如下: 大规模并行计算 适用于大型数据集 高容错性和高可靠性 合理的资源调度 常用概念 Hadoop shell命令