检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何处理HetuEngine数据源丢失问题 问题 登录客户端查看HSConsole界面对接的数据源,数据源丢失。 回答 数据源丢失可能原因是DBservice主备倒换或数据库连接数使用率超过阈值造成。 用户可以登录FusionInsight Manager页面查看告警信息。 根据告警指导清除DBService告警,问题即可解决。
table h0_1 alter column extl set default 'new_default_value'; 系统响应 可在客户端中查看查询结果。 父主题: Hudi DDL语法说明
SHOW SESSION 语法 SHOW SESSION; 描述 用于列出所有session的配置参数。 示例 show session; 父主题: HetuEngine DDL SQL语法说明
TRUNCATE TABLE 语法 TRUNCATE [TABLE] table_name [PARTITION partition_spec]; partition_spec: : (partition_column = partition_col_value, partition_column
create 'test_table','cf',PRIORITY=>'1' 登录FusionInsight Manager界面,选择“集群 > 服务 > HBase > 配置 > 全部配置”,在搜索框中搜索表1中的参数,并修改对应参数值。 表1 HBase表级别过载控制参数 参数名称 参数说明
HBase应用开发简介 HBase简介 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是用来解决关系型数据库在处理海量数据时的局限性。 HBase使用场景有如下几个特点: 处理海量数据(TB或PB级别以上)。 具有高吞吐量。 在海量数据中实现高效的随机读取。
调测MapReduce应用 编译并运行MapReduce应用 查看MapReduce应用调测结果 父主题: MapReduce开发指南
HDFS应用开发简介 HDFS简介 HDFS(Hadoop Distribute FileSystem)是一个适合运行在通用硬件之上,具备高度容错特性,支持高吞吐量数据访问的分布式文件系统,适合大规模数据集应用。 HDFS适用于如下场景。 处理海量数据(TB或PB级别以上) 需要很高的吞吐量
Structured Streaming程序 场景说明 Java样例代码 Scala样例代码 父主题: 开发Spark应用
准备Presto应用开发环境 Presto应用开发环境简介 准备Presto应用开发环境 准备Presto应用开发用户 准备Presto JDBC应用开发环境 准备Presto HCatalog应用开发环境 父主题: Presto开发指南
准备Alluxio应用开发环境 Alluxio开发环境简介 准备Alluxio应用开发环境 导入并配置Alluxio样例工程 父主题: Alluxio开发指南
要从表中读取一条数据,首先需要实例化该表对应的Table实例,然后创建一个Get对象。也可以为Get对象设定参数值,如列族的名称和列的名称。查询到的行数据存储在Result对象中,Result中可以存储多个Cell。 代码样例 以下代码片段在com.huawei.bigdata.hbase
使用distcp命令跨集群复制HDFS数据 操作场景 distcp是一种在集群间或集群内部拷贝大量数据的工具。它利用MapReduce任务实现大量数据的分布式拷贝。 前提条件 已安装Yarn客户端或者包括Yarn的客户端。例如安装目录为“/opt/client”。 各组件业务用户
使用Hue提交提交Bundle批处理作业 操作场景 当同时存在多个定时任务的情况下,用户可以通过Bundle任务进行批量管理作业。该任务指导用户通过Hue界面提交批量类型的作业。 前提条件 提交Bundle批处理之前需要提前配置好相关的Workflow和Coordinator作业。
采集数据时报错HoodieKeyException 问题 创建Hudi表时,是否可以使用包含空记录的可空字段作为主键? 回答 不可以。 使用包含空记录的可空字段作为主键时会返回HoodieKeyException异常: Caused by: org.apache.hudi.exception
采用方式二时,只能将HDFS上的数据load到新建的表中,OBS上的数据不支持直接load到新建的表中。 输入查询表的Spark SQL语句。 语法格式: SELECT col_name FROM table_name; 查询表样例,查询src_data表中的所有数据: select * from src_data;
1.0及之前版本:在MRS Manager页面选择“系统设置”>“配置”>“权限配置”查询。 MRS 3.x及之后版本:在FusionInsight Manager页面选择“系统 > 权限”查询。 权限配置的相关使用方法请参考权限管理。 Kerberos集群的使用方式请参考使用Kerberos认证集群。
执行kill -9 aos进程号 结束aos进程。 等待aos进程自动重启成功,可通过ps -ef |grep aos命令查询进程是否存在,如果存在则重启成功,如果不存在请稍后再查询。 父主题: Web页面访问类
时accesskey和secretkey有过期时间。 如果需要运行像Flink和SparkStreaming这样的长时作业时,用户可通过“服务配置参数”选项框传入永久的accesskey和secretkey,以保证作业不会在运行过程中因密钥过期而执行失败。 父主题: 作业管理类
option(TABLE_NAME, tableName). mode(Overwrite). save(tablePath)} 查询数据: def queryData(spark: SparkSession, tablePath: String, tableName: String