检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置HDFS token的最大存活时间 配置场景 安全模式下,HDFS中用户可以对Token的最大存活时间和Token renew的时间间隔进行灵活地设置,根据集群的具体需求合理地配置。 配置描述 参数入口: 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称
配置HDFS token的最大存活时间 配置场景 安全模式下,HDFS中用户可以对Token的最大存活时间和Token renew的时间间隔进行灵活地设置,根据集群的具体需求合理地配置。 配置描述 参数入口: 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称
若实际数据量小于最小值或大于最大值即存在不平衡,系统选择所有DataNode节点中偏差最多的数据量作为迁移的总数据量。
若实际数据量小于最小值或大于最大值即存在不平衡,系统选择所有DataNode节点中偏差最多的数据量作为迁移的总数据量。
布隆过滤器消除了对外部系统的依赖,并存储在Parquet数据文件的页脚中。 BLOOM hoodie.index.bloom.num_entries 存储在布隆过滤器中的条目数。
导入DWS表数据至ClickHouse ClickHouse支持CSV、JSON等格式文件的数据导入导出操作。本章节主要介绍怎么把DWS数据仓库服务中的表数据导出到CSV文件,再把CSV文件数据导入到ClickHouse表中。 前提条件 ClickHouse集群和实例状态正常。 DWS
可用区 查询可用区信息 父主题: API V1.1
CarbonData常见问题 为什么对decimal数据类型进行带过滤条件的查询时会出现异常输出? 如何避免对历史数据进行minor compaction? 如何在CarbonData数据加载时修改默认的组名? 为什么INSERT INTO CARBON TABLE失败? 为什么含转义字符的输入数据记录到
对系统的影响 配置从NameNode支持读可以降低主NameNode的负载,提高HDFS集群的处理能力,尤其是在大集群下效果明显。 配置从NameNode支持读需要更新客户端应用配置。 前提条件 已安装HDFS集群,主备NameNode正常,HDFS服务正常。
对系统的影响 已创建的用户在本节点无操作权限。 可能原因 扩容过程中已有节点停止或故障。 处理步骤 在FusionInsight Manager首页,选择“集群 > 服务 > ClickHouse > 实例”。 查看是否有停止、退服或故障的实例。 是,执行3。 否,执行4。
Spark ThriftServer接口介绍 简介 ThriftServer是Hive中的HiveServer2的另外一个实现,它底层使用了Spark SQL来处理SQL语句,从而比Hive拥有更高的性能。 ThriftServer是一个JDBC接口,用户可以通过JDBC连接ThriftServer
MRS集群节点使用pip3安装Python时提示网络不可达 问题现象 执行pip3 install安装Python时报错网络不可达。 具体如下图所示: 原因分析 用户未给Master节点绑定弹性公网IP,造成报错的发生。 处理步骤 登录MRS服务管理控制台。 选择“现有集群”,选中当前安装出问题的集群并单击集群名称
使用Hue提交Oozie HQL脚本 操作场景 该任务指导用户通过Hue界面提交Hive脚本作业。 操作步骤 访问Hue WebUI,请参考访问Hue WebUI界面。 在界面左侧导航栏选择“ > Workflow”,打开Workflow编辑器。 单击“文档”, 在操作列表中选择Hive
ifNotExists 如果设置为true, 当分区已经存在,系统报错。
使用Spark执行Hudi样例程序(Python) 下面代码片段仅为演示,具体代码参见:HudiPythonExample.py。 插入数据: #insert inserts = sc._jvm.org.apache.hudi.QuickstartUtils.convertToStringList
使用Spark执行Hudi样例程序(Python) 下面代码片段仅为演示,具体代码参见:HudiPythonExample.py。 插入数据: #insert inserts = sc._jvm.org.apache.hudi.QuickstartUtils.convertToStringList
Hive JDBC样例程序开发思路 场景说明 假定用户开发一个Hive数据分析应用,用于管理企业雇员信息,如表1、表2所示。 开发思路 数据准备。 创建三张表,雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“employees_info_extended
查看HetuEngine物化视图自动化任务 本章节指导用户在HSConsole页面查看HetuEngine自动化任务的任务状态和任务执行结果等信息。用户可定期查看任务执行情况,帮助评估集群运行健康状况。 查看HetuEngine物化视图自动化任务步骤 使用用于访问HetuEngine
API V1.1 集群管理接口 弹性伸缩接口 标签管理接口 可用区 版本元数据查询
进入“系统设置->用户管理”,在指定的用户所在行单击“更多 >下载认证凭据”。 将下载获取到的zip文件解压缩,获取krb5.conf和该用户的keytab文件。 将krb5.conf和该用户的keytab文件拷贝到样例工程的conf目录中。 父主题: 准备Kafka应用开发环境