检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
est' tblproperties('orc.compress'='SNAPPY'); 当前Impala使用OBS存储时,同一张表中,不支持分区和表存储位置处于不同的桶中。 例如:创建分区表指定存储位置为OBS桶1下的文件夹,此时修改表分区存储位置的操作将不会生效,在实际插入数据时以表存储位置为准。
是否开启冷热分级存储。 false(默认值):关闭。 true:开启。 false state.backend.cold 指定冷数据状态后端存储,当前仅支持“hbase”。 hbase table.exec.state.ttl 数据状态变化的超时时间。 table.exec.state.cold
若JobServer部署节点IP为:192.168.0.192、192.168.0.168、192.168.0.23 , 则最小IP为192.168.0.23。 脚本支持一次性更新一个或多个服务客户端。 以omm用户登录最小IP节点,执行更新服务客户端的脚本。 cd ${BIGDATA_HOME}/Fusi
分别登录主备OMS节点,查看磁盘使用信息。 执行以下命令,查看“/”目录的可用空间是否大于30GB。 df -h / 否,清理磁盘空间。 是,检查结束。 检查集群是否已经支持root补丁特性 集群是否已经安装了MRS 3.1.0.0.8及之后版本的任意一个补丁。 是,可以直接安装MRS 3.1.0.0.16补丁,此时安装MRS
个用户设定了资源使用上限以防止资源滥用。而当一个队列的资源有剩余时,可暂时将剩余资源共享给其他队列。 Capacity Scheduler支持多个队列,为每个队列配置一定的资源量,并采用FIFO调度策略。为防止同一用户的应用独占队列资源,Capacity Scheduler会对同
入时间长。 在有索引的多个字段中,选择字段值最离散的字段作为分区列,不离散的分区列会导致多个导入MR任务负载不均衡。 分区列的排序规则必须支持大小写敏感,否则在数据导入过程中,可能会出现数据丢失。 不建议分区列选择类型为float或double的字段,因为精度问题,可能导致分区列字段的最小值、最大值所在记录无法导入。
要更新客户端配置文件的场景。 完整客户端 选择平台类型 客户端类型必须与待安装客户端的节点架构匹配,否则客户端会安装失败。LTS版本集群仅支持下载与Manager平台类型一致的客户端软件包。 x86_64:可以部署在X86平台的客户端软件包。 aarch64:可以部署在TaiShan服务器的客户端软件包。
的示例请参考开发Spark应用。安全模式,建议按照安全要求,准备安全认证代码、业务应用代码及其相关配置。 yarn-cluster模式中不支持在Spark工程中添加安全认证。因为需要在应用启动前已完成安全认证。所以用户需要在Spark应用之外添加安全认证代码或使用命令行进行认证。
为32G;128G<机器内存<200G,“-Xmx”设置为16G;机器内存<128G,“-Xmx”设置为8G。“-Xmx”配置为32G,可支持单RegionServer节点2000个Region,200个热点Region。 观察界面告警是否清除。 是,处理完毕。 否,执行6。 收集故障信息
在主题列表中,选择您要向其添加订阅者的主题,在右侧“操作”栏单击“添加订阅”。 此时将显示“添加订阅”对话框。 订阅终端参数为订阅的终端地址,短信、邮件终端支持批量输入,批量添加时,每个终端地址占一行。最多可输入10个终端。 单击“确定”。 新增订阅将显示在页面下方的订阅列表中。 向订阅者发送消息
test.txt' into table src_data1; 采用方式二时,只能将HDFS上的数据load到新建的表中,OBS上的数据不支持直接load到新建的表中。 输入查询表的Spark SQL语句。 语法格式: SELECT col_name FROM table_name;
access control,基于策略的权限控制)方式进行权限管理,可对HDFS、Hive、HBase等组件进行更加细粒度的数据访问控制。 组件同时只支持一种权限控制机制,当组件启用Ranger权限控制策略后,通过FusionInsight Manager创建的角色中关于该组件的权限将失效(
Core任务的Java/Python/Scala/R示例程序。 本工程应用程序实现从HDFS上读取文本数据并计算分析。 SparkRExample示例不支持未开启Kerberos认证的集群。 SparkPythonExample SparkScalaExample SparkRExample
hbase.regionserver.global.memstore.size 更新被锁定以及强制冲洗发生之前一个RegionServer上支持的所有MemStore的大小。建议设置为“hbase.hregion.memstore.flush.size * 写活跃region数 /
e.xml”中配置“mapreduce.job.maps”项。 说明: 指定的InputFormat类用来控制map任务个数,注意该类是否支持客户端设定map个数。 setNumReduceTasks(int n) 核心接口,指定MapReduce作业的reduce个数。默认只启
hbase.regionserver.global.memstore.size 更新被锁定以及强制冲洗发生之前一个RegionServer上支持的所有MemStore的大小。建议设置为“hbase.hregion.memstore.flush.size * 写活跃region数 /
ftp-connector”,单击“添加”,输入配置连接参数,单击“测试”验证连接是否可用,待提示“测试成功”后单击“确定”。Loader支持配置多个SFTP服务器操作数据,单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。
file”:表示上传了一个压缩文件,在弹出框单击“Select ZIP, TGZ or BZ2 files”选择需要上传的压缩文件。系统会自动在HDFS中对文件解压。支持“ZIP”、“TGZ”和“BZ2”格式的压缩文件。 创建新文件或者目录 单击,单击“New”。 选择一个操作。 “File”:表示创建一个
e.xml”中配置“mapreduce.job.maps”项。 说明: 指定的InputFormat类用来控制map任务个数,注意该类是否支持客户端设定map个数。 setNumReduceTasks(int n) 核心接口,指定MapReduce作业的reduce个数。默认只启
e.xml”中配置“mapreduce.job.maps”项。 说明: 指定的InputFormat类用来控制map任务个数,注意该类是否支持客户端设定map个数。 setNumReduceTasks(int n) 核心接口,指定MapReduce作业的reduce个数。默认只启