检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Sqoop常见问题 连接postgresql或者gaussdb时报错 使用hive-table方式同步数据报错 导入到Hive表时报错 父主题: 使用Sqoop
ve中默认是ORC的。 处理步骤 登录Spark客户端节点,执行如下命令,进入spark-sql: cd {客户端安装目录} source bigdata_env source Spark2x/component_env kinit 组件业务用户(普通模式无需执行kinit) spark-sql
创建集群时已勾选Sqoop组件以及依赖的服务。 安装客户端,具体请参考安装客户端(3.x及之后版本)。例如安装目录为“/opt/client”,请根据实际安装目录修改。为使用Sqoop时简单方便,使用Sqoop时需要安装全量客户端。 如果集群已开启kerberos认证,需要先创建或获取具有相应权限的用户,用于执行S
oreFile时创建了HDFS连接,当创建StoreFile或加载StoreFile完成时,HDFS方面认为任务已完成,将连接关闭权交给HBase,但HBase为了保证实时响应,有请求时就可以连接对应数据文件,需要保持连接,选择不关闭连接,所以连接状态为CLOSE_WAIT(需客户端关闭)。
通过调大如下的参数来进行AM调优。 参数入口: 在Yarn客户端的“mapred-site.xml”配置文件中调整如下参数。“mapred-site.xml”配置文件在客户端安装路径的conf目录下,例如“/opt/client/Yarn/config”。 参数 描述 默认值 yarn
修复Manager Controller 前提条件 已获取FusionInsight Manager登录地址及admin账号。 操作步骤 使用omm用户登录到主OMS节点,备份$CONTROLLER_HOME/sbin/controller.sh文件。 cp $CONTROLLE
支持界面执行副本的leader选举 使用选择生成分区分配以选择要使用的分区方案 支持界面执行分区重新分配(基于生成的分区方案) 支持界面选择配置创建主题(支持多种Kafka版本集群) 支持界面删除主题(仅支持0.8.2+并设置了delete.topic.enable = true)
况下,当日志大小超过100MB的时(此日志文件大小可进行配置),会自动压缩。 压缩后的日志文件名规则为:“<原有日志名>.[编号].gz”。 默认最多保留最近的10个压缩文件,压缩文件保留个数可以在Manager界面中配置。 父主题: ClickHouse数据库运维
如果是其他依赖包,可能是没有使用--jars添加到任务里面。 如果是已经添加到任务里面,但是依旧没有取到,可能是因为配置文件的driver或者executor的classpath配置不正确,可以查看日志确认是否加载到环境。 另外可能报错是类初始化失败导致后面使用这个类的时候出现上述报错,需
如果是其他依赖包,可能是没有使用--jars添加到任务里面。 如果是已经添加到任务里面,但是依旧没有取到,可能是因为配置文件的driver或者executor的classpath配置不正确,可以查看日志确认是否加载到环境。 另外可能报错是类初始化失败导致后面使用这个类的时候出现上述报错,需
HDFS Java API接口介绍 HDFS C API接口介绍 HDFS HTTP REST API接口介绍 HDFS Shell命令介绍 登录MRS Manager 下载MRS客户端 父主题: HDFS开发指南
除了使用相同的统一存储平台之外,Impala还使用与Apache Hive相同的元数据,SQL语法(Hive SQL),ODBC驱动程序和用户界面(Hue中的Impala查询UI)。这为实时或面向批处理的查询提供了一个熟悉且统一的平台。作为查询大数据的工具补充,Impala不会替
REFRESH TABLE 命令功能 REFRESH TABLE命令用于将已有的Carbon表数据注册到Hive元数据库中。 命令语法 REFRESH TABLE db_name.table_name; 参数描述 表1 REFRESH TABLE参数描述 参数 描述 db_name
ALM-45428 ClickHouse磁盘IO异常告警”,查看“定位信息”中的角色名以及确认主机名所在的IP地址。 使用PuTTY工具,以root用户登录故障所在节点。 执行命令df -h查看挂载目录,找到故障告警目录挂载的磁盘。 执行命令smartctl -a /dev/sd故障磁盘,进
MR分布式缓存功能无法使用 /user/hive 固定目录 Hive相关数据存储的默认路径,包含依赖的spark lib包和用户默认表数据存储位置等 否 用户数据丢失 /user/omm-bulkload 临时目录 HBase批量导入工具临时目录 否 HBase批量导入任务失败 /user/hbase
批量删除Loader作业 批量导入Loader作业 批量导出Loader作业 查看Loader作业历史信息 清理Loader作业残留历史数据 管理Loader数据连接 父主题: 使用Loader
使用Kafka Kafka用户权限管理 Kafka客户端使用实践 使用Kafka生产消费数据 创建Kafka Topic 在Kafka Topic中接入消息 管理Kafka Topic Kafka企业级能力增强 Kafka性能调优 Kafka运维管理 Kafka常见问题
t”、“Delete”、“Insert”。 单击“确定”保存。 单击“系统设置 > 用户管理 > 添加用户”,为样例工程创建一个用户。 填写用户名,例如test,用户类型为“机机”用户,加入用户组supergroup,设置其“主组”为supergroup,并绑定角色mrrole取得权限,单击“确定”。
includeSysTables) 作用与上一个方法类似,用户可以通过该方法指定返回的结果是否包含系统表,上一个接口只返回用户表。 TableName[] listTableNames(String regex) 查看匹配指定正则表达式格式的用户表。该方法还有另外两个重载的方法,一个入参类型
使用Doris Doris数据模型概述 Doris用户权限管理 使用MySQL客户端连接Doris 快速使用Doris Doris数据导入 Doris数据分析 Doris企业级能力增强 Doris运维管理 Doris常见SQL语法说明 Doris常见问题 Doirs故障排除