检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Flume非加密传输数据采集任务 生成Flume服务端和客户端的配置文件 使用Flume服务端从本地采集静态日志保存到Kafka 使用Flume服务端从本地采集静态日志保存到HDFS 使用Flume服务端从本地采集动态日志保存到HDFS 使用Flume服务端从Kafka采集日志保存到HDFS
process is not quit。 解决办法 登录节点，后台通过执行ps -ef | grep HRegionServer发现确实存在一个残留的进程。 确认进程可以终止后，使用kill命令终止该进程（如果kill无法终止该进程，需要使用kill -9来强制终止该进程）。 重新启动HBase服务成功。
执行以下命令编辑文件。 vim /opt/client/HDFS/component_env 调大参数“ export GC_OPTS_HDFS”的值，例如修改为“Xmx512m”。 保存文件。 执行以下命令重新加载环境变量。 source bigdata_env 父主题： 使用Yarn
“机机”用户请执行：kinit -kt user.keytab sparkuser “人机”用户请执行：kinit sparkuser 执行如下命令连接Spark组件的客户端。 spark-shell 父主题： 客户端使用类
( column [, ...] ) ROLLUP ( column [, ...] ) 描述 从零个或多个表中检索行数据。 查询stu表的内容。 SELECT id,name FROM stu; 父主题： HetuEngine DQL SQL语法说明
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 修改集群名称成功 400 修改集群名称失败 错误码 请参见错误码。
动，或者是网络原因，由于Sqoop迁移数据过程，MapReduce任务是运行在分析core节点，因此需要保证正常加载驱动类的情况下，保证源端数据库和集群节点的网络正常通信。 处理步骤 检查源端数据库端口对集群节点均放通。 若使用EIP公网通信，那么集群节点均需要绑定公网，尤其是分
Core企业级能力增强 配置Spark HA增强高可用 配置Spark Native引擎 配置Spark事件队列大小 配置parquet表的压缩格式 使用Ranger时适配第三方JDK 使用Spark小文件合并工具说明 使用Spark小文件合并工具说明 配置流式读取Spark Driver执行结果
eManager Web UI页面的Tracking URL打开 多个NameService环境下运行MapReduce任务失败 基于分区的任务黑名单异常如何处理 父主题： 使用Mapreduce
自定义”，新增自定义参数“streaming_load_rpc_max_alive_time_sec”，默认值为1200秒，需适当调大该参数值，并重启配置过期的BE实例。 父主题： Doris常见问题
jar”，与开源PgSQL服务不兼容导致报错。 处理步骤 用户在“pg_hba.conf”文件配置白名单。 驱动重复，集群自带，将其余驱动清除，所有Core节点上的gsjdbc4 jar包去掉，在sqoop/lib目录下添加PgSQL Jar包即可。 mv /opt/Bigdata/FusionInsi
eManager Web UI页面的Tracking URL打开 多个NameService环境下运行MapReduce任务失败 基于分区的任务黑名单异常如何处理 父主题： 使用MapReduce
Spark同时访问两个HBase样例程序 Spark同步HBase数据到CarbonData样例程序 使用Spark执行Hudi样例程序 Hudi的自定义配置项样例程序 父主题： Spark2x开发指南（安全模式）
HBase启动后原生页面显示RegionServer个数多于实际个数 RegionServer实例异常，处于Restoring状态 新安装的集群HBase启动失败 acl表目录丢失导致HBase启动失败 集群上下电之后HBase启动失败 文件块过大导致HBase数据导入失败 使用
如下图可以看出，第三行hostname为controller-192-168-1-3节点和第四行hostname为eth0节点为同一RegionServer上报的信息，登录相应节点，查看/etc/hosts文件，发现，对应同一ip，配置两个hostname。如下： 解决办法 登录RegionServe
--enable-cleartext-plugin -u数据库登录用户 -p数据库登录用户密码 -P数据库连接端口 -hDoris FE实例IP地址 在安装了MySQL客户端的节点执行以下命令启用mysql_clear_password插件，再重新连接Doris即可。 export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1
warn("Start Check Keytab TGT And Relogin Job Success."); } 对于Shell客户端方式执行的任务 先执行kinit命令认证用户。 通过操作系统定时任务或者其他定时任务方式定时执行kinit命令认证用户。 提交作业执行大数据任务。 对于Spark作业
select 1,'a','aaa'; create database productdb2; 使用hdfs命令将productdb数据库下的productSalesTable和productNameIndexTable复制到productdb2。 refresh table productdb2
block.cache.size总和大于0.8导致启动不成功，因此需要调整参数配置值总和低于0.8。 查看HMaster和RegionServer的out日志（/var/log/Bigdata/hbase/hm/hbase-omm-xxx.out/var/log/Bigdata/hbase/rs/hbase-omm-xxx
时间，该channel就被终止了，AM端感知到channel被终止后认为driver失联，然后整个应用停止。 解决办法：在Spark客户端的“spark-defaults.conf”文件中或通过set命令行进行设置。参数配置时要保证channel过期时间（spark.rpc.io
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
