检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“APPEND”:在旧文件尾部合并新文件内容。合并操作只是简单的追加,不保证追加文件是否可以使用。例如文本文件可合并,压缩文件合并后可能无法使用。 “IGNORE”:保留旧文件,不复制新文件。
包保存在Loader服务主备节点的lib路径:“${BIGDATA_HOME}/FusionInsight_Porter_8.1.0.1/install/FusionInsight-Sqoop-1.99.3/FusionInsight-Sqoop-1.99.3/server/webapps
由于Tez使用ApplicationMaster缓冲池,“yarn.timeline-service.enabled”必须在提交Tez任务前开启,否则会导致此参数无法生效,需要重新登录客户端进行配置。
$$anonfun$checkErrors$1.apply(KafkaCluster.scala:366) scala.util.Either.fold(Either.scala:97) org.apache.spark.streaming.kafka.KafkaCluster$.
CuratorFrameworkImpl.java:566) org.apache.flink.shaded.zookeeper.org.apache.zookeeper.KeeperException$NoAuthException: KeeperErrorCode = NoAuth for /flink/application
将需要执行的命令参数添加到配置项“hive.security.authorization.sqlstd.confwhitelist.append”中。 单击保存并重启HiveServer后即可。如下图所示: 方案2: 登录Manager界面,修改Hive参数。
通过Hive beeline命令行执行插入命令的时候报错 问题现象 在MRS Hive的beeline中执行insert into插入语句时系统报以下错误: Mapping run in Tez on Hive transactional table fails when data
export HADOOP_NAMENODE_OPTS="-Dhadoop.security.logger=${HADOOP_SECURITY_LOGGER:-INFO,RFAS} -Dhdfs.audit.logger=${HDFS_AUDIT_LOGGER:-INFO,NullAppender
jar包保存在Loader服务主备节点的lib路径:“${BIGDATA_HOME}/FusionInsight_Porter_xxx/install/FusionInsight-Sqoop-1.99.3/FusionInsight-Sqoop-1.99.3/server/webapps
jar包保存在Loader服务主备节点的lib路径:“${BIGDATA_HOME}/FusionInsight_Porter_xxx/install/FusionInsight-Sqoop-1.99.3/FusionInsight-Sqoop-1.99.3/server/webapps
单击“组件管理”观察各个组件是否存在异常,若存在异常等待5~10分钟后再次观察组件,依然存在异常则联系华为云技术支持处理。 单击“告警管理”观察是否存在异常告警,若存在请清除告警后再进行其他操作。 父主题: MRS集群容量调整
图10 application 父主题: 使用Flink
如果From是sftp/ftp/obs/hdfs等文件类型连接器,Field Mapping 样值取自文件第一行数据,需要保证第一行数据是完整的,Loader作业不会抽取没有Mapping上的列。 在“任务配置”填写作业的运行参数。
手动扩缩容可以设置超时时间,通过在Manager界面,选择“HetuEngine > 配置 > 全部配置”,搜索“application.customized.properties”,增加“yarn.hetuserver.engine.flex.timeout.sec”参数,值默认值为
hdfs://hacluster/hetuserverhistory/租户/coordinator或worker/application_ID/container_ID/yyyyMMdd/server.log HetuEngine计算实例的运行日志。
示例可以参考如下: env.setBufferTimeout(timeoutMillis); env.generateSequence(1,10).map(new MyMapper()).setBufferTimeout(timeoutMillis); 资源冗余量 Flink任务运行时
at kafka.utils.ZkUtils.deletePath(ZkUtils.scala:499) at kafka.common.ZkNodeChangeNotificationListener$$anonfun$purgeObsoleteNotifications$1.apply
空 hadoop.http.rmwebapp.scheduler.page.classes 空 yarn.resourcemanager.webapp.pagination.enable false 选择“保存 > 确定”后等待操作成功。
'); 相对路径举例: LOAD DATA INPATH '/apps/input_data1.txt' INTO TABLE table_name; 父主题: CarbonData常见问题
2019-05-13 10:53:09,975 ERROR [localhost-startStop-1] xxxConfig.LoginUtil: login failed with hbaseuser and /usr/local/linoseyc/hbase-tomcat/webapps