检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
debug=true; }; 参数keyTab和principal根据实际情况修改。 问题:一旦提交配置文件后,flume agent即在占用资源运行,如何恢复到没有上传配置文件的状态? 解决方法:提交一个内容为空的properties.properties文件。 父主题: Flume常见问题
备份HDFS业务数据 操作场景 为了确保HDFS日常用户的业务数据安全,或者系统管理员需要对HDFS进行重大操作(如升级或迁移等),需要对HDFS数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 系统管理员可以通过FusionInsight
帮助用户解析SQL语句中的UDF参数。 配置UDF运行时必要的信息,即指定UDF访问原始数据时采取的策略和输出结果序列的类型。 创建资源,比如建立外部链接,打开文件等。 UDFParameters UDFParameters的作用是解析SQL语句中的UDF参数(SQL中UDF函数
ition存储位置。修改后需重启HDFS、Yarn和Kafka,使配置信息生效。 不合理的机架配置会导致集群的节点之间的负载(包括CPU、内存、磁盘、网络)不平衡,降低集群的可靠性,影响集群的稳定运行。所以在分配机架之前,需要进行全局的统筹,合理地设置机架。 机架分配策略 物理机架:主机所在的真实的机架。
备份HBase业务数据 操作场景 为了确保HBase日常数据安全,或者系统管理员需要对HBase进行重大操作(如升级或迁移等)时,需要对HBase业务数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 系统管理员可以通过FusionInsight
HBase中的表具有如下特点: 大:一个表可以有上亿行,上百万列。 面向列:面向列(族)的存储和权限控制,列(族)独立检索。 稀疏:对于为空(null)的列,并不占用存储空间,因此,表可以设计的非常稀疏。 接口类型介绍 由于HBase本身是由java语言开发出来的,且java语言具有简洁通用易懂的特性,
JobHistoryServer服务地址变更后,需要将新的服务地址及时更新到MapReduce客户端配置文件中,否则,新运行的作业在查看作业历史信息时,仍然会指向原JobHistoryServer地址,导致无法正常跳转到作业历史信息页面。服务地址变更前运行的MapReduce作业,由于
JobHistoryServer服务地址变更后,需要将新的服务地址及时更新到MapReduce客户端配置文件中,否则,新运行的作业在查看作业历史信息时,仍然会指向原JobHistoryServer地址,导致无法正常跳转到作业历史信息页面。服务地址变更前运行的MapReduce作业,由于
果。 数据合并前后的其他操作没有差别。 被合并的segments(例如segment0和segment1)即成为无用的segments,会占用空间,因此建议合并之后使用CLEAN FILES命令进行彻底删除,再进行其他操作。CLEAN FILES命令的使用方法可参考CLEAN FILES。
HBase中的表具有如下特点: 大:一个表可以有上亿行,上百万列。 面向列:面向列(族)的存储和权限控制,列(族)独立检索。 稀疏:对于为空(null)的列,并不占用存储空间,因此,表可以设计的非常稀疏。 HBase接口类型介绍 由于HBase本身是由java语言开发出来的,且java语言具有简洁通用易
appName("kafkaSessionization") .getOrCreate() spark.conf.set("spark.sql.streaming.checkpointLocation", checkpointLocation) spark.streams
request_pool=root.default (fair-scheduler.xml与llama-site.xml文件中配置的资源池) 执行SQL查询。 登录到Impalad WebUI上查看资源池使用情况,确认配置已生效。 https://{集群控制台地址}:9022/compon
appName("kafkaSessionization") .getOrCreate() spark.conf.set("spark.sql.streaming.checkpointLocation", checkpointLocation) spark.streams
MRS集群取消对接LakeFormation后,RangerAdmin的非默认策略不会清理,需要人工进行清理。 Hive暂不支持Grant授权的SQL语句,需统一在LakeFormation实例的数据权限界面进行授权操作。 MRS暂不支持LakeFormation行过滤权限能力。 父主题:
input.segments.default.carbon_table_MulTI_THread", "1") spark.sql("select count(empno) from carbon_table_MulTI_THread").show() } }
群 > 服务 > Doris”,查看“Leader所在的主机”获取。 将代码中PORT = "xxx"的“xxx”修改为Doris的MySQL协议查询连接端口,默认为29982,可登录FusionInsight Manager,选择“集群 > 服务 > Doris > 配置”,搜索“query_port”获取。
input.segments.default.carbon_table_MulTI_THread", "1") spark.sql("select count(empno) from carbon_table_MulTI_THread").show() } }
正在运行的任务数。 appsFailed 已经失败的任务数。 appsKilled 已经被kill的任务数。 totalMB Yarn资源总的内存。 totalVirtualCores Yarn资源总的VCore数。 父主题: YARN接口介绍
如何处理非static的KafkaPartitioner类对象构造FlinkKafkaProducer010运行时报错 问题 Flink内核升级到1.3.0之后,当Kafka调用带有非static的KafkaPartitioner类对象为参数的FlinkKafkaProducer010去构造函数时,运行时会报错。
如何处理非static的KafkaPartitioner类对象构造FlinkKafkaProducer010运行时报错 问题 Flink内核升级到1.3.0之后,当Kafka调用带有非static的KafkaPartitioner类对象为参数的FlinkKafkaProducer010去构造函数时,运行时会报错。