检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
TABLE “查询” CLEAR CACHE TABLE “管理” REFRESH TABLE “查询” ADD FILE “管理” ADD JAR “管理” HEALTHCHECK - 父主题: Spark用户权限管理
com.huawei.bigdata.flink.examples.FlinkStreamScalaExample /opt/test.jar --filePath /opt/log1.txt,/opt/log2.txt --windowTime 2") System.out
stage(执行时间长),且分配给当前作业的核数大于当前的并发数,说明并发度不足。通过以下配置优化。 场景 配置项 集群默认值 调整后 Jar作业 spark.default.parallelism 200 按实际作业可用资源2倍设置 SQL作业 spark.sql.shuffle
创建ClickHouse数据库 本章节介绍创建ClickHouse数据库样例代码。 以下代码片段在com.huawei.clickhouse.examples包的“Demo”类的createDatabase方法中。 通过on cluster语句在集群中创建表1中以databaseName参数值为数据库名的数据库。
MRS Hive解决hive server内存泄露问题:HIVE-10970、HIVE-22275。 补丁兼容关系 MRS 2.1.0.7补丁包中包含MRS 2.1.0版本发布的所有补丁内容。 安装补丁的影响 安装MRS 2.1.0.7补丁期间会重启MRS Manager,滚动重启H
使用FusionInsight Manager界面中的Flume配置工具来配置Flume角色服务端参数并生成配置文件。 登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置工具”。 图2 选择配置工具 “Agent名”选择“server”,然后选择要使用
/opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env 运行Kudu命令行工具。 直接执行Kudu组件的命令行工具,查看帮助。 kudu -h 回显信息如下: Usage: kudu <command> [<args>] <command>
/opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env 运行Kudu命令行工具。 直接执行Kudu组件的命令行工具,查看帮助。 kudu -h 回显信息如下: Usage: kudu <command> [<args>] <command>
需要依次调用导出和下载接口完成用户列表的导出。导出接口的输出为下载接口的输入。 代码样例 以下代码片段是导出用户列表的示例,在“rest”包的“ExportUsers”类的main方法中。 String operationName = "ExportUsers";
合理的时间值。 1296000 yarn.log-aggregation.retain-check-interval-seconds 设置扫描HDFS保存的Container聚合日志的间隔时间。单位:秒。 设置为-1或0时,间隔时间将为“yarn.log-aggregation.
MRS Hive解决hive server内存泄露问题:HIVE-10970、HIVE-22275。 补丁兼容关系 MRS 2.1.0.6补丁包中包含MRS 2.1.0版本发布的所有补丁内容。 安装补丁的影响 安装MRS 2.1.0.6补丁期间会重启MRS Manager,滚动重启H
Flume企业级能力增强 使用Flume客户端加密工具 配置Flume对接安全模式Kafka 父主题: 使用Flume
LoginUtil.login(PRINCIPAL, KEYTAB, KRB, config); // 查找Hive依赖jar包 Class hiveDriverClass = Class.forName("org.apache.hive.jdbc.HiveDriver");
因为数据模型在建表时就已经确定,且无法修改。所以,选择一个合适的数据模型非常重要。 Aggregate模型可以通过预聚合,极大地降低聚合查询时所需扫描的数据量和查询的计算量,非常适合有固定模式的报表类查询场景。但是该模型对count(*) 查询不友好。同时因为固定了Value列上的聚合方
Flume企业级能力增强 使用Flume客户端加密工具 配置Flume对接安全模式Kafka 父主题: 使用Flume
使用FusionInsight Manager界面中的Flume配置工具来配置服务端参数并生成配置文件。 登录FusionInsight Manager,选择“ 服务 > Flume > 配置工具”。 图1 选择配置工具 “Agent名”选择“server”,然后选择要使用的sour
LoginUtil.login(PRINCIPAL, KEYTAB, KRB, config); // 查找Hive依赖jar包 Class hiveDriverClass = Class.forName("org.apache.hive.jdbc.HiveDriver");
Kafka企业级能力增强 配置Kafka高可用和高可靠 配置Kafka数据安全传输协议 配置Kafka数据均衡工具 父主题: 使用Kafka
uota会造成HBase故障 使用OfflineMetaRepair工具重新构建元数据后HMaster启动失败 HMaster日志中频繁打印出FileNotFoundException信息 ImportTsv工具执行失败报“Permission denied”异常 使用HBase
HBase企业级能力增强 配置HBase本地二级索引提升查询效率 增强HBase BulkLoad工具数据迁移能力 配置RSGroup管理RegionServer资源 父主题: 使用HBase