检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
注意事项 需要在“hbase-site.xml”中配置用于存放中间查询结果的临时目录路径,该目录大小限制可查询结果集大小; Phoenix实现了大部分java.sql接口,SQL紧跟ANSI SQL标准。 父主题: HBase应用开发常见问题
注意事项 需要在“hbase-site.xml”中配置用于存放中间查询结果的临时目录路径,该目录大小限制可查询结果集大小; Phoenix实现了大部分java.sql接口,SQL紧跟ANSI SQL标准。 父主题: HBase应用开发常见问题
连接开启了Kerberos认证的MRS集群时,应用程序中需配置具有相关资源访问权限的用户进行安全认证。 根据业务场景开发程序 根据实际业务场景开发程序,调用组件接口实现对应功能。 编译并运行程序 将开发好的程序编译运行,用户可在本地Windows开发环境中进行程序调测运行,也可以将程序编译为Jar包后,提交到Linux节点上运行。
待同步的Hudi表存储路径 Y - --partitioned-by 分区键- N - --partition-value-extractor 分区类,需实现PartitionValueExtractor ,可以从HDFS路径中提取分区值 N SlashEncodedDayPartitionValueExtractor
请联系运维人员申请或生成新的CA证书文件并导入。手动清除该告警信息,查看系统在定时检查时是否会再次产生此告警。 如果当前为Ranger证书过期,则请参考Ranger证书如何更新?章节进行处理。 是,执行8。 否,处理完毕。 导入新的HA证书文件。 请参考更换HA证书章节,申请或生成新的HA证书文件并导入。手动
CLIENT_GC_OPTS="-Xmx1G" 在修改完后,使用如下命令刷新客户端配置,使之生效: source <客户端安装路径>/bigdata_env 问题二:如何设置HDFS客户端运行时的日志级别? HDFS客户端运行时的日志是默认输出到管理控制台的,其级别默认为INFO。如果需要开启DEBUG级别
CLIENT_GC_OPTS="-Xmx1G" 在修改完后,使用如下命令刷新客户端配置,使之生效: source <客户端安装路径>/bigdata_env 问题二:如何设置HDFS客户端运行时的日志级别? HDFS客户端运行时的日志是默认输出到管理控制台的,其级别默认为INFO。如果需要开启DEBUG级别
working.memory.in.mb”和“spark.yarn.executor.memoryOverhead”的值。 详细信息请参考如何在CarbonData中配置非安全内存? 该内存被数据查询和加载共享。所以如果加载和查询需要同时进行,建议将“carbon.unsafe.working
working.memory.in.mb”和“spark.yarn.executor.memoryOverhead”的值。 详细信息请参考如何在CarbonData中配置非安全内存? 该内存被数据查询和加载共享。所以如果加载和查询需要同时进行,建议将“carbon.unsafe.working
为什么多次运行Spark应用程序会引发致命JRE错误 IE浏览器访问Spark2x原生UI界面失败,无法显示此页或者页面显示错误 Spark2x如何访问外部集群组件 对同一目录创建多个外表,可能导致外表查询失败 访问Spark2x JobHistory中某个应用的原生页面时页面显示错误
注意事项 需要在“hbase-site.xml”中配置用于存放中间查询结果的临时目录路径,该目录大小限制可查询结果集大小; Phoenix实现了大部分java.sql接口,SQL紧跟ANSI SQL标准。 父主题: HBase应用开发常见问题
注意事项 需要在“hbase-site.xml”中配置用于存放中间查询结果的临时目录路径,该目录大小限制可查询结果集大小。 Phoenix实现了大部分java.sql接口,SQL紧跟ANSI SQL标准。 父主题: HBase应用开发常见问题
创建SQL/JAR作业(流式/批作业) 定义Flink作业的API,包括Flink SQL和Flink Jar作业。 如何创建FlinkServer作业 作业管理 管理创建的作业,包括作业启动、开发、停止、删除和编辑等。 如何创建FlinkServer作业 父主题: 使用Flink
park目录下,执行./bin/spark-shell即可进入Scala交互式界面从HDFS中获取数据,再操作RDD。 示例:一行代码可以实现统计一个文件中所有单词。 scala> sc.textFile("hdfs://10.96.1.57:9000//wordcount_data
调用结束后作业仍然没有停止,Flink会定期开始中断执行线程直至作业停止。 停止作业:“stop”命令仅适用于Flink源(source)实现了StoppableFunction接口的作业。“stop”命令会等待所有资源都正确关闭。相比“cancel”命令,“stop”停止作业的方式更为优雅,但可能导致停止作业失败。
*\.db,(hdfs|obs|viewfs)://[\w|\-|\.]+/user/hive/warehouse/.*\.db",从而实现防止建表和建库等操作时location指向已经存在的库的路径。 升级HDFS上组件的zip包 登录集群主节点并执行以下命令: su - omm
NameNode,当HMaster主节点出现故障时,HMaster备用节点会通过ZooKeeper获取主HMaster存储的整个HBase集群状态信息。即通过ZooKeeper实现避免HBase单点故障问题的问题。 ZooKeeper和Kafka的配合关系 ZooKeeper与Kafka的关系如图 ZooKeeper和Kafka的关系所示。
SQL和DataFrame Spark SQL ROLLUP和CUBE使用的注意事项 Spark SQL在不同DB都可以显示临时表 如何在Spark命令中指定参数值 SparkSQL建表时的目录权限 为什么不同服务之间互相删除UDF失败 Spark SQL无法查询到Parquet类型的Hive表的新插入数据
支持IP白名单过滤: 说明:防止非法用户登录,需在web server侧添加IP Filter过滤源IP非法的请求。 安全加固:支持IP Filter实现Web白名单配置,配置项是“jobmanager.web.allow-access-address”,默认情况下只支持YARN用户接入。
支持IP白名单过滤: 说明:防止非法用户登录,需在web server侧添加IP Filter过滤源IP非法的请求。 安全加固:支持IP Filter实现Web白名单配置,配置项是“jobmanager.web.allow-access-address”,默认情况下只支持YARN用户接入。