检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
r API仅支持访问未设置ACL的Topic,安全接口说明见Kafka安全接口介绍) 样例代码 Old Consumer API线程run方法中的消费逻辑。 /** *启动执行Consumer,订阅Kafka上指定topic消息。 */ public void run()
如果JobHistory在10分钟内无法完成Event log的解析并返回,httpd会主动向浏览器返回Proxy Error信息。 解决方法 由于当前JobHistory开启了本地磁盘缓存功能,访问应用时,会将应用的Event log的解析结果缓存到本地磁盘中,第二次访问时,能
S。 HDFS和Spark的关系 通常,Spark中计算的数据可以来自多个数据源,如Local File、HDFS等。最常用的是HDFS,用户可以一次读取大规模的数据进行并行计算。在计算完成后,也可以将数据存储到HDFS。 分解来看,Spark分成控制端(Driver)和执行端(
ranger-trino-plugin-enable.log Ranger插件集成到HetuEngine内核的操作日志。 客户端日志 qas_client.log QAS实例ZooKeeper客户端日志。 堆栈信息日志 threadDump-<DATE>.log 实例重启或实例停止时会打印。 其他 hetu-updateKrb5
HBase提供了不同场景下的多种样例程序,用户可获取样例工程并导入本地开发环境中进行程序学习。 导入并配置HBase样例工程 根据业务场景开发程序 根据实际业务场景开发程序,调用组件接口实现对应功能。 开发HBase应用 编译并运行程序 开发好的程序编译运行,用户可在本地Windows开发环境
ClickHouse系统表日志过大时如何添加定期删除策略? 问题现象 客户使用ClickHouse,系统表产生的日志过大,一次性删除会耗费较长时间,客户可以添加定期删除策略,即添加TTL。 处理步骤 MRS 3.3.0及之后版本,在Manager页面,选择“集群 > 服务 > ClickHouse>
丁更新的最新版本元数据。获取方法,请参见获取集群ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。 默认取值: 不涉及 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制:
String 参数解释: 连接ID。获取方法,请参见获取连接ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。 默认取值: 不涉及 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制:
/jobs/<jobid>/config Job使用用户定义的执行配置。 /jobs/<jobid>/exceptions Job探察到不可恢复的异常。截取的标识提示是否存在更多异常,但不列出这些异常,否则回复会太大。 /jobs/<jobid>/accumulators 聚合用户累加器加上Job累加器。
以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseExample”类的testMultiSplit方法中。 public void testMultiSplit() { LOG.info("Entering testMultiSplit
不连续。此时如果重启NameNode,很可能会失败。 现象 重启NameNode会失败。在NameNode运行日志中会报如下的错误: 解决方法 找到重启前的主NameNode,进入其数据目录(查看配置项“dfs.namenode.name.dir”可获取,例如/srv/BigDa
defaultFS)? 答: 当前不建议在服务端修改或者新增集群内HDFS NameSpace(fs.defaultFS),如果只是为了客户端更好的识别,则一般可以通过修改客户端内“core-site.xml”,“hdfs-site.xml”两个文件的相关参数进行实现。 父主题: 组件配置类
否 导致Yarn启动失败 /user/hive 固定目录 Hive相关数据存储的默认路径,包含依赖的spark lib包和用户默认表数据存储位置等 否 用户数据丢失 /user/omm-bulkload 临时目录 HBase批量导入工具临时目录 否 HBase批量导入任务失败 /user/hbase
准备Spark应用Scala开发环境 操作场景 Scala开发环境可以搭建在Windows环境下,而运行环境(即客户端)只能部署在Linux环境下。 操作步骤 对于Scala开发环境,推荐使用IDEA工具,安装要求如下。 JDK使用1.7版本(或1.8版本) IntelliJ IDEA(版本:13
ui.filters", "spark.mesos.driver.frameworkId", "spark.yarn.jars" 解决方法 手动删除checkpoint目录,重启业务程序。 删除文件为高危操作,在执行操作前请务必确认对应文件是否不再需要。 父主题: Spark应用开发常见问题
以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testMultiSplit方法中。 public void testMultiSplit() { LOG.info("Entering testMultiSplit
以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testMultiSplit方法中。 public void testMultiSplit() { LOG.info("Entering testMultiSplit
ui.filters", "spark.mesos.driver.frameworkId", "spark.yarn.jars" 解决方法 手动删除checkpoint目录,重启业务程序。 删除文件为高危操作,在执行操作前请务必确认对应文件是否不再需要。 父主题: Spark应用开发常见问题
ui.filters", "spark.mesos.driver.frameworkId", "spark.yarn.jars" 解决方法 手动删除checkpoint目录,重启业务程序。 删除文件为高危操作,在执行操作前请务必确认对应文件是否不再需要。 父主题: Spark应用开发常见问题
PASSWORD,建议密文存放,使用时解密,确保安全。其中: DORIS_MY_USER为访问Doris的用户名。 DORIS_MY_PASSWORD为访问Doris的用户密码。 导入“doris-rest-client-example”样例工程之后,运行时需修改以下参数: 将代码中HOST