检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 MapReduce应用程序开发流程 表1 MapReduce应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解MapReduce的基本概念。 MapReduce应用开发简介 准备开发和运行环境 使用IntelliJ IDEA工具,请根据指导完成开发环境配置。
yarn.jars" 解决方法 手动删除checkpoint目录,重启业务程序。 删除文件为高危操作,在执行操作前请务必确认对应文件是否不再需要。 父主题: Spark应用开发常见问题
开发流程中各阶段的说明如图1和表1所示。 图1 Manager应用程序开发流程 表1 Manager应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解基本认证的基本概念,了解场景需求,设计表等。 Manager应用开发简介 准备开发和运行环境 Manager REST API的应用开
开发流程中各阶段的说明如图1和表1所示。 图1 HBase应用程序开发流程 表1 HBase应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解HBase的基本概念,了解场景需求,设计表等。 HBase应用开发常用概念 准备开发环境和运行环境 HBase的应用程序当前推荐使用J
ore/{UUID前3个字符} mkdir -p 备份目录/data1 mv {UUID} 备份目录/data1/ 如果存在多磁盘的场景,需要对data1到dataN的磁盘数据都执行相同的备份操作。 备份元数据信息: cd /srv/BigData/data1/clickhouse_path/metadata/库名
户。 已安装MySQL客户端,相关操作可参考使用MySQL客户端连接Doris。 如果Doris通过Broker Load跨集群导入数据,需要配置跨集群互信,相关操作可参考配置跨Manager集群互信。 Hive表操作 如果需使用Doris读取Hive存储在OBS中的数据,需执行以下操作。
MultiComponentLocalRunner.main()”运行应用工程。 如果集群开启了ZooKeeper SSL,则运行该样例前,需要检查配置文件mapred-site.xml(准备运行环境中样例工程的“conf”配置文件目录中获取)的配置项“mapreduce.admin
MetaStore偶现死锁。 Hive varchar类型数据查询不支持下推,并发较大时可能导致内存问题。 Hive支持对自读自写的SQL进行拦截。 Hive需要把.db库加入数据保护黑名单中,防止创建表Location指定路径到库后,删除表后导致库数据丢失。 Hive并发overwrite写入后,执行overwrite的任务支持拦截。
镜像站下载,剩余所依赖的开源jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载。 本地环境使用开发工具下载依赖的jar包前,需要确认以下信息。 确认本地环境网络正常。 打开浏览器访问:华为提供开源镜像站(https://mirrors.huaweicloud.com
应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 准备连接Hive集群配置文件 配置并导入样例工程 Hive提供了不同场景下的多种
ight_IoTDB_*/install/FusionInsight-IoTDB-*/iotdb/ext/udf”下。 在部署集群的时候,需要保证每一个IoTDBserver节点的UDF JAR包路径下都存在相应的Jar包。您可以通过修改IoTDB配置“udf_root_dir”来指定UDF加载Jar的根路径。
854,775,807。 Decimal 默认值是(10,0),最大值是(38,38)。 说明: 当进行带过滤条件的查询时,为了得到准确的结果,需要在数字后面加上BD。例如,select * from carbon_table where num = 1234567890123456.22BD。
在“可恢复点列表”选择一个包含目标备份数据的恢复点。 在“队列名称”填写任务执行时使用的Yarn队列的名称。需和集群中已存在且状态正常的队列名称相同。 在“数据配置”选择需要恢复的对象。 单击“校验”,界面显示“校验恢复任务配置成功”。 单击“确定”。 在恢复任务列表已创建任务的“操作”列,单击“执行”,开始执行恢复任务。
[CARBON TABLE] [select query]; 参数描述 表1 INSERT INTO参数 参数 描述 CARBON TABLE 需要执行INSERT命令的CarbonData表的名称。 select query Source表上的SELECT查询(支持CarbonData、Hive和Parquet表)。
ts_0000000000013259239-0000000000013259246就是不连续的)。 如果有这种不连续的edits文件,则需要查看其它的JournalNode的数据目录或NameNode数据目录中,有没有连续的该序号相关的连续的edits文件。如果可以找到,复制一
高的重试成本。 如果表数据量过大,建议按照分区导出。 在Export作业运行过程中,如果FE发生重启或主备倒换,则Export作业会失败,需要用户重新提交。 如果Export作业运行失败,在远端存储中产生的“__doris_export_tmp_xxx”临时目录,及已经生成的文件不会被删除,需手动删除。
"xxx.xxx.xxx.xxx"] 如果HiveServer实例被迁移,原始的示例程序会失效。在HiveServer实例迁移之后,用户需要更新示例程序中使用的HiveServer的IP地址。 在HAConnection的第三个参数填写正确的用户名,密码可以不填写。创建连接,执
"xxx.xxx.xxx.xxx"] 如果HiveServer实例被迁移,原始的示例程序会失效。在HiveServer实例迁移之后,用户需要更新示例程序中使用的HiveServer的IP地址。 在HAConnection的第三个参数填写正确的用户名,密码可以不填写。创建连接,执
ts_0000000000013259239-0000000000013259246就是不连续的)。 如果有这种不连续的edits文件,则需要查看其它的JournalNode的数据目录或NameNode数据目录中,有没有连续的该序号相关的连续的edits文件。如果可以找到,复制一
图1 MapReduce应用程序开发流程 表1 MapReduce应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解MapReduce的基本概念。 MapReduce应用开发常用概念 准备开发环境 使用Eclipse工具,请根据指导完成开发环境配置。