检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
[db_name.]table_name; 参数描述 表1 DROP TABLE参数描述 参数 描述 db_name Database名称。如果未指定,将选择当前database。 table_name 需要删除的Table名称。 注意事项 在该命令中,IF EXISTS和db_name是可选配置。
[db_name.]table_name; 参数描述 表1 DROP TABLE参数描述 参数 描述 db_name Database名称。如果未指定,将选择当前database。 table_name 需要删除的Table名称。 注意事项 在该命令中,IF EXISTS和db_name是可选配置。
安全集群执行set命令的时候报错“Cannot modify xxx at runtime” 问题现象 执行set命令时报以下错误: 0: jdbc:hive2://192.168.1.18:21066/> set mapred.job.queue.name=QueueA; Error:
keytab文件拷贝上传至客户端运行环境的Hbase/hbase/conf目录下,例如“/opt/client/HBase/hbase/conf”。然后在“/opt/client/HBase/hbase/conf”目录下创建hbaseclient.properties文件,文件中user
配置Coordinator定时调度作业 功能描述 周期性执行Workflow类型任务的流程定义文件。 参数解释 “coordinator.xml”中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 frequency 流程定时执行的时间间隔 start 定时流程任务启动时间
本章节仅适用于MRS 1.9.2版本集群。 问题现象 Sqoop任务运行成功,但HDFS中的CSV文件无内容。 原因分析 由于jar包冲突或者缺少相关jar包导致。 处理步骤 进入Sqoop的安装目录下查找文件。 进入Sqoop节点的“/opt/Bigdata/MRS_1.9.2/instal
自的磁盘文件中。 这样带来的问题是如果reduce分区的数量比较大的话,将会产生大量的磁盘文件(比如:该问题中将产生1000000 * 100000 = 10^11个shuffle文件)。如果磁盘文件数量特别巨大,对文件读写的性能会带来比较大的影响,此外由于同时打开的文件句柄数量
HoodieDeltaStreamer spark-internal --props file:///opt/kafka-source.properties // 指定配置文件,注意:使用yarn-cluster模式提交任务时,请指定配置文件路径为HDFS路径。 --target-base-path /
自的磁盘文件中。 这样带来的问题是如果reduce分区的数量比较大的话,将会产生大量的磁盘文件(比如:该问题中将产生1000000 * 100000 = 10^11个shuffle文件)。如果磁盘文件数量特别巨大,对文件读写的性能会带来比较大的影响,此外由于同时打开的文件句柄数量
ytab文件;如果使用票据方式,则无需获取额外的配置文件。 将获取到的这些文件拷贝到示例工程的 src/main/resources目录。 获取到的keytab文件默认文件名为user.keytab,若用户需要修改,可直接修改文件名,但在提交任务时需要额外上传修改后的文件名作为参数。
ect Root Folder”对话框。 选择样例工程文件夹mapreduce-examples,单击“确定”按钮。 在“Import Maven Projects”窗口单击“Finish”按钮。 设置Eclipse的文本文件编码格式,解决乱码显示问题。 在Eclipse的菜单栏中,选择“Window
是否使用多租户模式。 false表示使用多实例模式 true表示使用多租户模式 true spark.scheduler.allocation.file 公平调度文件路径。 多主实例配置为:#{conf_dir}/fairscheduler.xml 多租户配置为:./__spark_conf__
开发HDFS应用 HDFS样例程序开发思路 初始化HDFS 写HDFS文件 追加HDFS文件内容 读HDFS文件 删除HDFS文件 HDFS Colocation 设置HDFS存储策略 HDFS访问OBS 父主题: HDFS开发指南
确认HBase上层应用中原有的配置文件“hbase-site.xml”、“core-site.xml”和“hdfs-site.xml”是否为适配应用运行修改或新增过配置内容。 是,将相关内容同步更新到新的配置文件中,并替换旧的配置文件。 否,使用新的配置文件替换HBase上层应用中原有的配置文件。 配置H
时也会监控这个文件,导致此文件被两个进程同时监控。当其中一个进程按照配置滚动的时候,删除了最早的日志文件,但是另一个进程依旧占用此文件句柄,从而产生了deleted状态的文件。 处理步骤 将Spark的executor日志输出目录修改成其他名称: 打开日志配置文件,默认在“<客户
配置Coordinator定时调度作业 功能描述 周期性执行Workflow类型任务的流程定义文件。 参数解释 “coordinator.xml”中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 frequency 流程定时执行的时间间隔 start 定时流程任务启动时间
在弹性云服务管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。 其他配置参数详细信息,请参见“弹性云服务器 > 快速入门 > 购买并登录Windows弹性云服务器”
coordinator.xml 功能描述 周期性执行workflow类型任务的流程定义文件。 参数解释 “coordinator.xml”中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 frequency 流程定时执行的时间间隔 start 定时流程任务启动时间
coordinator.xml 功能描述 周期性执行workflow类型任务的流程定义文件。 参数解释 “coordinator.xml”中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 frequency 流程定时执行的时间间隔 start 定时流程任务启动时间
本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 样例代码 -- 从本地文件系统/opt/hive_examples_data/目录下将employee_info.t