检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
employees_info; DESCRIBE employees_like; 扩展应用 创建分区表 一个表可以拥有一个或者多个分区，每个分区以文件夹的形式单独存在表文件夹的目录下。对分区内数据进行查询，可缩小查询范围，加快数据的检索速度和可对数据按照一定的条件进行管理。 分区是在创建表的时候用PARTITIONED
"auth-int" 获取集群中安装ThriftServer对应实例的配置文件。 方法一：选择“集群 > 服务 > HBase > 实例”，单击待操作的实例ThriftServer进入详情界面，获取配置文件“hdfs-site.xml”、“core-site.xml”、“hbase-site
lib/<组件名>”目录。 例如： 将使用HBase服务要用到的jar包文件放入HBase节点的“${BIGDATA_HOME}/third_lib/HBase”内。 将使用Hive服务要用到的jar包文件放入每一个HiveServer实例节点的“${BIGDATA_HOME}/third_lib/Hive”内。
确定”。 启用TASK容错模式后，会产生中间数据并缓存到文件系统中，过大的查询并发会对文件系统产生较大的磁盘压力。当前HetuEngine默认支持将中间数据缓冲至HDFS文件系统的临时目录中。存算分离场景对接OBS文件系统时，也能够支持TASK容错，但是中间数据仍然落盘至HDFS临时目录中。
会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。默认最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置。 表1 Broker日志列表 日志类型 日志文件名 描述 运行日志 server
行简单的操作。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件（user.keytab、krb5.conf）。user.keytab和krb5.conf文件为安全模式下的认证文件，需要在FusionInsight Manager中下载principal用户的
HDFS文件操作的Java示例程序。 本工程主要给出了创建HDFS文件夹、写文件、追加文件内容、读文件和删除文件/文件夹等相关接口操作示例。 hdfs-c-example HDFS C语言开发代码样例。 本示例提供了基于C语言的HDFS文件系统连接、文件操作如创建文件、读写文件、追加文件、删除文件等。
在显示的“Select File or Directory to Import”对话框中，选择“clickhouse-examples”文件夹中的“pom.xml”文件，单击“OK”。 确认后续配置，单击“Next”；如无特殊需求，使用默认值即可。 选择推荐的JDK版本，单击“Finish”完成导入。
在显示的“Select File or Directory to Import”对话框中，选择“clickhouse-examples”文件夹中的“pom.xml”文件，单击“OK”。 确认后续配置，单击“Next”，如无特殊需求，相关配置使用默认值即可。 选择推荐的JDK版本，单击“Finish”完成样例工程导入。
各组件业务用户由MRS集群管理员根据业务需要创建，具体操作请参见。安全模式下，“机机”用户需要下载keytab文件，具体操作请参见。“人机”用户第一次登录时需修改密码。 操作步骤 在本地准备CSV文件，文件名为：example-filename.csv，内容如下： Time,root.fit.d1
[FOR COLUMNS] [NOSCAN]; 指定FOR COLUMNS时，收集列级别的统计信息。 指定NOSCAN时，将只统计文件大小和个数，不扫描具体文件。 例如： analyze table table_name compute statistics; analyze table
nstall.bat”脚本，安装成功后得到“lib”文件夹、“examples”文件夹。 “lib”文件夹：只包含Flink依赖jar包，Kafka依赖jar包请去对应组件的服务端安装目录查找并添加。 “examples”文件夹：可获取开源样例jar包。 在导入样例工程之前，IntelliJ
业状态，代码示例只涉及了MapReduce作业，其他作业的API调用代码是一样的，仅job配置“job.properties”与工作流配置文件“workflow.xml”需根据实际情况设置。 完成导入并配置Oozie样例工程操作后即可执行通过Java API提交MapReduce作业和查询作业状态。
Streaming等多个样例工程。 若需要在本地Windows调测Spark样例代码，需参考准备Spark连接集群配置文件获取各样例项目所需的配置文件、认证文件，并手动将配置文件导入到Spark样例工程的配置文件目录中。 安装IntelliJ IDEA和JDK工具后，需要在IntelliJ IDEA中配置JDK。
图1 残留目录样例 回答 Spark任务在运行过程中，driver会创建一个spark-开头的本地临时目录，用于存放业务jar包，配置文件等，同时在本地创建一个blockmgr-开头的本地临时目录，用于存放block data。此两个目录会在Spark应用运行结束时自动删除。
Streaming等多个样例工程。 若需要在本地Windows调测Spark样例代码，需参考准备Spark连接集群配置文件获取各样例项目所需的配置文件，并手动将配置文件导入到Spark样例工程的配置文件目录中。 安装IntelliJ IDEA和JDK工具后，需要在IntelliJ IDEA中配置JDK。
具体删除条件可灵活处理)，减少Temporyary文件数。 删除分区少于一千个后，直接用drop table ${TableName}删掉表即可。 建议与总结 Hive分区虽然可以提高查询效率，但要避免分区不合理导致出现大量小文件的问题，要提前规划好分区策略。 父主题： 使用Hive
是否可以手动拷贝数据存储目录下的文件？ 回答 “dfs.datanode.data.dir”配置项用于指定数据块在DataNode上的存储目录，在系统安装时需要指定根目录，并且可以指定多个根目录。 请谨慎修改该配置项，可以添加新的数据根目录。 禁止删除原有存储目录，否则会造成数据块丢失，导致文件无法正常读写。
MapReduce任务commit阶段优化 操作场景 默认情况下，如果一个MR任务会产生大量的输出结果文件，那么该job在最后的commit阶段，会耗费较长的时间将每个task的临时输出结果commit到最终的结果输出目录。特别是在大集群中，大Job的commit过程会严重影响任务的性能表现。
t/HBase/hbase/conf/”目录下的所有配置文件至部署FlinkServer的所有节点的一个空目录，如“/tmp/client/HBase/hbase/conf/”。 修改FlinkServer节点上面配置文件目录及其上层目录属主为omm。 chown omm: /tmp/client/HBase/
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
