检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
dfs -mkdir 文件夹名称 创建文件夹 hdfs dfs -mkdir /tmp/mydir hdfs dfs -ls 文件夹名称 查看文件夹 hdfs dfs -ls /tmp hdfs dfs -put 客户端节点上本地文件 HDFS指定路径 上传本地文件到HDFS指定路径
ADD COLUMNS 命令功能 ADD COLUMNS命令用于为现有表添加新列。 命令语法 ALTER TABLE [db_name.]table_name ADD COLUMNS (col_name data_type,...) TBLPROPERTIES(''COLUMNPROPERTIES
配置Coordinator定时调度作业 功能描述 周期性执行Workflow类型任务的流程定义文件。 参数解释 “coordinator.xml”中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 frequency 流程定时执行的时间间隔 start 定时流程任务启动时间
keytab文件拷贝上传至客户端运行环境的Hbase/hbase/conf目录下，例如“/opt/client/HBase/hbase/conf”。然后在“/opt/client/HBase/hbase/conf”目录下创建hbaseclient.properties文件，文件中user
下的样例工程文件夹“hcatalog-example”。 导入样例工程到IntelliJ IDEA开发环境中。 在IntelliJ IDEA的菜单栏中，选择“File > Open...”，显示“Open File or Project”对话框。 在弹出窗口选择文件夹“hcata
spark-internal --props file:///opt/kafka-source.properties // 指定配置文件，注意：使用yarn-cluster模式提交任务时，请指定配置文件路径为HDFS路径。 --target-base-path /tmp/huditest/hudimor1_
Hudi写阶段生成的parquet文件的目标大小。对于DFS，这需要与基础文件系统块大小保持一致，以实现最佳性能。 120 * 1024 * 1024 byte hoodie.parquet.block.size parquet页面大小，页面是parquet文件中的读取单位，在一个块内，页面被分别压缩。
Hive用户权限管理 Hive用户权限说明 创建Hive角色 配置Hive表、列或数据库的用户权限 配置Hive业务使用其他组件的用户权限 父主题： 使用Hive
对日志文件进行定期归档和删除，日志文件将占用HDFS大量内存空间，增加集群负载。 日志归档是通过Hadoop Archives功能实现的，Hadoop Archives启动的并行归档任务数（Map数）与待归档的日志文件总大小有关。计算公式为：并行归档任务数=待归档的日志文件总大小/归档文件大小。
对日志文件进行定期归档和删除，日志文件将占用HDFS大量内存空间，增加集群负载。 日志归档是通过Hadoop Archives功能实现的，Hadoop Archives启动的并行归档任务数（Map数）与待归档的日志文件总大小有关。计算公式为：并行归档任务数=待归档的日志文件总大小/归档文件大小。
在“Select Resource Services”中选择服务后，需要在“Resource”列中添加具体的资源对象，例如HDFS服务器的文件目录、Yarn的队列、Hive的数据库及表、HBase的表及列。 /testzone 例如针对HDFS中的“/testzone”目录创建一个安全区，配置如下：
ALM-45446 ClickHouse的mutation任务长时间未执行完成 本章节仅适用于MRS 3.3.1及之后版本。 告警解释 系统每隔5分钟检测一次mutation任务，当检测到有正在执行的mutation任务且运行时间大于等于阈值slow_mutation_cost_
在“Select Resource Services”中选择服务后，需要在“Resource”列中添加具体的资源对象，例如HDFS服务器的文件目录、Yarn的队列、Hive的数据库及表、HBase的表及列。 /testzone 例如针对HDFS中的“/testzone”目录创建一个安全区，配置如下：
Oozie应用开发常见概念 流程定义文件 描述业务逻辑的XML文件，包括“workflow.xml”、“coordinator.xml”、“bundle.xml”三类，最终由Oozie引擎解析并执行。 流程属性文件 流程运行期间的参数配置文件，对应文件名为“job.propertie
API 提供HDFS文件系统的应用接口，本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口，使用C语言开发的用户可参考C接口的描述进行应用开发。 Shell 提供shell命令完成HDFS文件系统的基本操作。 HTTP
错误，看文件后缀是gzip压缩，堆栈却报出是zlib方式。 因此怀疑此语句查询的表对应的HDFS上的文件有问题，Map日志中打印出了解析的对应的文件名，将其从HDFS上下载到本地，看到是gz结尾的文件，使用tar命令解压报错，格式不正确无法解压。使用file命令查看文件属性发现此
g.apache.kafka.clients.producer.*）往Kafka写数据，单条记录大小为1100055，超过了kafka配置文件server.properties中message.max.bytes=1000012。用户修改了Kafka服务配置中message.max
1和TLSv1.2与集群交互。 操作样例及步骤 发送GET方法访问查询用户列表接口并保存“jsessionid”到“jessionid.txt”文件中： curl -k -i --basic -u <user name>:<password> -c /tmp/jsessionid.txt
NFO？ 回答 登录Spark客户端节点，修改“{客户端安装目录}Spark/spark/conf/log4j.properties”配置文件，修改参数“Log4j.rootCategory”值为“INFO”，如下所示： 重新启动spark-sql客户端。 父主题： Spark常见问题
fig”，手动将配置文件导入到HDFS样例工程的配置文件目录中（通常为“conf”文件夹）。 准备MRS应用开发用户时获取的keytab文件也放置于该目录下。 在应用开发过程中，如需在本地Windows系统中调测应用程序，需要复制解压目录下的“hosts”文件中的内容到客户端所在
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
