检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
目录下的样例工程文件夹“hdfs-example-normal”。 导入样例工程到IntelliJ IDEA开发环境。 打开IntelliJ IDEA，依次选择“File > Open”。 在弹出的Open File or Project对话框中选择样例工程文件夹“hdfs-ex
IDEA客户端机器时间，和Storm集群时间差不超过5分钟。 确保本地的hosts文件中配置了远程集群所有主机的主机名和业务IP映射关系。 操作步骤 修改WordCountTopology.java类，使用remoteSubmit方式提交应用程序。并替换Jar文件地址。 使用remoteSubmit方式提交应用程序
在Impala示例工程根目录impala-examples-normal文件夹下，打开cmd窗口，执行mvn install进行编译。 在Impala示例工程根目录impala-examples-normal文件夹下，打开cmd窗口，执行mvn idea:idea创建IntelliJ
HFile中。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件（user.keytab、krb5.conf）。user.keytab和krb5.conf文件为安全模式下的认证文件，需要在FusionInsight Manager中下载principal用户的
下的样例工程文件夹“mapreduce-example-normal”。 导入样例工程到IntelliJ IDEA开发环境。 打开IntelliJ IDEA，依次选择“File > Open”。 在弹出的Open File or Project会话框中选择样例工程文件夹“mapr
FIX、DIFF、FAST_DIFF和ROW_INDEX_V1，其中NONE表示不使用编码。另外，HBase还支持使用压缩算法对HFile文件进行压缩，默认支持的压缩算法有：NONE、GZ、SNAPPY和ZSTD，其中NONE表示HFile不压缩。 这两种方式都是作用在HBase
查看KrbServer服务是否存在。 是，执行3。 否，执行6。 单击“KrbServer”。 单击“实例”。在KrbServer管理页面，选择故障实例，选择“更多 > 重启实例”。查看实例能否成功启动。 是，执行5。 否，执行24。 在“运维 > 告警 > 告警”页签，查看该告警是否恢复。 是，处理完毕。
务，建议使用keytab方式完成鉴权功能。 在“客户端安装路径/ZooKeeper/zookeeper/conf/jaas.conf”配置文件中设置属性“useTicketCache=false”，设置“useKeyTab=true”，并指明keytab路径。 父主题： ZooKeeper常见问题
FIX、DIFF、FAST_DIFF和ROW_INDEX_V1，其中NONE表示不使用编码。另外，HBase还支持使用压缩算法对HFile文件进行压缩，默认支持的压缩算法有：NONE、GZ、SNAPPY和ZSTD，其中NONE表示HFile不压缩。 这两种方式都是作用在HBase
通过以下步骤来解决问题。 查看客户端的配置文件“conf/flink-conf.yaml”。 确认配置项“jobmanager.web.ssl.enabled”的值是“false”。 如果不是，请修改配置项的值为“false”。 如果是，请执行3。 确认配置项“jobmanager
ole：输出到控制台；RFA：输出到日志文件 hbase.security.logger=DEBUG,console,RFAS //hbase客户端安全相关的日志输出配置，console：输出到控制台；RFAS：输出到日志文件 hbase.log.dir=/var/
partitions”参数值为200，但distribute by字段的cardinality只有100，则输出的200个文件中，只有其中100个文件有数据，剩下的100个文件为空文件。也就是说，如果选取的字段的cardinality过低，如1，则会造成严重的数据倾斜，从而严重影响查询性能。 因此，建议选取的distribute
log1.txt"和"/opt/log2.txt"。 数据文件若存放在本地文件系统，需在所有部署Yarn NodeManager的节点指定目录放置，并设置运行用户访问权限。 或将数据文件放置于HDFS，并指定程序中读取文件路径HDFS路径，例如"hdfs://hacluster/path/to/file"。
log1.txt"和"/opt/log2.txt"。 数据文件若存放在本地文件系统，需在所有部署Yarn NodeManager的节点指定目录放置，并设置运行用户访问权限。 或将数据文件放置于HDFS，并指定程序中读取文件路径HDFS路径，例如"hdfs://hacluster/path/to/file"。
log1.txt"和"/opt/log2.txt"。 数据文件若存放在本地文件系统，需在所有部署Yarn NodeManager的节点指定目录放置，并设置运行用户访问权限。 若将数据文件放置于HDFS，需指定程序中读取文件路径HDFS路径，例如"hdfs://hacluster/path/to/file"。
er是否存在。因此，只有在APP结束的时候才会清理这些临时文件。任务运行时间较长时导致临时文件过多占用了大量磁盘空间。 处理步骤 启动一个定时任务来清理超过一定时间的shuffle文件，例如每个整点清理超过6个小时的文件： 创建脚本“clean_appcache.sh”，若存在多
一份日志文件的最大存储大小，默认为50MB），例如修改为“20MB”。 调小“log4j.appender.sparklog.MaxBackupIndex”参数值（表示滚动保存的文件数量，最大为10个文件，达到第11个覆盖第一个生成的文件），例如修改为“5”。 保存文件。 重新提交作业，作业运行正常。
partitions”参数值为200，但distribute by字段的cardinality只有100，则输出的200个文件中，只有其中100个文件有数据，剩下的100个文件为空文件。也就是说，如果选取的字段的cardinality过低，如1，则会造成严重的数据倾斜，从而严重影响查询性能。 因此，建议选取的distribute
过100MB的时，会自动压缩。 压缩后的日志文件名规则为：“<原有日志名>.[编号].gz”。 默认最多保留最近的10个压缩文件，压缩文件保留个数可以在Manager界面中配置。 表1 ClickHouse日志列表 日志类型 日志文件名 描述 ClickHouse相关日志 /va
SparkSQL用户是目录属主，且用户对此目录及其子目录拥有“读”、“写”和“执行”权限，并且其上层的每一级目录拥有“读”和“执行”权限。指定文件时需要此文件已经存在，SparkSQL用户是文件属主，且用户对文件拥有“读”、“写”和“执行”权限，同时对此文件上层的每一级目录拥有“读”和“执行”权限。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
