检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Web UI页面无法跳转到Spark Web UI界面 HistoryServer缓存的应用被回收，导致此类应用页面访问时出错 加载空的part文件时，app无法显示在JobHistory的页面上 Spark导出带有相同字段名的表，结果导出失败 为什么多次运行Spark应用程序会引发致命JRE错误
删除HDFS指定目录 功能简介 删除HDFS上某个指定目录。 被删除的目录会被直接删除，且无法恢复。所以，执行删除操作需谨慎。 代码样例 如下是删除文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 /** *
创建Phoenix表 功能简介 Phoenix依赖HBase作为其后备存储，支持标准SQL和JDBC API的强大功能，使得SQL用户可以访问HBase集群。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSampl
[编号].log.zip”。最多保留最近的100个压缩文件，压缩文件保留个数可以在参数配置界面中配置。 在MapReduce服务中，JobhistoryServer会定时去清理HDFS上存储的旧的日志文件（默认目录为HDFS文件系统中的“/mr-history/done”），具体清
创建Phoenix表 功能简介 Phoenix依赖HBase作为其后备存储，支持标准SQL和JDBC API的强大功能，使得SQL用户可以访问HBase集群。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSampl
[编号].log.zip”。最多保留最近的100个压缩文件，压缩文件保留个数可以在参数配置界面中配置。 在MapReduce服务中，JobhistoryServer会定时去清理HDFS上存储的旧的日志文件（默认目录为HDFS文件系统中的“/mr-history/done”），具体清
xxx requestId=4971883851071737250 xxx 答： 登录Spark客户端节点，进入conf目录，修改配置文件“core-site.xml”中的“fs.obs.metrics.switch”参数值为“false”。 重新运行作业。 父主题： 作业管理类
符拼接后，赋给“输出字段名”。 当有字段的值为null时，会转化为空字符串，再与其他字段值拼接。 样例 通过“CSV文件输入”算子，生成三个字段A、B和C。 源文件如下图： 配置“拼接转换”算子，“分隔符”为空格，生成新字段D： 转换后，依次输出A、B、C和D，结果如下： 父主题：
败 问题 查看RegionServer启动失败节点的hbase-omm-*.out日志，发现日志中存在“An error report file with more information is saved as: /tmp/hs_err_pid*.log”，查看/tmp/hs_err_pid*
符拼接后，赋给“输出字段名”。 当有字段的值为null时，会转化为空字符串，再与其它字段值拼接。 样例 通过“CSV文件输入”算子，生成三个字段A、B和C。 源文件如下图： 配置“拼接转换”算子，“分隔符”为空格，生成新字段D： 转换后，依次输出A、B、C和D，结果如下： 父主题：
将输入字段的值按指定的分隔符分隔后，依次赋给配置的新字段。 配置分割后字段列数，大于原始数据实际可分割出来的字段列数，当前行成为脏数据。 样例 通过“CSV文件输入”算子，生成一个字段A。 源文件如下： 配置“分隔转换”算子，“分隔符”为空格，生成三个字段B、C和D： 转换后，依次输出A、B、C和D，结果如下： 父主题：
会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件，压缩文件保留个数可以在Manager界面中配置。 表1 Flume日志列表 日志类型 日志文件名 描述 运行日志 /flume/flumeServer
as age, t1.ts as ts FROM datagen1 AS t1 left JOIN hudimor FOR SYSTEM_TIME AS OF t1.proctime AS t2 ON t1.uuid = t2.uuid; CREATE TABLE blackhole1
Python样例代码 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见collectFemaleInfo.py。 样例代码获取方式请参考获取MRS应用开发样例工程。 代码样例： def contains(str
运行应用程序时，操作失败，日志显示如图1所示。 图1 操作失败日志 回答 可能的原因为用户名、密码的配置错误。 可排查“UserInfo.properties”文件中“username”和“password”的值是否配置正确。 父主题： Manager应用开发常见问题
调测Hive Python3样例程序 Python3样例工程的命令行形式运行 赋予“python3-examples”文件夹中脚本的可执行权限。在命令行终端执行以下命令： chmod +x python3-examples -R。 在python3-examples/pyCLI_sec
压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的100个压缩文件，压缩文件保留个数可以在Manager界面中配置。 日志归档规则： 表1 Yarn日志列表 日志类型 日志文件名 描述 运行日志
修改所有Hue节点上的以下配置文件： /opt/Bigdata/FusionInsight_Porter_8.*/install/FusionInsight-Hue-*/hue/apps/beeswax/src/beeswax/models.py 修改文件中的396和404行的值。 q
通过ThriftServer实例操作HBase表 功能简介 传入ThriftServer实例所在host和提供服务的port，根据认证凭据及配置文件新建Thrift客户端，访问ThriftServer，进行根据指定namespace获取tablename以及创建表、删除表的操作。 代码样例
其他日志归档文件数目达到最大值时，或压缩文件总大小达到最大值时会删除最旧的日志文件。 审计日志默认单个文件最大值为30MB，日志归档文件最大数目为20。 运行日志默认单个文件最大值为100MB，日志归档文件最大数目为20，其中HetuEngine计算实例运行日志单个文件最大值为10
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
