检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
yarn-resourcemanager-period-check.log Yarn resourcemanager的周期检查日志。 hadoop.log Hadoop的客户端日志。 env.log 实例启停前的环境信息日志。 审计日志 yarn-audit-<process_name>.log ranger-plugin-audit
使用IE浏览器在Hue中执行HQL失败 问题背景与现象 使用IE浏览器在Hue中访问Hive Editor并执行所有HQL失败，界面提示“There was an error with your query.”。 原因分析 IE浏览器存在功能问题，不支持在307重定向中处理含有form
ForBroadcastJoin 两表进行join操作的时候，当非空分区比率低于此配置时，无论其大小如何，都不会被视为自适应执行中广播哈希连接的生成端。只有当spark.sql.adaptive.enabled为true时，此配置才有效。 0.2 父主题： Spark SQL企业级能力增强
ForBroadcastJoin 两表进行join操作的时候，当非空分区比率低于此配置时，无论其大小如何，都不会被视为自适应执行中广播哈希连接的生成端。只有当spark.sql.adaptive.enabled为true时，此配置才有效。 0.2 父主题： Spark SQL企业级能力增强
更新域：当满足某些条件时，更新字段的值。 输出 Hive输出：将已生成的字段输出到Hive表。 表输出：将已生成的字段输出到关系型数据库表。 文件输出：将已生成的字段通过分隔符连接并输出到文件。 HBase输出：将已生成的字段输出到HBase表。 字段简介 作业配置中的字段是Loader按业务需要定义的与用户数据对应
更新域：当满足某些条件时，更新字段的值。 输出 Hive输出：将已生成的字段输出到Hive表。 表输出：将已生成的字段输出到关系型数据库表。 文件输出：将已生成的字段通过分隔符连接并输出到文件。 HBase输出：将已生成的字段输出到HBase表。 字段简介 作业配置中的字段是Loader按业务需要定义的与用户数据对应
期时间，该channel就被终止了，AM端感知到channel被终止后认为driver失联，然后整个应用停止。 解决办法： 在Spark客户端的“spark-defaults.conf”文件中或通过set命令行进行设置。参数配置时要保证channel过期时间（spark.rpc.io
total-timeout-ms 1800000（30分钟） 提交的总重试超时时间，单位为毫秒。 commit.status-check.num-retries 3 在连接丢失后检查提交是否成功的次数，在未知提交状态下失败。 commit.status-check.min-wait-ms 1000（1秒） 重
业务处理逻辑被封装进Storm中的Topology中。一个Topology是由一组Spout组件（数据源）和Bolt组件（逻辑处理）通过Stream Groupings进行连接的有向无环图（DAG）。Topology里面的每一个Component（Spout/Bolt）节点都是并行运行的。在Topology里面，
k.apache.org/docs/latest/quick-start.html。 常用命令 Shell命令执行方法： 进入Spark客户端目录。 初始化环境变量。 source /opt/client/bigdata_env 如果当前集群已启用Kerberos认证，执行以下命
独立的机器上。在任何一个时间点，只有一个NameNode处于Active状态，另一个处于Standby状态。Active节点负责处理所有客户端操作，Standby节点时刻保持与Active节点同步的状态以便在必要时进行快速主备切换。 为保持Active和Standby节点的数据一
KafkaTopic监控”，搜索发生告警的Topic，查看副本数量。 如果副本数量值大于3，则考虑减少该Topic的复制因子（减少为3）。 在FusionInsight客户端执行以下命令对Kafka Topic的副本进行重新规划： kafka-reassign-partitions.sh --zookeeper
yarn-resourcemanager-period-check.log Yarn resourcemanager的周期检查日志 hadoop.log Hadoop的客户端日志 env.log 实例启停前的环境信息日志。 审计日志 yarn-audit-<process_name>.log ranger-plugin-audit
启动前无法提供服务。 服务参数配置如果使用旧的存储目录，需要更新为新目录。 更改NodeManager的存储目录以后，需要重新下载并安装客户端。 前提条件 在各个数据节点准备并安装好新磁盘，并格式化磁盘。 规划好新的目录路径，用于保存旧目录中的数据。 准备好MRS集群管理员用户admin。
log Manager界面的Hue操作日志。 hue-service-check.log Hue服务状态监控日志。 db_pwd.log Hue连接DBService数据库密码修改日志 modifyDBPwd_日期.log - watch_config_update.log 参数更新日志。
过期时间，该channel就被终止了，AM端感知到channel被终止后认为driver失联，然后整个应用停止。 解决办法：在Spark客户端的“spark-defaults.conf”文件中或通过set命令行进行设置。参数配置时要保证channel过期时间（spark.rpc.io
mask_hash(string|char|varchar str) →varchar 描述：返回基于str的散列值。散列是一致的，可以用于跨表连接被屏蔽的值。对于非字符串类型，返回NULL。 select mask_hash('panda');
命令执行后查看各个分组的数据条数是否相差不大，如果相差超过2/3或1/2，则需要重新选择分桶字段。 2千万以内数据禁止使用动态分区。动态分区会自动创建分区，而小表用户关注不到，会创建出大量不使用的分区分桶。 创建表时，排序键key不能太多，一般建议3~5个；太多key会导致数据写入较慢，影响数据导入性能。 不使用Auto
数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的IoTDB数据。 对系统的影响 恢复过程中会停止用户认证，用户无法开始新的连接。 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，需要重新启动IoTDB的上层应用。 前提条件 如果需要从远端HDFS恢
群的时间可通过FusionInsight Manager页面右下角查看。 已准备开发环境及MRS集群相关配置文件，详情请参考准备Spark连接集群配置文件。 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“spark-examples”目录下的“sparksec
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
