检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
KB 回答 在开启钨丝计划（即tungsten功能）后，Spark对于部分执行计划会使用codegen的方式来生成Java代码，但JDK编译时要求Java代码中的每个函数的长度不能超过64KB。当执行一个很复杂的SQL语句时，例如有多层语句嵌套，且单层语句中对字段有大量的逻辑处理（如多层嵌套的case
本章节仅适用于MRS 3.3.0及之后版本。 配置场景 Spark Native引擎是通过使用向量化的C++加速库，实现对Spark算子性能加速的一种技术方案。传统的SparkSQL是基于行式数据，通过JVM的codegen来实现查询加速的，由于JVM对生成的java代码存在各种约束，比如方
Step:memoryStep,minMemory:maxMemory，在键入时会严格校验格式。 表1 配置数值说明 数值名称 描述 设定要求 baseTaskCount 任务总量基数，只有当应用的task总数（map端与reduce端之和）不小于该值时配置才会起作用。 不能为空且大于零。
Step:memoryStep,minMemory:maxMemory，在键入时会严格校验格式。 表1 配置数值说明 数值名称 描述 设定要求 baseTaskCount 任务总量基数，只有当应用的task总数（map端与reduce端之和）不小于该值时配置才会起作用 不能为空且大于零
该告警产生原因可能是执行恢复任务前组件状态不满足要求或执行恢复任务中某个步骤出错，执行恢复任务中出错依赖于该任务的详细情况，可以获取日志和任务详情来处理该告警。 处理步骤 查看组件状态 在MRS Manager管理界面，选择“服务管理”，查看组件当前的运行状态是否满足要求（OMS、DBService要求状态正常，其他组件要求停止服务）。
用户历史消费的金额信息。 现table1表有10条记录，表示有用户名分别为1-10的用户，用户的历史消费金额初始化都是0元。 基于某些业务要求，开发的Spark应用程序实现如下功能： 实时累加计算用户的消费金额信息：即用户总消费金额=用户的消费金额(kafka数据) + 用户历史
创建MRS IAM自定义权限策略 如果系统预置的MRS权限，不满足您的授权要求，可以创建自定义策略。自定义策略中可以添加的授权项（Action）请参考策略及授权项说明。 目前支持以下两种方式创建自定义策略： 可视化视图创建自定义策略：无需了解策略语法，按可视化视图导航栏选择云服务
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 如果当前集群配置的参数小于集群规模要求的配置标准时，可能会导致用户作业运行延迟，服务页面响应缓慢等问题。严重时会导致集群节点Agent或者OMS进程运行异常，导致组件作业提交、OMS数据同步等失败。
Double类型数值时，过滤结果与Hive不一致 现象描述 当在filter中使用更高精度的double数据类型的数值时，过滤结果没有按照所使用的filter的要求返回正确的值。 可能原因 如果filter使用更高精度的double数据类型的数值，系统将会对该值四舍五入进行比较，因此在这种情况下，即使
某个用户的基本信息，包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录，消息记录该用户的名字、职业信息。 基于某些业务要求，开发的Flink应用程序实现功能：实时的以根据业务2中消息记录的用户名字作为关键字，对两个业务数据进行联合查询。 数据规划 业务1的数据
拓扑工作。若业务用户的密码被修改，或密码使用天数超过了默认密码策略指定的最大有效期，则会影响拓扑正常运行。MRS集群管理员需要根据企业安全要求，为Storm业务用户配置独立的密码策略。 如果不为Storm业务用户配置独立的密码策略，在修改业务用户密码以后，可以删除旧的拓扑并重新提交，使拓扑继续运行。
当需要提升Storm数据量处理性能时，可以通过拓扑调优的操作提高效率。建议在可靠性要求不高的场景下进行优化。 表1 调优参数 配置参数 默认值 调优场景 topology.acker.executors null Acker的执行器数量。当业务应用对可靠性要求较低，允许不处理部分数据，可设置参数值为“null”
某个用户的基本信息，包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录，消息记录该用户的名字、职业信息。 基于某些业务要求，开发的Flink应用程序实现功能：实时的以根据业务2中消息记录的用户名字作为关键字，对两个业务数据进行联合查询。 数据规划 业务1的数据
单击待修改数据库用户密码的服务，选择“更多 > 修改数据库密码”，在弹出窗口中输入当前登录的用户密码确认身份，单击“确定”。 根据界面信息，输入新旧密码。 密码复杂度要求： 组件数据库用户密码字符长度为8～32。 至少需要包含大写字母、小写字母、数字、特殊字符~`!@#$%^&*()-+_=\|[{}];"
某个用户的基本信息，包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录，消息记录该用户的名字、职业信息。 基于某些业务要求，开发的Flink应用程序实现功能：实时的以根据业务2中消息记录的用户名字作为关键字，对两个业务数据进行联合查询。 数据规划 业务1的数据
数据分析 使用Spark2x实现车联网车主驾驶行为分析 使用Hive加载HDFS数据并分析图书评分情况 使用Hive加载OBS数据并分析企业雇员信息 通过Flink作业处理OBS数据 通过Spark Streaming作业消费Kafka数据 通过Flume采集指定目录日志系统文件至HDFS
Double类型数值时，过滤结果与Hive不一致 现象描述 当在filter中使用更高精度的double数据类型的数值时，过滤结果没有按照所使用的filter的要求返回正确的值。 可能原因 如果filter使用更高精度的double数据类型的数值，系统将会对该值四舍五入进行比较，因此在这种情况下，即使
某个用户的基本信息，包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录，消息记录该用户的名字、职业信息。 基于某些业务要求，开发的Flink应用程序实现功能：实时的以根据业务2中消息记录的用户名字作为关键字，对两个业务数据进行联合查询。 数据规划 业务1的数据
某个用户的基本信息，包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录，消息记录该用户的名字、职业信息。 基于某些业务要求，开发的Flink应用程序实现功能：实时的以根据业务2中消息记录的用户名字作为关键字，对两个业务数据进行联合查询。 数据规划 业务1的数据
目前仅ORC格式的表支持ZSTD_JNI压缩方式，而普通的ZSTD压缩算法支持全量存储格式而不仅限于ORC，所以建议用户对数据压缩有特殊要求的场景下再使用此特性。 该章节内容仅适用MRS 3.2.0及之后版本。 创建ZSTD_JNI压缩表示例 以Hive客户端安装用户登录安装客户端的节点。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
