检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DD切片数。 当输入切片个数太大，导致程序无法正常运行时使用。 当任务数过大时候Shuffle压力太大导致程序挂住不动，或者出现linux资源受限的问题。此时需要对数据重新进行分区，使用coalesce(numPartitions, true)。 localDir配置 Spark
服务 > Yarn > 实例 > ResourceManager（对应上报告警实例IP地址）”，单击图表区域右上角的下拉菜单，选择“定制 > 资源”，勾选“ResourceManager内存使用详情”。查看直接内存使用情况。 图1 定制ResourceManager内存使用详情 查看
待操作集群的名称 > 服务 > Yarn > 实例 > NodeManager（对应上报告警实例主机名）”，单击图表区域右上角的下拉菜单，选择“定制 > 资源”，勾选“NodeManager内存使用率”。查看非堆内存使用情况。 图1 定制NodeManager内存使用率 查看NodeManage
对于已启用Ranger授权的组件（HDFS与Yarn除外），Manager上非系统默认角色的权限将无法生效，需要通过配置Ranger策略为用户组赋权。 HDFS与Yarn的资源请求在Ranger中的策略条件未能覆盖的情况下，组件ACL规则仍将生效。 在“用户”，单击“添加”选择指定的用户并添加。 单击“确定”完成用户组创建。
统默认阈值0.5%）进行比较，当检测到网络读包丢包率连续多次（默认值为5）超过阈值时产生该告警。 用户可通过“系统设置 > 阈值配置 > 设备 > 主机 > 网络读信息 > 网络读包率信息 > 读包丢包率”修改阈值。 平滑次数为1，网络读包丢包率小于或等于阈值时，告警恢复；平滑次
统默认阈值0.5%）进行比较，当检测到网络写包丢包率连续多次（默认值为5）超过阈值时产生该告警。 用户可通过“系统设置 > 阈值配置 > 设备 > 主机 > 网络写信息 > 网络写包率信息 > 写包丢包率”修改阈值。 平滑次数为1，网络写包丢包率小于或等于阈值时，告警恢复；平滑次
（系统默认阈值80%）进行比较，当检测到网络读吞吐率连续多次（默认值为5）超过阈值时产生该告警。 用户可通过“系统设置 > 阈值配置 > 设备 > 主机 > 网络读信息 > 网络读吞吐率 > 读吞吐率”修改阈值。 平滑次数为1，网络读吞吐率小于或等于阈值时，告警恢复；平滑次数大于
（系统默认阈值80%）进行比较，当检测到网络写吞吐率连续多次（默认值为5）超过阈值时产生该告警。 用户可通过“系统设置 > 阈值配置 > 设备 > 主机 > 网络写信息 > 网络写吞吐率 > 写吞吐率”修改阈值。 平滑次数为1，网络写吞吐率小于或等于阈值时，告警恢复；平滑次数大于
统默认阈值80%）进行比较，当检测到Inode使用率连续多次（默认值为5）超过阈值时产生该告警。 用户可通过“系统设置 > 阈值配置 > 设备 > 主机 > 磁盘 > 磁盘inode使用率 > 磁盘inode使用率”修改阈值。 平滑次数为1，磁盘Inode使用率小于或等于阈值时，
统默认阈值0.5%）进行比较，当检测到网络写包错误率连续多次（默认值为5）超过阈值时产生该告警。 用户可通过“系统设置 > 阈值配置 > 设备 > 主机 > 网络写信息 > 网络写包率信息 > 写包错误率”修改阈值。 平滑次数为1，网络写包错误率小于或等于阈值时，告警恢复；平滑次
默认阈值80%）进行比较，当检测到主机文件句柄使用率连续多次（默认值为5）超过阈值时产生该告警。 用户可通过“系统设置 > 阈值配置 > 设备 > 主机 > 主机状态 > 主机文件句柄使用率 > 主机文件句柄使用率”修改阈值。 平滑次数为1，主机文件句柄使用率小于或等于阈值时，告
Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name FS活动的名称 delete 删除指定的文件和目录的标签 move 将文件从源目录移动到目标目录的标签 chmod 修改文件或目录权限的标签 path 当前文件路径 source 源文件路径 target 目标文件路径 permissions
Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name FS活动的名称 delete 删除指定的文件和目录的标签 move 将文件从源目录移动到目标目录的标签 chmod 修改文件或目录权限的标签 path 当前文件路径 source 源文件路径 target 目标文件路径 permissions
Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name FS活动的名称 delete 删除指定的文件和目录的标签 move 将文件从源目录移动到目标目录的标签 chmod 修改文件或目录权限的标签 path 当前文件路径 source 源文件路径 target 目标文件路径 permissions
运行程序参数 可选参数，为本次执行的作业配置相关优化参数（例如线程、内存、CPU核数等），用于优化资源使用效率，提升作业的执行性能。 Spark作业常用的运行程序参数如表2所示，可根据执行程序及集群资源情况进行配置。 - 执行程序参数 可选参数，程序执行的关键参数，该参数由用户程序内的函数指定，MRS只负责参数的传入。
写入文件，提升该算子并行度提升性能。 写算子索引检测算子调整参数：write.bucket_assign.tasks 非状态计算提升性能的资源优化 Flink计算操作分为如下两类： 无状态计算操作：该部分算子不需要保存计算状态，例如：filter、union all、lookup
防措施。 加固物理设备安全边界，防止外网直接访问及攻击内网管理平面。 排查平台各组件节点是否使用默认密码，如果有，建议修改新密码。 加强环境管理面账户密码管控，确保不泄露不扩散。 部分安全厂商已经提供了针对该漏洞的预防措施，您可联系对应的安全厂商，通过在安全设备上设置拦截规则来预防此类攻击。
FlinkSQL作业定义，根据用户输入的Sql，校验、解析、优化、转换成Flink作业并提交运行。 Flink作业可视化管理 支持可视化定义流作业和批作业。 支持作业资源、故障恢复策略、Checkpoint策略可视化配置。 流作业和批作业的状态监控。 Flink作业运维能力增强，包括原生监控页面跳转。 性能&可靠性
DBCServer在启动的时候，会启动一个sparkSQL的应用程序，而通过JDBC连接进来的客户端共同分享这个sparkSQL应用程序的资源，也就是说不同的用户之间可以共享数据。JDBCServer启动时还会开启一个侦听器，等待JDBC客户端的连接和提交查询。所以，在配置JDB
询系统管理员。管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。 执行以下命令查看主备节点的资源状态。 su - omm sh ${BIGDATA_HOME}/om-server/om/sbin/status-oms.sh 回显中“R
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
