检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取用户定义的Socket数据，作为输入流数据。 hostname是指Socket的服务器端的主机名称。 port指的是服务器的监测端口。 delimiter指的是消息之间的分隔符。 maxRetry指的是由于连接异常可以触发的最大重试次数。 public DataStreamSource<String> s
获取用户定义的Socket数据，作为输入流数据。 hostname是指Socket的服务器端的主机名称。 port指的是服务器的监测端口。 delimiter指的是消息之间的分隔符。 maxRetry指的是由于连接异常可以触发的最大重试次数。 public DataStreamSource<String> s
获取用户定义的Socket数据，作为输入流数据。 hostname是指Socket的服务器端的主机名称。 port指的是服务器的监测端口。 delimiter指的是消息之间的分隔符。 maxRetry指的是由于连接异常可以触发的最大重试次数。 public DataStreamSource<String> s
接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下，您还可以设置客户端与JDBCServer连接的超时时间，可以避免客户端由于无限等待服务端的返回而挂起。使用方式如下： 在执行“DriverManager
sinkserver.port.range: 28444-28943 nettyconnector.sinkserver.subnet：设置网络所属域，例如： nettyconnector.sinkserver.subnet: 10.162.0.0/16 接口说明 注册服务器接口
aster2节点。 MRS Manager的主备管理节点默认安装在集群Master节点上。在主备模式下，由于Master1和Master2之间会切换，Master1节点不一定是MRS Manager的主管理节点，需要在Master1节点中执行命令，确认MRS Manager的主管理节点。命令请参考2
参数解释： 配置组件用户密码，该密码用于ClickHouse组件机机用户连接使用。 约束限制： 不涉及 取值范围： 密码长度应在8-26个字符之间 不能与用户名或者倒序用户名相同 必须包含如下4种字符的组合 至少一个小写字母 至少一个大写字母 至少一个数字 至少一个特殊字符：!@$%^-_=+[{}]:
authorization.enable=false 权限管理介绍 SparkSQL的权限管理是指SparkSQL中管理用户操作数据库的权限系统，以保证不同用户之间操作数据库的独立性和安全性。如果一个用户想操作另一个用户的表、数据库等，需要获取相应的权限才能进行操作，否则会被拒绝。 SparkSQL权
加入绑定角色的用户组，才能获得权限。 HetuEngine的权限管理是指HetuEngine中管理用户操作数据库的权限系统，以保证不同用户之间操作数据库的独立性和安全性。如果一个用户想操作另一个用户的表、数据库等，需要获取相应的权限才能进行操作，否则会被拒绝。 HetuEngin
Netty/NIO及Hash/Sort配置 Shuffle是大数据处理中最重要的一个性能点，网络是整个Shuffle过程的性能点。目前Spark支持两种Shuffle方式，一种是Hash，另外一种Sort。网络也有两种方式，Netty和NIO。 表8 参数说明 参数 描述 默认值 spark
userClassPathFirst （试验性）当在驱动程序中加载类时，是否授权用户添加的jar优先于Spark自身的jar。这种特性可用于减缓Spark依赖和用户依赖之间的冲突。目前该特性仍处于试验阶段，仅用于Cluster模式中。 false spark.driver.extraLibraryPath 设置一个特殊的library
接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下，您还可以设置客户端与JDBCServer连接的超时时间，可以避免客户端由于无限等待服务端的返回而产生异常。使用方式如下： 在执行“DriverManager
Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务失败：主机文件句柄使用率超过阈值时，系统应用无法打开文件、网络等IO操作，程序异常，可能会导致作业运行失败。 可能原因 应用进程存在异常，如打开的文件或socket没有关闭。 文件句柄数不满足当前业务需求。
</policies> 在策略，规则和行为操作中使用的标签中，可以添加其他属性，例如“name”可用于管理用户界面（例如：Hue UI）和工具输入xml之间的映射。 示例： <policy name="Manage_File1"> 标签（Tag）说明如下： 表4 配置标签（Tag）描述 标签（Tag）名称
如需使用Hive在beeline模式下创建表时，配置内置用户“hive”。 单击“确定”。 勾选“我同意授权MRS用户（组）与IAM委托之间的信任关系。”，并单击“确定”，完成MRS用户与OBS权限的映射关系。 当集群详情页面“概览”页签的“OBS权限控制”后出现或OBS权限控
按照应用需求分配和调度出需要的资源，以租户来统一使用，资源利用效率高。 用户通过分配不同的角色获得使用不同租户资源的权限，以保障访问安全。 不同的租户之间数据隔离，以保证数据安全。 约束与限制 创建并购买一个包含Spark组件的MRS集群，详情可参考创建MRS集群。 操作流程 本实践操作流程如下所示：
进入集群详情页面。 选择“弹性伸缩”页签，进入配置弹性伸缩界面。 用户根据实际需要选择资源池维度或者节点组维度进行策略配置。 不同节点组之间的弹性伸缩策略互斥，即只能存在一个节点组有开启的弹性伸缩策略。 弹性伸缩规则可调控节点数量，也会对实际价格有影响，请谨慎操作。 单击“新增弹性伸缩”按钮，即可添加弹性伸缩策略。
存在数据倾斜 Rows/s Task每秒钟读取的数据条数，通过分析相同Stage阶段不同Task每秒钟读取数据条数可以快速判断节点是否存在网络带宽差异，定位是否节点网卡存在问题 Bytes Task读取的数据量 Bytes/s Task每秒钟读取的数据量 Elapsed Task执行时长
下的容灾。 本章节适用于MRS 3.x及之后版本。 前提条件 主备集群都已经安装并启动成功，且获取集群的管理员权限。 必须保证主备集群间的网络畅通和端口的使用。 如果主集群部署为安全模式且不由一个FusionInsight Manager管理，主备集群必须已配置跨集群互信。如果主
务申请资源以重启任务。 Container Container是YARN中的资源抽象，封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等（目前仅封装内存和CPU），当AM向RM申请资源时，RM为AM返回的资源便是用Container表示。YARN会为每个任务分配一个Con
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
