检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
个数分组，每个分组会单独创建一个文件记录日志，从而避免应用长期运行时形成单个过大日志造成JobHistory无法读取的问题，设置为“0”时表示不分组。 大部分Spark Streaming任务属于小型job，而且产生速度较快，会导致频繁的分组，产生大量日志小文件消耗磁盘I/O。建
待操作集群的名称 > 服务 > Yarn > 配置”，单击“全部配置”，单击“NodeManager > 系统”，在“GC_OPTS”参数中修改配置。 表1 参数说明 参数 描述 默认值 GC_OPTS Yarn NodeManager的GC参数。 128M 父主题： Spark Core
final KTable<String, Long> counts = source // 处理接收的记录，根据正则表达式REGEX_STRING进行分割 .flatMapValues(value -> Arrays.asList(value
登录Manager WebUI 认证架构包含步骤1、2、3、4 登录组件Web UI 认证架构包含步骤5、6、7、8 组件间访问 认证架构为步骤9 表1 关键模块解释 名称 含义 Manager 集群Manager Manager WS WebBrowser Kerberos1 部署在Ma
“deleteTopicNode();”： 删除Topic节点。 “unregister();”： 删除注册信息。 “query(); ”：查询注册信息。 “isExist();”： 查找某个信息是否存在。 “shutdown(); ”：关闭RegisterServerHandler，与第三方RegisterServer断开连接。
final KTable<String, Long> counts = source // 处理接收的记录，根据正则表达式REGEX_STRING进行分割 .flatMapValues(value -> Arrays.asList(value
则可能会出现并发问题。 Table实例缓存 如果一个Table实例可能长时间会被同一个线程固定且频繁地用到，例如，通过一个线程不断地往一个表内写入数据，那么这个Table在实例化后，就需要缓存下来，而不是每一次插入操作，都要实例化一个Table对象（尽管提倡实例缓存，但也不是在一
ID获取步骤如下： 登录MRS管理控制台。 选择“现有集群”，单击待操作集群的集群名称，进入集群详情页面。 选择“作业管理”页签，在作业列表中获取待操作作业对应的“ID”。 图2 作业ID 父主题： 附录
运行任务的Container。 当ApplicationMaster（从ResourceManager端）收到新分配的Container列表后，会向对应的NodeManager发送信息以启动Container。 ResourceManager分配Container给Applica
e、Channel、Sink三个模块组成，其中Source负责接收数据，Channel负责数据的传输，Sink则负责数据向下一端的发送。 表1 模块说明 名称 说明 Source Source负责接收数据或通过特殊机制产生数据，并将数据批量放到一个或多个Channel。Source的类型有数据驱动和轮询两种。
运行任务的Container。 当ApplicationMaster（从ResourceManager端）收到新分配的Container列表后，会向对应的NodeManager发送信息以启动Container。 ResourceManager分配Container给Applica
调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/expand 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释： 项目编号。获取方法，请参见获取项目ID。 约束限制：
xml。 MapReduce客户端配置文件路径：客户端安装目录/HDFS/hadoop/etc/hadoop/mapred-site.xml。 表1 多CPU内核设置 配置 参数 配置描述 节点容器槽位数 yarn.nodemanager.resource.memory-mb 参数解释
xml。 MapReduce客户端配置文件路径：客户端安装目录/HDFS/hadoop/etc/hadoop/mapred-site.xml。 表1 多CPU内核设置 配置 描述 参数 默认值 Server/Client 影响 备注 节点容器槽位数 如下配置组合决定了每节点任务(map、reduce)的并发数。
入以下系统属性：-Djute.maxbuffer=X。 例如，将参数值设置为4MB：-Djute.maxbuffer=0x400000。 表1 配置参数 参数 描述 默认值 jute.maxbuffer 指定可以存储在znode中的数据的最大长度。单位是Byte。默认值为0xfffff，即低于1MB。
入以下系统属性：-Djute.maxbuffer=X。 例如，将参数值设置为4MB：-Djute.maxbuffer=0x400000。 表1 配置参数 参数 描述 默认值 jute.maxbuffer 指定可以存储在znode中的数据的最大长度。单位是Byte。默认值为0xfffff，即低于1MB。
运行任务的Container。 当ApplicationMaster（从ResourceManager端）收到新分配的Container列表后，会向对应的NodeManager发送信息以启动Container。 ResourceManager分配Container给Applica
2 | 3 | 0 | 0.0 (3 rows) 上述结果列表指出，正如预期的那样，id为1和3的文本非常相似。 Data sketches（数据草图）可以序列化为varbinary，也可以从varbi
请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/tags/switch 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释： 项目编号。获取方法，请参见获取项目ID。 约束限制：
请参见如何调用API。 URI DELETE /v1.1/{project_id}/clusters/{cluster_id}/tags/{key} 表1 路径参数 参数 是否必选 参数类型 描述 cluster_id 是 String 参数解释： 集群ID。如果指定集群ID，则获取该集群做
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
