检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Spark Streaming对接Kafka可靠性 配置场景 Spark Streaming对接Kafka时，当Spark Streaming应用重启后，应用根据上一次读取的topic offset作为起始位置和当前topic最新的offset作为结束位置从Kafka上读取数据的。
配置Spark Executor堆内存参数 配置场景 当分配的内存太小或者被更高优先级的进程抢占资源时，会出现物理内存超限的情况。调整如下参数，可以防止物理内存超限。 配置描述 参数入口： 在应用提交时通过“--conf”设置这些参数，或者在客户端的“spark-defaults
配置Spark Executor堆内存参数 配置场景 当分配的内存太小或者被更高优先级的进程抢占资源时，会出现物理内存超限的情况。调整如下参数，可以防止物理内存超限。 配置描述 参数入口： 在应用提交时通过“--conf”设置这些参数，或者在客户端的“spark-defaults
参数 含义 类型 是否必填 默认值 被截取的字段 配置被截取字段相关信息： 输入字段名：配置输入字段名，需填写上一个转换步骤生成的字段名。 输出字段名：配置输出字段名。 开始位置：截取开始位置，从序号1开始。 结束位置：截取结束位置，不确定字符串长度时，可指定为-1表示被截取字段的末尾。
参数 含义 类型 是否必填 默认值 被截取的字段 配置被截取字段相关信息： 输入字段名：配置输入字段名，需填写上一个转换步骤生成的字段名。 输出字段名：配置输出字段名。 开始位置：截取开始位置，从序号1开始。 结束位置：截取结束位置，不确定字符串长度时，可指定为-1表示被截取字段的末尾。
什么是区域和可用区？ 通常用区域和可用区来描述数据中心的位置，用户可以在特定的区域、可用区创建云服务资源。 区域（Region）：从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Reg
切换到“实例配置”。单击“基础配置”下拉菜单，选择“全部配置”，在搜索框中输入以下参数。 “yarn.nodemanager.resource.cpu-vcores”设置当前节点上NodeManager可使用的虚拟CPU核数，建议按节点实际逻辑核数的1.5到2倍配置。“yarn.nodemanager
github.io/或https://prestosql.io/。 Presto多实例 MRS支持为大规格的集群默认安装Presto多实例，即一个Core/Task节点上安装多个Worker实例，分别为Worker1，Worker2，Worker3… ，多个Worker实例共同与Coo
memory-mb”设置当前节点上NodeManager可使用的物理内存大小，建议按节点实际物理内存大小的75%配置。 “yarn.scheduler.maximum-allocation-vcores”可配置单个Container最多CPU可用核数，“yarn.scheduler.maximum-allocati
架提交和部署拓扑的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 Flux框架是Storm提供的提高拓扑部署易用性的框架。通过Flux框架，用户可以使用yaml文件来定义和部署拓扑，并且最终通过storm jar命令来提交拓扑的一种方式，极大地方便了拓扑的部署和提交，缩短了业务开发周期。
客户端数量是否为1。 是，采用单独安装模式，执行8，安装结束。 否，采用批量安装模式，执行9。 在Flume客户端安装目录下执行以下命令，安装客户端到指定目录（绝对路径），例如安装到“/opt/FlumeClient”目录。客户端安装成功后单独安装结束。 cd /opt/clien
架提交和部署拓扑的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 Flux框架是Storm提供的提高拓扑部署易用性的框架。通过Flux框架，用户可以使用yaml文件来定义和部署拓扑，并且最终通过storm jar命令来提交拓扑的一种方式，极大地方便了拓扑的部署和提交，缩短了业务开发周期。
在已有Hive数据的集群上外置元数据库后，之前的元数据表不会自动同步。因此在安装Hive之初就要确认好元数据是外置数据库还是内置到DBService，如果是外置自建数据库，则需在安装Hive时或者暂无Hive数据时将元数据外置，安装后不允许修改，否则将会造成原有元数据丢失。 Hive对接CSS服务
修改MRS集群组件鉴权配置开关 操作场景 集群部署为安全模式或者普通模式时，HDFS和ZooKeeper默认会对访问服务的用户进行鉴权，没有权限的用户无法访问HDFS和ZooKeeper中的资源。集群部署为普通模式时，Yarn默认不会对访问用户进行鉴权，所有用户可以访问Yarn中的资源。
分割数据？ 回答 配置： 要在不同namespaces之间逻辑地分割数据，必须更新HDFS，Hive和Spark的“core-site.xml”文件中的以下配置。 改变Hive组件将改变carbonstore的位置和warehouse的位置。 HDFS中的配置 fs.defaultFS
分割数据？ 回答 配置： 要在不同namespaces之间逻辑地分割数据，必须更新HDFS，Hive和Spark的“core-site.xml”文件中的以下配置。 改变Hive组件将改变carbonstore的位置和warehouse的位置。 HDFS中的配置 fs.defaultFS
安全。 网络隔离 整个系统部署在公有云上的虚拟私有云中，提供隔离的网络环境，保证集群的业务、管理的安全性。结合虚拟私有云的子网划分、路由控制、安全组等功能，为用户提供高安全、高可靠的网络隔离环境。 资源隔离 MRS服务支持资源专属区内部署，专属区内物理资源隔离，用户可以在专属区内
ClickHouse服务当前的部署不具备跨AZ高可用能力。 可能原因 开启跨AZ高可用之后，同一个shard的所有副本节点在一个AZ内。 处理步骤 修改副本节点AZ 以客户端安装用户，登录安装客户端的节点。执行以下命令，切换到客户端安装目录。 cd {客户端安装路径} 执行以下命令配置环境变量。 source
StringSerializer" 定义拓扑的配置示例： config: #简单配置项 topology.workers: 1 #配置项值为列表，使用`[]`表示 topology.auto-credentials: ["class1","class2"] #配置项值为map结构
ftp或sftp作为目的连接时，当“文件格式”配置为BINARY_FILE时，高级属性中的“换行符”配置无效。 字段分割符 最终数据的每个字段分割标识字符。 说明： ftp或sftp作为目的连接时，当“文件格式”配置为BINARY_FILE时，高级属性中的“字段分割符”配置无效 编码类型 最终数据的文本编码类型。只对文本类型文件有效。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
