检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
enabled false true 重启Spark2x服务，配置生效。 如果需要在Spark2x客户端用External Shuffle Service功能，需要重新下载并安装Spark2x客户端。 父主题： Spark Core性能调优
支持从SFTP/FTP服务器导入数据到HDFS/OBS 支持从SFTP/FTP服务器导入数据到HBase表 支持从SFTP/FTP服务器导入数据到Phoenix表 支持从SFTP/FTP服务器导入数据到Hive表 支持从HDFS/OBS导出数据到SFTP服务器 支持从HBase表导出数据到SFTP服务器
和外部表。 内部表，如果对数据的处理都由Hive完成，则应该使用内部表。在删除内部表时，元数据和数据一起被删除。 外部表，如果数据要被多种工具共同处理，则应该使用外部表，可避免对该数据的误操作。删除外部表时，只删除掉元数据。 根据已有表创建新表，使用CREATE LIKE句式，完全复制原有的表结构，包括表的存储格式。
在各个数据节点准备并安装好新磁盘，并格式化磁盘。 已安装好Kafka客户端。 更改Broker单个实例的存储目录时，保持活动的Broker实例数必须大于创建主题时指定的备份数。 操作步骤 更改Kafka角色的存储目录 以root用户登录到安装Kafka服务的各个数据节点中，执行如下操作。 创建目标目录。
在各个数据节点准备并安装好新磁盘，并格式化磁盘。 已安装好Kafka客户端。 更改Broker单个实例的存储目录时，保持活动的Broker实例数必须大于创建主题时指定的备份数。 操作步骤 更改Kafka角色的存储目录 以root用户登录到安装Kafka服务的各个数据节点中，执行如下操作。 创建目标目录。
理操作权限的用户。 操作步骤 使用具有CDL管理操作权限的用户或admin用户（未开启Kerberos认证的集群）登录CDLService WebUI界面，请参考登录CDLService WebUI界面。 选择“ENV管理 > 新建ENV”，在弹出的窗口中输入相关信息。 表1 新建ENV配置参数
public void init(ProcessorContext context) { // 在本地保留processor context，因为在punctuate()和commit()时会用到 this.context
修改ECS规格的操作，可能影响集群稳定运行。 如果您对MRS集群节点进行了上述操作，MRS会自动识别并直接删除发生变更的集群节点。 您可以登录MRS管理控制台，通过扩容恢复已经删除的节点。请勿在扩容过程中对正在扩容的节点进行操作。 父主题： 节点管理类
和外部表。 内部表，如果对数据的处理都由Hive完成，则应该使用内部表。在删除内部表时，元数据和数据一起被删除。 外部表，如果数据要被多种工具共同处理，则应该使用外部表，可避免对该数据的误操作。删除外部表时，只删除掉元数据。 根据已有表创建新表，使用CREATE LIKE句式，完全复制原有的表结构，包括表的存储格式。
和外部表。 内部表，如果对数据的处理都由Hive完成，则应该使用内部表。在删除内部表时，元数据和数据一起被删除。 外部表，如果数据要被多种工具（如Pig等）共同处理，则应该使用外部表，可避免对该数据的误操作。删除外部表时，只删除掉元数据。 根据已有表创建新表，使用CREATE L
和外部表。 内部表，如果对数据的处理都由Hive完成，则应该使用内部表。在删除内部表时，元数据和数据一起被删除。 外部表，如果数据要被多种工具（如Pig等）共同处理，则应该使用外部表，可避免对该数据的误操作。删除外部表时，只删除掉元数据。 根据已有表创建新表，使用CREATE L
NameNode默认的副本存储策略为： 第一副本：存放到客户端所在节点。 第二副本：远端机架的数据节点。 第三副本：存放到客户端所在节点的相同机架的不同节点。 如还有更多副本，则随机选择其它DataNode。 “节点磁盘可用空间块放置策略”的副本选择机制为： 第一个副本：存放在客户端所在DataNode（和默认的存放策略一样）。
NameNode默认的副本存储策略为： 第一副本：存放到客户端所在节点。 第二副本：远端机架的数据节点。 第三副本：存放到客户端所在节点的相同机架的不同节点。 如还有更多副本，则随机选择其它DataNode。 “节点磁盘可用空间块放置策略”的副本选择机制为： 第一个副本：存放在客户端所在DataNode（和默认的存放策略一样）。
录（NFS上的文件所在的父目录，非集群节点上的软连接），必须允许yarn_user可以访问，否则程序中无法获取文件内容。当集群为启用Kerberos认证的集群时，则文件的权限必须允许提交程序的用户访问。 处理步骤 以root用户登录集群的Master节点。 执行如下命令查看用户自定义配置文件所在父目录的权限。
信息，可以选择删除作业。 停止MRS集群作业 Spark SQL作业不支持停止。作业停止后状态更新为“已终止”，并且该作业不可重新执行。 登录MRS管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 选择“作业管理”。 选择一个运行中的作业，在作业对应的“操作”列中，选择“更多
上传至客户端指定目录。 说明： 当作业需要以yarn-application模式提交时，需替换如下路径： file_path = os.getcwd() + "/../../../../yarnship/datagen2kafka.sql" file_path = /客户端安装目
只有安全模式支持禁用Transform功能，普通模式不支持该功能。 操作步骤 进入Hive服务配置页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Hive > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 若集群详情页面没有“组件管理”页
keytab”。 通过HSFabric实现用户名密码认证 通过HSFabric连接方式，实现用户名密码认证，只需要配置用户名和密码。 通过HSBroker实现用户名密码认证 通过HSBroker连接方式，实现用户名密码认证，只需要配置用户名和密码。 父主题： 准备HetuEngine应用开发环境
RFA //hbase客户端日志输出配置，console：输出到控制台；RFA：输出到日志文件 hbase.security.logger=DEBUG,console,RFAS //hbase客户端安全相关的日志输出配置，console：输出到控制台；RFAS：输出到日志文件
本章节仅适用于MRS 3.2.0之前版本。 操作步骤 使用具有ClickHouse系统表修改权限的用户登录客户端节点，连接到ClickHouse服务端，具体请参考ClickHouse客户端使用实践。 清理存量系统表数据，执行如下命令： truncate table system.query_log
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
