检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
（`~!@#$%^&*()\\-_=+\\[\\]{}\\\\|;:'\",<>./?）。 自定义分隔符不能首尾相同。 新增参数说明 基于开源CsvBulkloadTool，新增以下两个参数： --multiple-delimiter(-md) 用于指定自定义分隔符，当此命令参数
同时会启动应用程序DAG调度、Stage划分、Task生成。 然后Spark会把应用的代码（传递给SparkContext的JAR或者Python定义的代码）发送到Executor上。 所有的Task执行完成后，用户的应用程序运行结束。 图1 Spark应用运行架构 约束与限制 本章节仅适用于MRS
本章节仅适用于MRS 3.0.2及MRS 3.0.5版本。 前提条件 已安装MRS客户端的节点，且已安装 jdk环境。 Sqoop1.4.7适配步骤 下载开源sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz包（下载地址http://archive.apache.org/dist/sqoop/1
主要在组件应用开发场景中使用“机机”用户进行认证。keytab文件也支持在kinit命令中使用。 普通模式 普通模式的集群不同组件使用原生开源的认证机制，不支持kinit认证命令。FusionInsight Manager（含DBService、KrbServer和LdapSer
融入了MRS服务自研组件，提供长期的支持和演进。 普通版：主要依托开源组件的能力，融入了MRS服务自研、成熟稳定的特性和功能，带来性能及稳定性的提升。 LTS版 集群版本 MRS集群的版本，不同版本所包含的开源组件版本及功能特性可能不同，推荐选择最新版本。 版本详细包含的组件详细可参考MRS组件版本一览表。
上传PostgreSQL或MySQL对应的开源驱动包到所有MetaStore实例所在节点中，替换集群已有的驱动包： PostgreSQL：将驱动包“postgresql-42.2.5.jar”上传至所有MetaStore实例节点“${BIGDATA_HOME}/third_lib/Hive”目录下（开源驱动包下载地址：https://repo1
到其他节点。 节点失效 该节点上的所有分配的任务会超时，而Nimbus会将这些Worker重新分配到其他节点。 Storm开源特性 分布式实时计算框架 开源Storm集群中的每台机器上都可以运行多个工作进程，每个工作进程又可创建多个线程，每个线程可以执行多个任务，任务是并发进行数据处理。
启用Ranger鉴权。 安全版本的集群所有组件默认统一对及访问进行鉴权，不支持关闭鉴权功能。 普通模式 普通模式的集群不同组件使用各自原生开源的鉴权行为，详细鉴权机制如表1所示。 在安装了Ranger服务的普通模式集群中，Ranger可以支持基于OS用户进行组件资源的权限控制，支
RPC端口可在参数“IOTDB_SERVER_RPC_PORT”中自行配置。默认端口如下： 开源端口默认值为：6667 定制端口默认值为：22260 端口定制/开源区分：创建LTS版本类型集群时，可以选择“组件端口”为“开源”或是“定制”，选择“开源”使用开源端口，选择“定制”使用定制端口。 创建IoTDB数据库并插入数据，例如：
理”将文件从OBS导入HDFS，具体请参考导入导出数据。 如果集群启用了Kerberos认证，则需要在工作环境准备CSV文件，然后可以使用开源HDFS命令，参考5将文件从工作环境导入HDFS，并设置Spark组件用户在HDFS中对文件有读取和执行的权限。 例如，HDFS的“tmp”目录有一个文件“data
KafkaUI进程启动信息。 审计日志 audit.log KafkaUI服务审计日志。 鉴权日志 kafka-authorizer.log Kafka开源自带鉴权插件运行日志。 此日志统一归档在“/var/log/Bigdata/audit/kafka/kafkaui”目录下。 ranger-authorizer
持的所有组件。 版本类型 LTS版 待创建的MRS集群版本类型，不同版本所包含的开源组件版本及功能特性可能不同。 集群版本 MRS 3.2.0-LTS.1 待创建的MRS集群版本，不同版本所包含的开源组件版本及功能特性可能不同，推荐选择最新版本。 组件选择 HBase查询集群 基
点sshd进程不释放和堆积的问题。 解决审计日志打印频繁，导致磁盘满的问题。 ClickHouse开源回合：解决分区中存在两个相同parts内部错误问题。 ClickHouse开源回合：修复带有稀疏列参数的函数元组carsh问题。 解决ClickHouse滚动重启表短暂只读的问题。
1/{project_id}/clusters/{cluster_id} 响应示例 无 SDK代码示例 SDK代码示例如下。 Java Python Go 更多 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
1/{project_id}/clusters/{cluster_id}/tags/{key} 响应示例 无 SDK代码示例 SDK代码示例如下。 Java Python Go 更多 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
个字符。 默认取值： 不涉及 请求参数 无 响应参数 无 请求示例 无 响应示例 无 SDK代码示例 SDK代码示例如下。 Java Python Go 更多 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
"values" : [ "value1", "value2" ] } ] } SDK代码示例 SDK代码示例如下。 Java Python Go 更多 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
2-LTS.3", "MRS 3.1.5", "MRS 3.2.0-LTS.1" ] } SDK代码示例 SDK代码示例如下。 Java Python Go 更多 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
<inputPath>是2.b创建的目录。 提交作业时，建议使用默认spark on yarn（即5中的--master yarn-client）模式。开源支持spark standalone模式提交，但不推荐使用，该模式资源使用率低，并且使用HTTP，可能存在安全风险。 （可选）在bin目录
KafkaUI进程启动信息。 审计日志 audit.log KafkaUI服务审计日志。 鉴权日志 kafka-authorizer.log Kafka开源自带鉴权插件运行日志。 此日志统一归档在“/var/log/Bigdata/audit/kafka/kafkaui”目录下。 ranger-authorizer
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
