检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
tainer日志聚合功能。 然而，开启container日志聚合功能之后，其日志聚合至HDFS目录中，只能通过获取HDFS文件来查看日志。开源Spark和Yarn服务不支持通过WebUI查看聚合后的日志。 因此，Spark在此基础上进行了功能增强。如图1所示，在HistorySe
这两种连接器都支持按照Oracle的ROWID进行分区（oracle-partition-connector是自研，oracle-connector是社区开源版本），二者的性能较为接近。 oracle-connector需要的系统表权限较多，下面是各自需要的系统表，需要赋予读权限。 oracle
generation=ALWAYS）。 Flink用hms方式同步Hive，支持参数配置化。 解决ResourceManager内存泄漏，开源单YARN-11489。 解决Yarn精细化监控部分指标没有数据的问题。 解决3AZ环境DataNode 5个节点，健康度阈值是80%，构
queries中断机制，所以alter queries（如：lightweight delete）执行过程中被中断之后，即便开启隐式事务能力，也无法回滚，与开源保持一致。 分布式表事务性插入使用方法： 登录FusionInsight Manager页面，选择“集群 > 服务 > ClickHouse
12-3.1.1-hw-ei-311001-SNAPSHOT.jar 版本号中包含hw-ei的依赖包请从华为开源镜像站下载。 版本号中不包含hw-ei的依赖包都来自开源仓库，请从Maven中心仓获取。 运行任务 在运行样例程序时需要指定<checkpointDir> <brokers>
r单点）和多框架支持（仅支持MapReduce一种计算框架）等方面存在不足。MRv2是Hadoop 2.0中的MapReduce实现，它在源码级重用了MRv1的编程模型和数据处理引擎实现，但运行时环境由Yarn的ResourceManager和ApplicationMaster组
x之前版本，如下参数见表4，在MRS的Flink默认配置中不存在，用户如果开启外部连接SSL，则需要添加以下参数。开启外部连接SSL后，因为YARN目前的开源版本无法代理HTTPS请求，所以无法通过YARN代理访问Flink的原生页面，用户可以在集群的同一个VPC下，创建windows虚拟机，在该虚拟机中访问Flink
这两种连接器都支持按照Oracle的ROWID进行分区（oracle-partition-connector是自研，oracle-connector是社区开源版本），二者的性能较为接近。 oracle-connector需要的系统表权限较多，下面是各自需要的系统表，需要赋予读权限。 oracle
Phoenix实现了大部分java.sql接口，SQL紧跟ANSI SQL标准。 MRS 1.9.2之后的版本需要按HBase Phoenix API接口介绍中下载和配置开源的phoenix包。 父主题： HBase应用开发常见问题
“TRACE”：跟踪日志级别，设置后日志打印输出“TRACE”、“DEBUG”、“INFO”、“WARN”、“ERROR”和“FATAL”信息。 由于开源中定义的不同，组件的日志级别定义略有差异。 验证日志级别设置已生效，请下载日志并查看。请参见下载MRS集群日志（MRS 3.x及之后版本）。
如果遇到其他三方包冲突，可以通过查找依赖关系确认是否存在相同包不同版本的情况，尽量修改成集群自带的jar包版本。 可以参考MRS样例工程自带的pom.xml文件：通过开源镜像站获取样例工程。 打印依赖树方式： 在pom.xml文件同目录下执行命令：mvn dependency:tree 父主题： Spark应用开发常见问题
用户创建成功后，使用该用户登录FusionInsight Manager，根据界面提示修改初始密码。 获取样例工程 通过开源镜像站获取样例工程。 下载样例工程的Maven工程源码和配置文件，并在本地配置好相关开发工具，可参考通过开源镜像站获取样例工程。 根据集群版本选择对应的分支，下载并获取MRS相关样例工程。 例
户进行认证。keytab文件也支持在kinit命令中使用。 普通模式（不启用Kerberos认证） 普通模式集群，MRS集群各组件使用原生开源的认证机制，一般为Simple认证方式。而Simple认证，在客户端连接服务端的过程中，默认以客户端执行用户（例如操作系统用户“root”
（`~!@#$%^&*()\\-_=+\\[\\]{}\\\\|;:'\",<>./?）。 自定义分隔符不能首尾相同。 新增参数说明 基于开源CsvBulkloadTool，新增以下两个参数： --multiple-delimiter(-md) 用于指定自定义分隔符，当此命令参数
融入了MRS服务自研组件，提供长期的支持和演进。 普通版：主要依托开源组件的能力，融入了MRS服务自研、成熟稳定的特性和功能，带来性能及稳定性的提升。 LTS版 集群版本 MRS集群的版本，不同版本所包含的开源组件版本及功能特性可能不同，推荐选择最新版本。 版本详细包含的组件详细可参考MRS组件版本一览表。
上传PostgreSQL或MySQL对应的开源驱动包到所有MetaStore实例所在节点中，替换集群已有的驱动包： PostgreSQL：将驱动包“postgresql-42.2.5.jar”上传至所有MetaStore实例节点“${BIGDATA_HOME}/third_lib/Hive”目录下（开源驱动包下载地址：https://repo1
同时会启动应用程序DAG调度、Stage划分、Task生成。 然后Spark会把应用的代码（传递给SparkContext的JAR或者Python定义的代码）发送到Executor上。 所有的Task执行完成后，用户的应用程序运行结束。 图1 Spark应用运行架构 约束与限制 本章节仅适用于MRS
本章节仅适用于MRS 3.0.2及MRS 3.0.5版本。 前提条件 已安装MRS客户端的节点，且已安装 jdk环境。 Sqoop1.4.7适配步骤 下载开源sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz包（下载地址http://archive.apache.org/dist/sqoop/1
主要在组件应用开发场景中使用“机机”用户进行认证。keytab文件也支持在kinit命令中使用。 普通模式 普通模式的集群不同组件使用原生开源的认证机制，不支持kinit认证命令。FusionInsight Manager（含DBService、KrbServer和LdapSer
到其他节点。 节点失效 该节点上的所有分配的任务会超时，而Nimbus会将这些Worker重新分配到其他节点。 Storm开源特性 分布式实时计算框架 开源Storm集群中的每台机器上都可以运行多个工作进程，每个工作进程又可创建多个线程，每个线程可以执行多个任务，任务是并发进行数据处理。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
