检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以共享数据。JDBCServer启动时还会开启一个侦听器，等待JDBC客户端的连接和提交查询。所以，在配置JDBCServer的时候，至少要配置JDBCServer的主机名和端口，如果要使用hive数据的话，还要提供hive metastore的uris。 JDBCServer默
效率高。 用户通过分配不同的角色获得使用不同租户资源的权限，以保障访问安全。 不同的租户之间数据隔离，以保证数据安全。 约束与限制 创建并购买一个包含Spark组件的MRS集群，详情可参考创建MRS集群。 操作流程 本实践操作流程如下所示： 步骤一：添加Task节点：为已有的MRS集群新增Task节点组。
准备Spark本地应用开发环境 Spark2x可以使用Java/Scala/Python语言进行应用开发，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。
目录，即container_{$contid}，是该路径下的子目录。每个容器目录都含容器生成的stderr、stdin及syslog文件。要新增目录，比如新增/srv/BigData/yarn/data2/nm/containerlogs目录，应首先删除/srv/BigData/
开发环境准备分为应用开发客户端和应用提交客户端；应用开发一般在Windows环境下进行；应用提交一般在Linux环境下进行。 准备开发环境 在进行二次开发时，要准备的开发和运行环境如表1所示： 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运
准备HDFS应用开发和运行环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows7以上版本。 运行环境：Windows或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
'2021-07-05 17:45:06'); 导出DWS表数据为CSV格式文件。 在Data Studio左侧的“对象浏览器”中，右键要导出的表，选择“导出表数据”。在导出界面选择具体的导出路径，格式选择CSV、分隔符选择逗号，在安全免责声明下选择“我同意”，单击“确定”完成
指定参数值为“rdb”表示关系型数据库连接器。 在导入作业中，支持修改数据库模式名“-schemaName”、表名“-tableName”、SQL语句“-sql”、要导入的列名“-columns”和分区列“-partitionColumn”。 在导出作业中，支持修改数据库模式名“-schemaName”、
Manager页面，具体请参见访问集群Manager，然后选择“服务管理”。 单击“下载客户端”。 “客户端类型”选择“仅配置文件”，“下载路径”选择“服务器端”，单击“确定”开始生成客户端配置文件，文件生成后默认保存在主管理节点“/tmp/MRS-client”。文件保存路径支持自定义。 图1
MRS Hive对接CSS服务配置说明 应用场景 利用Elasticsearch-Hadoop插件，完成Hive和CSS服务的Elasticsearch直接的数据交互，通过Hive外部表的方式，可以快速将Elasticsearch索引数据映射到Hive表中。 Elasticsearch-Hadoop
http.server.session.timeout.secs Spark：修改配置spark.session.maxAge的值 Hive：添加自定义配置项http.server.session.timeout.secs 保存配置项时可选择不重启受影响的服务或实例，等待业务不繁忙时再重启服务或实例。
'2021-07-05 17:45:06'); 导出DWS表数据为CSV格式文件。 在Data Studio左侧的“对象浏览器”中，右键要导出的表，选择“导出表数据”。在导出界面选择具体的导出路径，格式选择CSV、分隔符选择逗号，在安全免责声明下选择“我同意”，单击“确定”完成
准备HDFS应用开发和运行环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows7以上版本。 运行环境：Windows或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
http.server.session.timeout.secs Spark：修改配置spark.session.maxAge的值 Hive：添加自定义配置项http.server.session.timeout.secs 保存配置项时可选择不重启受影响的服务或实例，等待业务不繁忙时再重启服务或实例。
dir被设置为/tmp，因此默认使用系统/tmp目录。 但存在一些特殊情况，如driver进程未正常退出，比如被kill -9命令结束进程，或者Java虚拟机直接崩溃等场景，导致driver的退出流程未正常执行，则可能导致该部分目录无法被正常清理，残留在系统中。 当前只有yarn-client模
修改并行度。 调用rebalance操作，使数据分区均匀。 缓冲区超时设置 由于task在执行过程中存在数据通过网络进行交换，数据在不同服务器之间传递的缓冲区超时时间可以通过setBufferTimeout进行设置。 当设置“setBufferTimeout(-1)”，会等待缓冲
dir被设置为/tmp，因此默认使用系统/tmp目录。 但存在一些特殊情况，如driver进程未正常退出，比如被kill -9命令结束进程，或者Java虚拟机直接崩溃等场景，导致driver的退出流程未正常执行，则可能导致该部分目录无法被正常清理，残留在系统中。 当前只有yarn-client模
默认值 spark.stage.maxConsecutiveAttempts Stage失败重试最大次数。 4 配置是否使用笛卡尔积功能 要启动使用笛卡尔积功能，需要在Spark的“spark-defaults.conf”配置文件中进行如下设置。 表2 笛卡尔积参数说明 参数 说明
安全责任在于对使用的IaaS、PaaS和SaaS类各项云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮
DataStream[String] 获取用户定义的Socket数据，作为输入流数据。 hostname是指Socket的服务器端的主机名称。 port指的是服务器的监测端口。 delimiter和maxRetry两个参数scala接口暂时不支持设置。 def addSource[T:
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
