检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
http.server.session.timeout.secs Spark：修改配置spark.session.maxAge的值 Hive：添加自定义配置项http.server.session.timeout.secs 保存配置项时可选择不重启受影响的服务或实例，等待业务不繁忙时再重启服务或实例。
修改并行度。 调用rebalance操作，使数据分区均匀。 缓冲区超时设置 由于task在执行过程中存在数据通过网络进行交换，数据在不同服务器之间传递的缓冲区超时时间可以通过setBufferTimeout进行设置。 当设置“setBufferTimeout(-1)”，会等待缓冲
security文件夹：安全模式下对接HetuEngine的python3样例代码。 获取hetu-jdbc jar包。 通过Manager下载客户端文件至本地获取： 登录FusionInsight Manager页面，选择“集群 > 服务 > HetuEngine > 更多 > 下载客户端”。
安全责任在于对使用的IaaS、PaaS和SaaS类各项云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮
位置的文件。 -f <urilist_uri> 将<urilist_uri>文件的内容作为需要拷贝的文件列表。 -filters 指定一个本地文件，其文件内容是多条正则表达式。当被拷贝的文件与某条正则表达式匹配时，则该文件不会被拷贝。 -async 异步运行distcp命令。 -atomic
位置的文件。 -f <urilist_uri> 将<urilist_uri>文件的内容作为需要拷贝的文件列表。 -filters 指定一个本地文件，其文件内容是多条正则表达式。当被拷贝的文件与某条正则表达式匹配时，则该文件不会被拷贝。 -async 异步运行distcp命令。 -atomic
Manager，选择“集群 > 服务 > IoTDB > 配置 > 全部配置”，搜索参数“IOTDB_SERVER_RPC_PORT”获得。 需在本地环境变量中设置环境变量认证用户名和认证用户密码，建议密文存放，使用时解密，确保安全。其中： 认证用户名为访问IoTDB的用户名。 认证用户密码为访问IoTDB的用户密码。
security文件夹：安全模式下对接HetuEngine的python3样例代码。 获取hetu-jdbc jar包。 通过Manager下载客户端文件至本地获取： 登录FusionInsight Manager页面，选择“集群 > 服务 > HetuEngine > 更多 > 下载客户端”。
使用MRS Spark SQL访问DWS表 应用场景 华为云提供MapReduce服务（MRS），可在云上快速构建和运营全栈云原生大数据平台。它包含HDFS、Hive、HBase、Spark等大数据组件，专为分析海量企业数据而量身定制。 Spark提供了类似SQL的Spark S
写入HDFS后的文件名前缀。 over_%{basename} 单击“导出”按钮，下载“properties.properties”文件到本地。 在FusionInsight Manager界面，单击“集群 > 服务 > Flume > 实例”，单击准备上传配置文件的节点行的“Flume”角色，进入“实例配置”页面。
txt”需放在每个部署了Yarn NodeManager实例的节点上，权限为755。 表1 参数说明 参数名称 说明 <filePath> 指本地文件系统中文件路径，每个节点都需要放一份/opt/log1.txt和/opt/log2.txt。可以默认，也可以设置。 <windowTime>
解决ZK脏数据导致Yarn服务不可用问题 OBS包升级 JDK版本升级 解决Yarn的ResourceManager内存泄漏问题 增加对调用ECS getSecuritykey接口异常的监控 优化刷新临时AK/Sk流程 解决ResourceManager内存泄露问题 解决Hive union语句合并小文件报错问题
Manager增加大数据服务滚动重启能力。 MRS Manager新增文件句柄数量监控功能。 MRS Manager新增大数据组件发生重启事件上报功能。 MRS镜像 解决ECS VNC登录不停打印输出问题。 解决操作系统日志转储配置问题。 补丁兼容关系 包含1.7.1.5及之前发布的所有补丁解决的问题。 注意事项
的各自的个数都不要超过40个，否则可能导致界面响应时间过长。 单击“导出”，将配置文件“properties.properties”保存到本地。配置文件中包含认证密码信息可能存在安全风险，建议当前场景执行完毕后删除相关配置文件或加强安全管理。 表1 Flume角色服务端所需修改的参数列表
名称。 使用PuTTY工具，以root用户登录告警所在主机。 执行命令ethtool 网口名称，查看当前网口速率最大值Speed。 对于虚拟机环境，通过命令可能无法查询到网口速率，建议直接联系系统管理确认网口速率是否满足需求。 若网络读吞吐率超过阈值，直接联系系统管理员，提升网口速率。
网口。 使用PuTTY工具，以root用户登录告警所在主机。 执行命令ethtool 网口名称，查看当前网口速率最大值Speed。 对于虚拟机环境，通过命令可能无法查询到网口速率，建议直接联系系统管理确认网口速率是否满足需求。 若网络写吞吐率超过阈值，直接联系系统管理员，提升网口速率。
单击sparksql文件系统名称，并选择“文件”。 单击“新建文件夹”，创建input文件夹。 进入input文件夹，单击“上传文件 > 添加文件”，选择本地的txt文件，然后单击“上传”。 登录MRS控制台，在左侧导航栏选择“现有集群”，单击集群名称。 将OBS中的txt文件导入至HDFS中。
获取样例工程并将其导入IDEA，导入样例工程依赖jar包。通过IDEA配置并生成jar包。 准备样例工程所需数据。 将场景说明中的原日志文件放置在HDFS系统中。 本地新建两个文本文件，分别将log1.txt及log2.txt中的内容复制保存到input_data1.txt和input_data2.txt。
keytab”所属用户。 hetu_test keytab文件 开启安全模式时填写此参数。 访问远端DataCenter的用户Keytab文件。在本地选择1k获取的“user.keytab”文件。 user.keytab 开启双向传输 跨域数据传输是否开启双向传输，默认为“是”。 是：双
获取样例工程并将其导入IDEA，导入样例工程依赖jar包。通过IDEA配置并生成jar包。 准备样例工程所需数据。 将场景说明中的原日志文件放置在HDFS系统中。 本地新建两个文本文件，分别将log1.txt及log2.txt中的内容复制保存到input_data1.txt和input_data2.txt。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
