检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
osts”文件中所列出的各主机在网络上互通。 在本实践中，需要确保本地环境与MRS集群所在网络平面互通，通常可以通过绑定EIP的方式访问MRS集群，具体操作请参考配置Windows通过EIP访问集群HDFS。 如果本地开发环境与MRS集群内节点网络不通，也可以将样例工程编译后，将
开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置，版本要求如下： 服务端和客户端仅支持自带的OpenJDK，版本为1.8.0_272，不允许替换。
存储系统上（比如HDFS）。 因为Driver程序在集群上调度任务，所以Driver程序需要和worker节点比较近，比如在一个相同的局部网络内。 Spark on YARN有两种部署模式： YARN-Cluster模式下，Spark的Driver会运行在YARN集群内的Appl
used，最近最少使用）缓存来优化缓存内存。在driver中，B-Tree LRU缓存配置将有助于通过释放未被访问或未使用的表segments来释放缓存。类似地，在executor中，B-Tree LRU缓存配置将有助于释放未被访问或未使用的表blocks。具体可参考表2中的参数“carbon.max.driver
开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下： 服务端和客户端仅支持自带的OpenJDK，版本为1.8.0_272，不允许替换。
查询体验。 ClickHouse开发接口简介 ClickHouse由C++语言开发，定位为DBMS，支持HTTP和Native TCP两种网络接口协议，支持JDBC、ODBC等多种驱动方式，推荐使用社区版本的clickhouse-jdbc来进行应用程序开发。 基本概念 cluster
中直接将Kerberos认证的文件传进去进行认证。而在MRS 1.9版本中，此方法行不通，需要先进行Kerberos认证，并且需要获取一些别的配置信息，然后再进行URL拼接。 处理步骤 请参考官方MRS 1.9样例工程中hive-examples的认证连接，样例地址请参考开发指南。
开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下： 服务端和客户端仅支持自带的OpenJDK，版本为1.8.0_272，不允许替换。
执行如下操作： 登录Manager。 选择“集群 > 服务 > HetuEngine > 配置 > 全部配置 ”。 在参数列表中查看日志级别的参数，搜索“logback.xml”，可以看到HSBroker、HSConsole、HSFabric、QAS当前的运行日志和审计日志的配置。
的权限之后，系统会自动关联数据库中所有表的查询权限。 Hive开源增强特性：支持列授权 Hive开源社区版本只支持表级别的权限控制。MRS Hive支持列级别的权限控制，可授予用户列级别权限，例如查询“SELECT”、插入“INSERT”、修改“UPDATE”权限。 父主题： Hive
目管理对MRS上的资源进行分组管理： 支持用户为多个资源进行分组管理。 支持用户查看企业项目下的资源信息、消费明细。 支持用户对企业项目级别的访问权限控制。 支持用户分企业项目查看具体的财务信息，包括订单、消费汇总、消费明细等。 若MRS集群与VPC不在同一个企业项目中，用户需要
used，最近最少使用）缓存来优化缓存内存。在driver中，B-Tree LRU缓存配置将有助于通过释放未被访问或未使用的表segments来释放缓存。类似地，在executor中，B-Tree LRU缓存配置将有助于释放未被访问或未使用的表blocks。具体可参考表2中的参数“carbon.max.driver
启动HDFS服务，集群未完全启动前无法提供服务。 更改DataNode单个实例的存储目录需要停止并重新启动实例，该节点DataNode实例未启动前无法提供服务。 服务参数配置如果使用旧的存储目录，需要更新为新目录。 前提条件 在各个数据节点准备并安装好新磁盘，并格式化磁盘。 规划
HiveDriver").newInstance(); 获取JDBC连接，执行HQL，输出查询的列名和结果到控制台，关闭JDBC连接。 在网络拥塞的情况下，您还可以设置客户端与JDBCServer连接的超时时间，可以避免客户端由于无限等待服务端的返回而挂起。使用方式如下： 在执行“DriverManager
操作系统 开发环境：Windows系统，支持Windows7以上版本。 运行环境：Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置，版本要求如下： 服务端和客户端仅支持集群自带的OpenJDK，不允许替换。 对于客户应用需引
rollback.log_<时间> 回滚OMS日志 sudo sudo.log sudo脚本执行日志 日志级别 Manager中提供了如表8所示的日志级别。日志级别优先级从高到低分别是FATAL、ERROR、WARN、INFO、DEBUG。程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。
图2 迁移流程图 表1 迁移流程说明 阶段 流程说明 步骤1：源集群和目标集群网络打通 将源ClickHouse集群和目标ClickHouse集群的网络需要打通，保证两个集群ClickHouse实例节点网络可以互通。 步骤2：在目标集群配置文件中增加源集群的ZooKeeper信息
Netty/NIO及Hash/Sort配置 Shuffle是大数据处理中最重要的一个性能点，网络是整个Shuffle过程的性能点。目前Spark支持两种Shuffle方式，一种是Hash，另外一种Sort。网络也有两种方式，Netty和NIO。 表8 参数说明 参数 描述 默认值 spark
/reassignment.json --execute --throttle 50000000 --throttle 50000000：限制网络带宽为50MB。带宽可根据数据量大小及客户对均衡时间的要求进行调整，5TB数据量，使用50MB带宽，均衡时长约8小时。 执行以下命令查看迁移状态。
Manager界面，选择“运维 > 告警 > 告警”，在告警列表中查看该告警是否清除。 是，操作结束。 否，执行7。 连接OBS失败。 检查集群和OBS网络是否连通，初始化配置。 是，执行8。 否，执行12。 登录MRS云服务管理控制台，在服务列表选择“统一身份认证服务 IAM > 委托”，在
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
