检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
确保集群安装完成，包括HDFS、Yarn、Spark2x和Kafka。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息，格式为IP:port。 $KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper {zkQuorum}/kafka
参数名称 参数值填写规则 参数样例 名称 不能为空，必须唯一。 test bind avro source绑定的ip地址，此参数不能为空。须配置为服务端配置文件即将要上传的主机IP。 192.168.108.11 port avro source监测的端口，此参数不能为空。须配置为未被使用的端口。
-XX:+PrintGCTimeStamps" ），如果频繁出现Full GC，需要优化GC。把RDD做Cache操作，通过日志查看RDD在内存中的大小，如果数据太大，需要改变RDD的存储级别来优化。 操作步骤 优化GC，调整老年代和新生代的大小和比例。在客户端的“conf/spark-default.conf”配置文件中，在spark
据节点。 Colocation与数据节点容量 由于使用Colocation进行存储数据的时候，会固定存储在指定的locator所对应的数据节点上面，所以如果不对locator进行规划，会造成数据节点容量不均衡。下面总结了保证数据节点容量均衡的两个主要的使用原则，如表2所示。 表2
如果主键的组合方式使得单个键值对应于大量的行，则可以显著地减少存储空间并加快数据查询的速度。 AggregatingMergeTree 该引擎继承自MergeTree，并改变了数据片段的合并逻辑。 ClickHouse会将一个数据片段内所有具有相同主键（准确的说是排序键）的行替换成一行，这一行会存储一系列聚合函
服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22 Sftp用户名 访问SFTP服务器的用户名。 root
确保集群安装完成，包括HDFS、Yarn、Spark2x和Kafka。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息，格式为IP:port。 $KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper {zkQuorum}/kafka
ZooKeeper可用内存不足，可能会造成内存溢出导致服务崩溃。 可能原因 该节点ZooKeeper实例内存使用量过大，或分配的内存不合理，导致使用量超过阈值。 处理步骤 检查内存使用量。 在MRS集群详情页面，单击“告警管理 > 13002连接数不足 > 定位信息”。查看告警上报的实例的ip。 在MRS集群详情页面，单击“组件管理
如，Hive客户端显示“0: jdbc:hive2://10.172.0.43:21066/>”，表示当前连接的HiveServer节点IP地址为“10.172.0.43”。 创建函数、删除函数或者修改任意数据库。 需要授予“Hive管理员权限”。 操作Hive中所有的数据库和表。
HDFS样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 当前MRS提供以下HDFS相关样例工程：
MRS各组件样例工程汇总 样例工程获取地址参见获取MRS应用开发样例工程，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 MRS样例代码库提供了各组件的基本功能样例工程供用户使用，当前版本各组件提供的样例工程汇总参见表1。 表1
Agent实例无法提供正常功能，定义在该实例下的数据传输任务暂时中断，对于实时数据传输，会丢失实时数据。 可能原因 JAVA_HOME目录不存在或JAVA权限异常。 Flume Agent目录权限异常。 处理步骤 检查Flume Agent配置文件。 登录故障节点IP所在主机，执行以下命令切换root用户。 sudo
ar包复制到客户端机器上执行客户端命令提交 * 2、远程方式提交，这种需要将应用程序的jar包打包好之后在Eclipse中运行main方法提交 * 3、本地提交 ，在本地执行应用程序，一般用来测试 *
建议按默认配置，默认就是true，只要不强制设置成false就可以，例如： HColumnDescriptor fieldADesc = new HColumnDescriptor("value".getBytes()); fieldADesc.setBlockCacheEnabled(false);
单击“集群管理页面”后的“前往 Manager”，在弹出的窗口中选择“EIP访问”并配置弹性IP信息。 首次访问时，可点击“管理弹性公网IP”，在弹性公网IP控制台购买一个弹性公网IP，购买成功后刷新弹性公网IP列表并选择。 勾选确认信息后，单击“确定”，登录集群的FusionInsight
haclusterX”，值为“目标集群主NameNode实例节点业务IP:RPC端口”；新增自定义参数“dfs.namenode.rpc-address.haclusterX1”，值为“目标集群备NameNode实例节点的业务IP:RPC端口”，NameNode RPC端口默认为“2500
置页面。 在新页面中修改任务参数，支持修改的主要参数项如下： 开始时间 周期 目的端NameService名称 目的端NameNode IP地址 目的端路径 最大备份数 最大恢复点个数 最大map数 单个map的最大带宽 修改某个备份任务参数“目的端路径”后，第一次执行此任务默认为全量备份。
Kafka权限参数 参数名称 描述 Policy Type Access。 Policy Conditions IP过滤策略，可自定义，配置当前策略适用的主机节点，可填写一个或多个IP或IP段，并且IP填写支持“*”通配符，例如：192.168.1.10,192.168.1.20或者192.168
执行GaussDB（DWS）样例 spring.datasource.dws.url=jdbc:postgresql://dws节点IP地址:8000/postgres spring.datasource.dws.username=dbadmin spring.datasource
执行GaussDB（DWS）样例 spring.datasource.dws.url=jdbc:postgresql://dws节点IP地址:8000/postgres spring.datasource.dws.username=dbadmin spring.datasource
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
