正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置NodeManager角色实例使用的资源 操作场景 如果部署NodeManager的各个节点硬件资源(如CPU核数、内存总量)不一样,而NodeManager可用硬件资源设置为相同的值,可能造成性能浪费或状态异常,需要修改各个NodeManager角色实例的配置,使硬件资源得到充分利用。
切换到“实例配置”。单击“基础配置”下拉菜单,选择“全部配置”,在搜索框中输入以下参数。 “yarn.nodemanager.resource.cpu-vcores”设置当前节点上NodeManager可使用的虚拟CPU核数,建议按节点实际逻辑核数的1.5到2倍配置。“yarn.nodemanager
使用hive-table方式同步数据到orc表或者parquet表失败 问题 使用hive-table方式同步数据到orc表或者parquet表失败,报错中会有kite-sdk的包名。 回答 修改数据同步方式,将-hive-table改成-hcatalog-table。 父主题:
色System_administrator。 下载并安装集群全量客户端,例如在主Master节点上安装,客户端安装目录为“/opt/client”,相关操作可参考安装客户端。 也可直接使用Master节点中自带的集群客户端,安装目录为“/opt/Bigdata/client”。
Python开发环境可以搭建在Windows环境下,而运行环境(即客户端)只能部署在Linux环境下。 操作步骤 对于Python开发环境,直接使用Editra编辑器(或其他编写Python应用程序的IDE)即可。 下载客户端样例配置程序到本地开发环境。 使用FTP工具,将运行调测环境的客户端包
“配置存算分离集群(委托方式)”或“配置MRS多用户访问OBS细粒度权限”。 安装/更新客户端。 在集群外节点安装新客户端,可参考安装客户端(3.x版本)。 对于已有客户端,需要更新客户端配置,参考服务端配置过期后更新MRS集群客户端。 安装成功后,即可访问OBS。例如,在未开启Kerberos认证的MRS集群的HDFS客户端访问OBS:
使用hive-table方式同步数据到obs上的hive表报错 问题 使用hive-table方式同步数据到obs上的hive表报错。 回答 修改数据同步方式,将-hive-table改成-hcatalog-table。 父主题: Sqoop常见问题
配置MySQL 安装Maxwell 配置Maxwell 启动Maxwell 验证Maxwell 停止Maxwell Maxwell生成的数据格式及常见字段含义 配置MySQL 开启binlog,在MySQL中打开my.cnf文件,在[mysqld] 区块检查是否配置server_id,log-
配置MySQL 安装Maxwell 配置Maxwell 启动Maxwell 验证Maxwell 停止Maxwell Maxwell生成的数据格式及常见字段含义 配置MySQL 开启binlog,在MySQL中打开my.cnf文件,在[mysqld] 区块检查是否配置server_id,log-
查看MRS集群基本信息 集群创建完成后,可对集群进行监控和管理。选择“现有集群”,选中一集群并单击集群名,进入集群详情页面,查看集群的基本配置信息、网络信息和部署的节点信息等。 ECS集群和BMS集群在管理控制台操作基本一致,本文档主要以ECS集群描述为例,如有操作区别则分开描述。 查看MRS集群基本信息
3.1.0版本。 集群配置 登录集群Manager页面,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”。 在“clickhouse-metrika-customize”参数中添加表1中自定义配置项。 表1 自定义参数 参数 值 clickhouse_remote_servers
HBase服务安装时可选部署RESTServer实例,可通过访问HBase REST服务的形式调用HBase相关操作,包括对Namespace、table的操作等。访问HBase REST服务同样需要进行Kerberos认证。 前提条件 已获取样例工程运行所需的配置文件及认证文件
主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2.x及之前版本)。 重新安装客户端前建议先对老客户端进行备份。 若您根据业务场景修改过客户端配置,请重装客户端后再次修改客户端配置。 父主题: MRS集群补丁说明
ClickHouse与其他组件的关系 ClickHouse安装部署依赖ZooKeeper服务。 ClickHouse通过Flink流计算应用加工生成通用的报表数据(明细宽表),准实时写入到ClickHouse,通过Hive/Spark作业加工生成通用的报表数据(明细宽表),批量导入到ClickHouse。
如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢 问题 如何处理checkpoint设置RocksDBStateBackend方式,且当数据量大时,执行checkpoint会很慢的问题? 原因分析 由于窗口使用自定义窗口,这时窗口
AdaptiveFailoverProxyProvider无法找到时,是由于MRS 3.x版本集群HDFS的主备倒换类默认为该类,可通过如下方式解决。 方式一:添加hadoop-plugins-xxx.jar到程序的classpath或者lib目录中。 hadoop-plugins-xxx
检查工程conf目录下“producer.properties”中配置的“bootstrap.servers”配置值中访问的IP和端口是否正确: 如果IP与Kafka集群部署的业务IP不一致,那么需要修改为当前集群正确的IP地址。 如果配置中的端口为21007(Kafka安全模式端口),那么修
检查工程conf目录下“producer.properties”中配置的“bootstrap.servers”配置值中访问的IP和端口是否正确: 如果IP与Kafka集群部署的业务IP不一致,那么需要修改为当前集群正确的IP地址。 如果配置中的端口为21007(Kafka安全模式端口),那么修
如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢 问题 如何处理checkpoint设置RocksDBStateBackend方式,且当数据量大时,执行checkpoint会很慢的问题? 原因分析 由于窗口使用自定义窗口,这时窗口
请参见更新客户端配置(2.x及之前版本)分别更新客户端配置文件。 更新A集群的客户端配置文件。 更新B集群的客户端配置文件。 场景2: A集群和B集群(对端集群、互信集群)是不同类型集群,请执行如下步骤分别更新对端集群的配置文件到本端集群和本端集群自身的配置文件。 将A集群的客户端配置文件更新到B集群上。