检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/{MRS补丁版本号}/download/ 将补丁安装包拷贝到客户端机器/opt/目录下: scp patch.tar.gz {客户端机器IP}:/opt/ 例如: scp patch.tar.gz 127.0.0.1:/opt/ 登录客户端所在节点。 执行以下命令创建补丁目录并解压补丁包:
获取SQL结果 功能介绍 在MRS集群中查询SparkSql和SparkScript两种类型作业的SQL语句运行完成后返回的查询结果。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/j
92@192-168-1-92]. 原因分析 查看Kerberos日志“/var/log/Bigdata/kerberos/krb5kdc.log”,发现有集群外的IP使用Kafka用户连接,导致多次认证失败,最终导致Kafka账号被锁定。 Jul 11 02:49:16 192-168-1-91 krb5kdc[1863](info):
数据源所在集群与HetuEngine集群节点网络互通。 在HetuEngine所在集群的所有节点的“/etc/hosts”文件中,添加待对接数据源所在集群的主机名称和对应的IP映射,及其“/etc/hosts”文件中的“10.10.10.10 hadoop.系统域名”(如“10.10.10.10 hadoop.hadoop
client --host ClickHouseServer的实例IP --port 9440 --secure 普通模式: clickhouse client --host ClickHouseServer的实例IP --user 用户名 --password --port 9000
URL地址。端口号默认为1521。 可选择如下格式: jdbc:oracle:thin@Oracle数据库所在的IP地址:端口号/Oracle数据库pdb名称 jdbc:oracle:thin@Oracle数据库所在的IP地址:端口号:Oracle数据库实例名称。 jdbc:oracle:thin:@192
gaussdb200:com.huawei.gauss200.jdbc.Driver JDBC连接字符串 表示数据库的访问地址,可以是IP地址或者域名。 输入数据库连接字符串(以下以IP为10.10.10.10,样例数据库为“test”为例): oracle:jdbc:oracle:thin:@10
SessionExample”。 其中修改HOST_1、HOST_2、HOST_3为IoTDBServer所在节点的业务IP,在Session对象的参数里,设置用户名和密码。 待连接的IoTDBServer所在节点的业务IP地址,可通过登录FusionInsight Manager界面,选择“集群 > 服务 >
hadoop删除文件时会将文件先移动到.Trash目录,若该目录没有权限则出现403报错。 解决方法 方案一: 使用hadoop fs -rm -skipTrash命令来删除文件。 方案二: 在集群对应的委托中添加访问.Trash目录的权限。 在集群“概览”页签中,查询并记录集群所绑定的委托名称。
在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,选中“告警ID”为“19007”的告警,查看“定位信息”中的角色名并确定实例的IP地址。 告警上报的角色是HMaster,执行2。 告警上报的角色是RegionServer,执行3。 在FusionInsight Manager首页,选择“集群
资源池用来指定动态资源的配置。Yarn任务队列和资源池关联,可实现资源的分配和调度。 一个租户只能设置一个默认资源池。用户通过绑定租户相关的角色,来使用该租户资源池的资源。若需要使用多个资源池的资源,可通过绑定多个租户相关的角色实现。 动态资源调度机制: Yarn动态资源支持标签调度(Label
Impala客户端使用实践 访问Impala WebUI界面 使用Impala操作Kudu表 Impala对接外部LDAP Impala启用并配置动态资源池 使用Impala查询管理界面 Impala常见配置参数 Impala常见问题
当前HDFS提供了多种压缩算法,包括Gzip、LZ4、Snappy、Bzip2等。这几种压缩算法的压缩比和解压速度可参考如下: 压缩比排序:Bzip2>Gzip>LZ4>Snappy 解压速度排序:LZ4>Snappy>Gzip>Bzip2 使用场景建议: 追求速度的场景(如Ma
Core调优 数据序列化 配置内存 设置并行度 使用广播变量 使用External Shuffle Service提升性能 Yarn模式下动态资源调度 配置进程参数 设计DAG 经验总结 父主题: Spark应用调优
getAuth()) .append(";principal=") .append(clientInfo.getPrincipal()) .append(";");
getAuth()) .append(";principal=") .append(clientInfo.getPrincipal()) .append(";");
conf”和“user.keytab”文件参考MRS组件应用安全认证说明章节获得。 “jaas-zk.conf”文件如下定义,“principal”为MRS组件应用安全认证说明中添加的认证用户名称+@+域名(域名为“krb5.conf”文件中的“default_realm”字段值,例如“HADOOP
"Kerberos principal name that Kafka runs as.", .sdef = "kafka" }, { _RK_GLOBAL, "sasl.kerberos.principal", _RK_C_STR,
开启CCSMap特性 操作场景 CompactedConcurrentSkipListMap(简称CCSMap)特性优化了Memstore的数据结构,可以有效减少数据写入场景下的内存占用,降低GC频率,优化数据写入性能。若实际业务场景中对数据写入性能要求较高时,建议开启此特性。 本章节内容仅适用于MRS
Manager页面: MRS 3.x及之后版本:在Manager页面,选择“租户资源 > 动态资源计划 > 资源分布策略”。 MRS 2.x及之前版本:在Manager页面,选择“租户 > 管理 > 动态资源计划 > 资源分布策略”。 MRS控制台:在集群详情页,选择“租户管理 > 资源分布策略”。