检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调整HetuEngine集群节点资源配置 调整HetuEngine INSERT写入优化 调整HetuEngine元数据缓存 调整HetuEngine动态过滤 开启HetuEngine自适应查询执行 调整Hive元数据超时 调整Hudi数据源性能 父主题: 使用HetuEngine
Spark SQL企业级能力增强 配置矢量化读取ORC数据 配置过滤掉分区表中路径不存在的分区 配置Hive表分区动态覆盖 配置Spark SQL开启Adaptive Execution特性 配置SparkSQL的分块个数 父主题: 使用Spark2x(MRS 3.x及之后版本)
Impala客户端使用实践 访问Impala WebUI界面 使用Impala操作Kudu表 Impala对接外部LDAP Impala启用并配置动态资源池 使用Impala查询管理界面 Impala常见配置参数 Impala常见问题
Hive客户端安装目录/Hive/component_env 在变量“export CLIENT_HIVE_URI”所在行后面添加如下内容: \;user.principal=用户名@HADOOP.COM\;user.keytab=user.keytab文件所在路径/user.keytab 父主题: Hive常见问题
conf)。user.keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:sparkuser,需要修改为准备好的开发用户。 打包项目 将user.keytab、krb5
Hive客户端安装目录/Hive/component_env 在变量“export CLIENT_HIVE_URI”所在行后面添加如下内容: \;user.principal=用户名@HADOOP.COM\;user.keytab=user.keytab文件所在路径/user.keytab 父主题: Hive常见问题
gaussdb200:com.huawei.gauss200.jdbc.Driver JDBC连接字符串 表示数据库的访问地址,可以是IP地址或者域名。 输入数据库连接字符串(以下以IP为10.10.10.10,样例数据库为“test”为例): oracle:jdbc:oracle:thin:@10
配置多个ClickHouseBalancer实例IP 配置多个ClickHouseBalancer实例IP可以避免ClickHouseBalancer实例单点故障。相关配置(with属性)如下: 'url' = 'jdbc:clickhouse://ClickHouseBalancer实例IP1:ClickHouseBalancer端口
xml”层目录下,打开cmd命令行窗口,执行mvn install编译。 在2中打开的cmd命令行窗口中,执行mvn eclipse:eclipse创建Eclipse工程。 设置Eclipse开发环境。 1.在Eclipse的菜单栏中,选择“Window > Preferences”。 弹出“Preferences”窗口。
SQL企业级能力增强 配置矢量化读取ORC数据 配置过滤掉分区表中路径不存在的分区 配置Drop Partition命令支持批量删除 配置Hive表分区动态覆盖 配置Spark SQL开启Adaptive Execution特性 配置Spark SQL语法支持关联子查询不带聚合函数 父主题: 使用Spark/Spark2x
当前HDFS提供了多种压缩算法,包括Gzip、LZ4、Snappy、Bzip2等。这几种压缩算法的压缩比和解压速度可参考如下: 压缩比排序:Bzip2>Gzip>LZ4>Snappy 解压速度排序:LZ4>Snappy>Gzip>Bzip2 使用场景建议: 追求速度的场景(如Ma
conf)。user.keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:sparkuser,需要修改为准备好的开发用户。 打包项目 将user.keytab、krb5
成”,配置保存成功。 保存完成后请重新启动配置过期的服务或实例以使配置生效。 配置参数前包含图标时,表示该参数为动态生效,保存配置后参数值会自动刷新到配置文件中。(动态生效图标仅MRS 3.2.0及之后版本支持) MRS 2.x及之前版本: 在MRS Manager界面,单击“服务管理”。
join优化 优化数据倾斜场景下的Spark SQL性能 优化小文件场景下的Spark SQL性能 Spark INSERT SELECT语句调优 动态分区插入场景内存优化 小文件优化 聚合算法优化 Datasource表优化 合并CBO优化 多级嵌套子查询以及混合Join的SQL调优 父主题:
Executor堆内存参数 使用External Shuffle Service提升Spark Core性能 配置Yarn模式下Spark动态资源调度 调整Spark Core进程参数 Spark DAG设计规范说明 经验总结 父主题: 使用Spark/Spark2x
CLIENT_IP的结果: get_slowlog_responses '*', {'USER' => 'user_name', 'CLIENT_IP' => '192.162.1.40:60225'} 参数USER和CLIENT_IP为要匹配的用户名和客户端IP及端口号,如果指定参数'FILTER_BY_OP'
则无法保存。 “default”配置组会在所有未定义的时间段内生效。 新增加的配置组属于动态生效的配置项集合,在配置组应用的时间区间内可直接生效。 新增加的配置组可以被删除。最多增加4个动态生效的配置组。 选择任一种“重复策略”,如果结束时间小于开始时间,默认标识为第二天的结束时
确认分隔符、表字段的格式无问题,在sqoop语句中添加--columns绑定对应字段。 sqoop export --connect jdbc:mysql://数据库IP地址:端口号/数据库名 --username 数据库用户名 --password 密码 --table 表名 --columns 列字段(多个列用英文逗号分开)
192.168.85.50 icmp_seq=4 Destination Host Unreachable 解决办法 设置为正确的IP,必须为本机的IP,如果端口被占用,重新配置一个空闲的端口。 配置正确的证书路径。 联系网络管理员,恢复网络。 父主题: 使用Flume
间报错导致任务失败。 原因分析 进入Yarn原生页面查看MapReduce任务的日志看到报错是无法识别到压缩方式导致错误,看文件后缀是gzip压缩,堆栈却报出是zlib方式。 因此怀疑此语句查询的表对应的HDFS上的文件有问题,Map日志中打印出了解析的对应的文件名,将其从HDF