检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL ROLLUP和CUBE使用的注意事项 Spark SQL在不同DB都可以显示临时表 如何在Spark命令中指定参数值 SparkSQL建表时的目录权限 为什么不同服务之间互相删除UDF失败 Spark SQL无法查询到Parquet类型的Hive表的新插入数据 cache table使用指导
数据库登录用户名 mysql.connection-password xxxx 数据库密码 重启Presto服务。 启用Kerberos认证的集群,执行以下命令连接本集群的Presto Server。 presto_cli.sh --krb5-config-path {krb5.conf文件路径}
Manager,选择“集群 > 服务 > HetuEngine > 概览”,单击“HSConsole WebUI”的HSConsole链接进入计算实例界面。 选择并停止需要配置的计算实例,单击计算实例的“配置”,进入计算实例配置界面。 根据使用场景删除如下自定义配置并保存。 名称 值 参数文件 说明
用户组 > 添加用户组”。 创建一个空角色的用户组,例如,名称为“obs_hudi”,并将该用户组绑定给对应用户。 使用rangeradmin用户登录Ranger管理页面。 在首页中单击“EXTERNAL AUTHORIZATION”区域的组件插件名称“OBS”。 单击“Add New
SQL ROLLUP和CUBE使用的注意事项 Spark SQL在不同DB都可以显示临时表 如何在Spark命令中指定参数值 SparkSQL建表时的目录权限 为什么不同服务之间互相删除UDF失败 Spark SQL无法查询到Parquet类型的Hive表的新插入数据 cache table使用指导
Python样例程序 Python样例工程的命令行形式运行 赋予“python-examples”文件夹中脚本的可执行权限。在命令行终端执行以下命令: chmod +x python-examples -R 在“python-examples/pyCLI_nosec.py”中的hosts数组中填写安
Ranger常见问题 如何判断某个服务是否使用了Ranger鉴权 为什么新创建用户修改完密码后无法登录Ranger 在Ranger管理界面查看不到创建的MRS用户 MRS用户无法同步至Ranger管理界面 父主题: 使用Ranger
stopGracefullyOnShutdown”默认为“false”,系统不会完全等待AM正常退出,所以概率性的会出现有时能正常退出,任务状态显示失败,有时异常退出,状态未来得及上报的情况。 处理步骤 执行Spark Streaming任务时,添加Spark任务参数“--conf spark
Spark用户权限管理 SparkSQL用户权限介绍 创建SparkSQL角色 配置Spark表、列和数据库的用户权限 配置SparkSQL业务用户权限 配置Spark Web UI ACL Spark客户端和服务端权限参数配置说明 父主题: 使用Spark/Spark2x
管理MRS集群客户端 服务端配置过期后更新MRS集群客户端 查看已安装的MRS集群客户端 批量升级MRS集群客户端 父主题: 管理MRS集群
doop/common/lib/gsjdbc4-*.jar /tmp 报错中type为12时:调整数据库的pg_hba.conf文件,将address改成Sqoop所在节点的IP。 场景二:(export场景)使用sqoop export命令抽取开源Postgre到MRS HDFS或Hive等。
Spark用户权限管理 SparkSQL权限介绍 创建SparkSQL角色 配置Spark表、列和数据库的用户权限 配置SparkSQL业务用户权限 配置Spark2x Web UI ACL Spark客户端和服务端权限参数配置说明 父主题: 使用Spark2x(MRS 3.x及之后版本)
使用root登录客户端安装节点,执行如下命令: cd 客户端安装目录 执行以下命令环境变量并认证用户: source bigdata_env kinit 创建的业务用户(未开启Kerberos认证的用户请跳过该操作) 将以下参数添加到“Spark/spark/conf/spark-defaults.conf”文件中并保存:
点。 切换到以下目录。 cd Flume客户端安装目录/fusioninsight-flume-Flume组件版本号/conf 在该目录下的“flume-env.sh”文件中添加环境变量。 格式: export 变量名=变量值 示例: JAVA_OPTS="-Xms2G -Xmx4G
doop/common/lib/gsjdbc4-*.jar /tmp 报错中type为12时:调整数据库的pg_hba.conf文件,将address改成sqoop所在节点的ip。 场景二:(export场景)使用sqoop export命令抽取开源postgre到MRS hdfs或hive等。
客户端使用类 如何关闭ZooKeeper的SASL认证? 在MRS集群外客户端中执行kinit报错“Permission denied”如何处理? ClickHouse客户端执行SQL查询时报内存不足如何处理? MRS如何连接spark-shell? MRS如何连接spark-beeline?
避免并发使用同一个客户端连接 IoTDB客户端只能连接一个IoTDBServer,大量并发使用同一个客户端会对该客户端连接的IoTDBServer造成压力,可以根据业务需求连接多个不同的客户端来达到负载均衡。 使用SessionPool复用连接 分布式在Session内部做了缓存,实现客户端时
准备好自定义jar包,并上传到客户端节点。本操作以“spark-test.jar”为例,上传到客户端节点“/tmp”目录下。 配置参数 以客户端安装用户,登录安装客户端的节点,执行如下命令: cd {客户端安装目录} source bigdata_env 如果集群已启用Kerberos认证(安全模式),执行以
系统可用内存”, 否则会导致IoTDB启动失败。 查询场景调优举例:如果查询的范围比较大,单个序列10000个点以上,JVM分配内存的20% / 序列数 > 160K,即为默认配置下存储引擎对查询最友好的状态。 序列和内存大小举例:500万序列,对应内存配置为:-Xms128G -Xmx128G
FE(角色) > 自定义”,新增自定义参数“broker_timeout_ms”,默认值为10秒,需适当调大该参数值,如1000,并重启配置过期的FE实例。 父主题: Doris常见问题