检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
viewaccesscontrol.enable=true到客户端目录下“Spark2x/spark/conf/spark-defaults.conf”配置文件中,重启JDBCServer实例。 MRS_3.2.0-LTS.1.6以及之后补丁,Spark支持子查询字段不带聚合函数语法,开启方法(若
鼠标放置饼图上会显示当前区域集群中各节点不同硬件配置下的配置信息及数量,格式为:核数(平台类型)内存大小:数量。 单击相应区域,会在下方显示相应的主机列表。 磁盘配置 横轴为节点上磁盘总容量(包含OS盘),纵轴为逻辑磁盘数量(包含OS盘)。 鼠标放置圆点上会显示处于当前配置状态下的磁盘信息,包括磁盘数量、总容量、主机数。
lpad(binary, size, padbinary) → varbinary 左填充二进制以使用padbinary调整字节大小。如果size小于二进制文件的长度,则结果将被截断为size个字符。size不能为负,并且padbinary不能为空。 select lpad(x'15245F', 11
5817610 secs] 4153654K->3843458K(4160256K), [CMS Perm : 27335K->27335K(45592K),2.5820080 SECS] [Times: user=2.63, sys0.00, real=2.59 secs] 用户业务配置的Spooldir
对TABLE/VIEW进行赋权操作,执行如下命令,其中TABLE为要操作的表或视图名称,user为需要操作的角色。 对某数据库下的表赋予查询权限: GRANT SELECT ON TABLE TO user; 对某数据库下的表赋予写入权限: GRANT INSERT ON TABLE TO user; 更多Cli
"ecs:servers:list", "ecs:servers:get", "ecs:cloudServers:delete", "ecs:cloudServers:list"
如果Streaming应用中使用了state函数,则不允许开启对接Kafka可靠性功能。 配置描述 在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.streaming.Kafka.reliability Spark Stre
不能互通,所以导致访问Spark Web UI界面失败。 处理步骤 登录10.10.169.53客户端机器。 修改“/etc/hosts”文件,将10.120.169.53更改为相对应的192网段的IP地址。 修改再重新运行Spark应用,这时就可以打开Spark Web UI界面。
/om/sbin/status-oms.sh命令来查看当前Manager的双机信息。 执行ps -ef | grep slapd,查询配置文件位于“${BIGDATA_HOME}/om-server/om/”路径下面的LdapServer资源进程是否正常。 判断资源正常有两个标识:
恢复数据目录及其子目录的属组为omm:wheel。 检查数据目录所在磁盘是否故障。 使用omm用户,在所提示的数据目录的上一级目录下,进行创建、删除文件测试,看能够正常读写磁盘。 是,执行6。 否,执行5。 更换或者修复数据目录所在磁盘,保证其可以正常读写。 在FusionInsight Manager首页,选择“集群
用户组、权限等是否正常。正常用户、用户组、权限为“omm:ficommon 750”。 是,执行1.f。 否,执行1.e。 执行如下命令将文件夹权限修改为“750”,并将“用户:属组”修改为“omm:ficommon”。 chmod 750 <folder_name> chown
HetuEngine支持查询下推(pushdown),它能把查询,或者部分查询,下推到连接的数据源。这意味着特殊的谓词,聚合函数或者其他一些操作,可以被传递到底层数据库或者文件系统进行处理。查询下推能带来以下好处: 提升整体的查询性能。 减少HetuEngine和数据源之间的网络流量。 减少远端数据源的负载。 H
throws ClassNotFoundException { // 认证用的密码写入代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例以密码保存在环境变量中来实现身份验证为例,运行本示例前,请先在
serviceDiscoveryMode=hsbroker" user = "YourUserName" # 认证用的密码写入代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; # 本示例以密码保存在环境变量中来实现身份验证为例,运行本示例前,请先在本地环境中设置环境
集群运行正常,并已安装集群客户端。 提交作业前,需配置“客户端安装路径/Flink/flink/conf/flink-conf.yaml”文件,开启作业注册到FlinkServer功能和作业告警功能,参数设置如下: 表1 开启作业注册和作业告警功能 参数 值 描述 job.register
创建的业务用户(未开启Kerberos认证的用户请跳过该操作) 将以下参数添加到“Spark/spark/conf/spark-defaults.conf”文件中并保存: spark.sql.catalog.local=org.apache.iceberg.spark.SparkCatalog spark
Source是否故障。 确认Flume Source是否是spooldir类型。 是,执行1.b。 否,执行1.c。 查看设置的spoolDir目录,是否所有的文件均已传输完毕。 是,处理完毕。 否,执行1.e。 确认Flume Source是否是Kafka类型。 是,执行1.d。 否,执行1.e。
main()”运行应用工程。 如果集群开启了ZooKeeper SSL,则运行该样例前,需要检查配置文件mapred-site.xml(准备运行环境中样例工程的“conf”配置文件目录中获取)的配置项“mapreduce.admin.map.child.java.opts”和“mapreduce
Failed 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。
数目前不可配。 建议适当调大task retry次数和Executor失败次数。 在客户端的“spark-defaults.conf”配置文件中配置如下参数。“spark.yarn.max.executor.failures”若不存在,则手动添加该参数项。 表1 参数说明 参数 描述