检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
L诊断推荐参数。 单击“保存”,保存配置。 单击“实例”,勾选所有QAS实例,选择“更多 > 重启实例”,输入密码重启QAS所有实例使参数生效。 查看SQL诊断结果 以Hetu_user用户登录FusionInsight Manager页面。 选择“集群 > 服务 > HetuE
d_max值的一倍,若无该参数则请在文件末尾添加。 例如修改参数为“kernel.pid_max=65536”,然后执行以下命令使参数立即生效。 sysctl -p “kernel.pid_max”最大可设置为: 32位系统:32768 64位系统:4194304(2的22次方)
如hive3。 用户同时还需要至少有manager_viewer权限的角色。 获取运行状态的Oozie服务器(任意实例)URL,如“https://10.1.130.10:21003/oozie”。 获取运行状态的Oozie服务器主机名,如“10-1-130-10”。 获取Yarn
TABLE tableName COMPUTE STATISTICS noscan;)更新表元数据后进行广播。 需要广播的表是分区表,新建表且文件类型为非Parquet文件类型。 需要广播的表是分区表,更新表数据后。 参考信息 被广播的表执行超时,导致任务结束。 默认情况下,Broad
job命令,运行工作流文件。 oozie job -oozie https://oozie角色的主机名:21003/oozie -config job.properties文件所在路径 -run 例如: oozie job -oozie https://10-1-130-10:21003/oozie
job命令,运行工作流文件。 oozie job -oozie https://oozie角色的主机名:21003/oozie -config job.properties文件所在路径 -run 例如: oozie job -oozie https://10-1-130-10:21003/oozie
单击“实例”,勾选“SparkResource”,选择“更多 > 滚动重启实例”,重启SparkResource实例。 重新下载安装Spark服务客户端,或者更新已有客户端配置,具体参考使用MRS客户端。 验证配置结果 登录FusionInsight Manager,选择“集群 > 服务 > MemArtsCC
spark.yarn.security.credentials.hbase.enabled false true 重启Spark2x服务,配置生效。 如果需要在Spark2x客户端用Spark on HBase功能,需要重新下载并安装Spark2x客户端。 在Spark2x客户端使用
TABLE tableName COMPUTE STATISTICS noscan;)更新表元数据后进行广播。 需要广播的表是分区表,新建表且文件类型为非Parquet文件类型。 需要广播的表是分区表,更新表数据后。 参考信息 被广播的表执行超时,导致任务结束。 默认情况下,Broad
properties”)中的日志级别为DEBUG,如下所示: log4j.rootCategory=DEBUG, sparklog DEBUG级别生效会有一定的时延。 父主题: Spark运维管理
要设置该内存上限为1GB,则设置: export GC_OPTS_YARN="-Xmx1G" 在修改完后,使用如下命令刷新客户端配置,使之生效: source <客户端安装路径>/bigdata_env 问题二:如何设置Yarn客户端运行时的日志级别? Yarn客户端运行时的日志
properties”)中的日志级别为DEBUG,如下所示: log4j.rootCategory=DEBUG, sparklog DEBUG级别生效会有一定的时延。 父主题: Spark运维管理
> 全部配置”,搜索“lb_http_port”并获取其参数值,默认为21425。 loadBalancerHttpsPort 21426 LoadBalance的HTTPS端口,若sslUsed配置为true,则此参数不允许为空。 登录FusionInsight Manager,选择“集群
> 全部配置”,搜索“lb_http_port”并获取其参数值,默认为21425。 loadBalancerHttpsPort 21426 LoadBalance的HTTPS端口。若sslUsed配置为true,则此参数不允许为空。 登录FusionInsight Manager,选择“集群
LLUP等预聚合带来的查询优势。 对于聚合查询有较高性能需求的用户,推荐使用写时合并实现。 Unique模型仅支持整行更新,如果用户既需要唯一主键约束,又需要更新部分列(例如将多张源表导入到一张Doris表的场景),则可以考虑使用Aggregate模型,同时将非主键列的聚合类型设
指向Spark1.5表实际数据的表,这样可以实现在Spark2x中读取Spark1.5创建的DataSource表。同时,Spark1.5更新过数据后,Spark2x中访问也能感知到变化 ,反过来一样。这样即可实现Spark2x对Spark1.5创建的DataSource表的访问。
conf文件,用于在样例工程中进行安全认证,如图4所示。 图4 下载认证凭据 参考信息 如果修改了组件的配置参数,需重新下载客户端配置文件并更新运行调测环境上的客户端。 父主题: 准备HBase应用开发环境
/SK签名指南。 签名SDK只提供签名功能,与服务提供的SDK不同,使用时请注意。 您也可以通过这个视频教程了解AK/SK认证的使用:https://bbs.huaweicloud.com/videos/100697 。 Token认证 Token的有效期为24小时,需要使用一个
”配置,如运用到跨域资源共享功能,可对HTTP响应头的“Access-Control-Allow-Origin”属性进行控制。 Flink不涉及如客户端存储、WebWorker、WebRTC、WebSocket等安全风险。 安全声明 Flink的安全都为开源社区提供和自身研发。有
bigdata_env kinit 组件业务用户 kinit一次票据时效24小时。24小时后再次运行样例,需要重新kinit。 与HTTP服务访问相比,以HTTPS方式访问Mapreduce时,由于使用了SSL安全加密,需要确保Curl命令所支持的SSL协议在集群中已添加支持。若不支持,可对应修改集