检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
PASSWORD,建议密文存放,使用时解密,确保安全。其中: DORIS_MY_USER为访问Doris的用户名。 DORIS_MY_PASSWORD为访问Doris的用户密码。 导入jdbc-example样例工程之后,运行时需修改以下参数: 将代码中HOST = "xxx"的
mapreduce.input.fileinputformat.split.maxsize map输入信息应被拆分成的数据块的最大大小。 由用户定义的分片大小的设置及每个文件block大小的设置,可以计算分片的大小。计算公式如下: splitSize = Math.max(minSize
segments. <database_name>. <table_name> = < list of segment ids >” 如果用户想在多线程模式下查询指定段,可使用CarbonSession.threadSet代替SET语句。 语法: “CarbonSession.threadSet
常见的场景是使用--files上传了user.keytab,然后使用--keytab又指定了同一个文件,导致一个文件多次被上传。 处理步骤 问题1: 重新kinit一个用户并修改相应的配置参数。 问题2: 查看hadoop相关的配置项是否正确,查看spark的conf目录下的core-site.xml,hdfs-site
点。增加任务的并行度,充分利用集群机器的计算能力,一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置,用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数,优先级最高。 testRDD
RegionServer剩余内存不足导致HBase服务启动失败 用户问题 RegionServer剩余内存不足导致HBase服务启动失败。 原因分析 RegionServer启动时节点剩余内存不足,导致无法启动实例。排查步骤如下: 登录Master节点,到“/var/log/Bi
mapred-default.xml文件解析异常导致WebHCat启动失败 用户问题 MRS的Hive服务故障,重新启动后,Master2节点上的HiveServer和WebHCat进程启动失败,Master1节点进程正常。 原因分析 登录Master2节点,查看“/var/lo
历史记录可以保存的时间(小时)。 24 配置完成后,单击“保存”。 单击“概览”进入Loader服务概览界面,选择“更多 > 重启服务”,验证用户身份后,单击“确定”,等待重启成功。 父主题: 管理Loader作业
DataNode进程关闭,导致NameNode为每一个存在DataNode上的block调度额外的副本,在没有故障的磁盘中引起不必要的块复制。 为了防止此情况,用户可以通过配置DataNodes来承受dfs.data.dir目录的故障。登录Manager,选择“集群 > 服务 > HDFS > 配置 >
点。增加任务的并行度,充分利用集群机器的计算能力,一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置,用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数,优先级最高。 testRDD
DataNode进程关闭,导致NameNode为每一个存在DataNode上的block调度额外的副本,在没有故障的磁盘中引起不必要的块复制。 为了防止此情况,用户可以通过配置DataNodes来承受dfs.data.dir目录的故障。登录Manager,选择“集群 > 服务 > HDFS > 配置 >
在Session级别关闭隐式转换 登录HetuEngine客户端。 执行以下命令,关闭隐式转换功能。 set session implicit_conversion=false; 在Session级别关闭UDF函数运算结果的隐式转换 登录HetuEngine客户端。 执行以下命令,关闭隐式转换功能。
enabled false true 重启Spark2x服务,配置生效。 如果需要在Spark2x客户端用External Shuffle Service功能,需要重新下载并安装Spark2x客户端。 父主题: Spark Core性能调优
e实例,元数据未隔离。 暂不支持Flink,Flink任务均使用客户端配置,仍可连接所有MetaStore实例,不支持统一配置。 使用spark-sql执行任务时客户端直接连接MetaStore,隔离后需要更新客户端才可生效。 此功能仅支持同集群内隔离,HetuEngine不同集
全认证。 接口说明 注册服务器接口 注册服务器用来保存NettySink的IP、端口以及并发度信息,以便NettySource连接使用。为用户提供以下接口: public interface RegisterServerHandler { /** * 启动注册服务器
增加Hive表字段超时 用户问题 增加Hive表字段报错。 问题现象 Hive对包含10000+分区的表执行ALTER TABLE table_name ADD COLUMNS(column_name string) CASCADE;,报错如下: Timeout when executing
如果指定参数'FILTER_BY_OP' => 'AND',则返回的每条结果必须匹配所有的指定条件,否则只需匹配任一条件即可。 查看指定用户、指定客户端的慢请求,以下命令表示返回满足USER或CLIENT_IP的结果: get_slowlog_responses '*', {'USER'
提供三种方式对工作流进行操作,详情请参见Oozie应用开发常见问题。 Shell命令 Java API Hue Oozie客户端提供了比较完整的examples示例供用户参考,包括各种类型的Action,以及Coordinator以及Bundle的使用。以客户端安装目录为“/opt/client”为例,ex
Topic中获取消息的角色称为Consumer。 Broker Kafka集群中的每一个节点服务器称为Broker。 keytab file 存放用户信息的密钥文件。应用程序采用此密钥文件在集群中进行API方式认证。 父主题: Kafka开发指南(安全模式)
topic中获取消息的角色称为Consumer。 Broker Kafka集群中的每一个节点服务器称为Broker。 keytab file 存放用户信息的密钥文件。应用程序采用此密钥文件在集群中进行API方式认证。 父主题: Kafka开发指南(安全模式)