检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
job信息中“numActiveTasks”的值是根据eventlog文件中SparkListenerTaskStart和SparkListenerTaskEnd事件的个数的差值计算得到的。如果eventLog文件中有事件丢失,就可能出现上面的现象。
获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围: 只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值: 不涉及 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。
使用REST接口获取所有HBase表 功能简介 使用REST服务,传入对应host与port组成的URL,通过HTTPS协议,获取得到所有table。
使用REST接口获取所有HBase表 功能简介 使用REST服务,传入对应host与port组成的URL,通过HTTPS协议,获取得到所有table。
使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术,并且能够进行相互认证(即客户端和服务器端均可对对方进行身份认证)。可以用于防止窃听、防止replay攻击、保护数据完整性等场合,是一种应用对称密钥体制进行密钥管理的系统。
获取运行中Spark应用的Container日志 运行中Spark应用的Container日志分散在多个节点中,本章节用于说明如何快速获取Container日志。
密钥对 使用密钥方式登录集群节点,可从下拉框中选择密钥对,如果已获取私钥文件,请勾选“我确认已获取该密钥对中的私钥文件SSHkey-xxx,否则无法登录弹性云服务器”,如果没有创建密钥对,请单击“查看密钥对”创建或导入密钥,然后再获取私钥文件。
通过hadoop fs -cat /hbase/hbase.version命令发现文件不能正常查看,该文件损坏。 解决办法 执行hbase hbck -fixVersionFile命令修复文件。 如1不能解决,从同版本的其他集群中获取hbase.version文件上传进行替换。
获取运行中Spark应用的Container日志 运行中Spark应用的Container日志分散在多个节点中,本章节用于说明如何快速获取Container日志。
读Alluxio文件 功能简介 获取Alluxio上某个指定文件的内容。 代码样例 用于获取Alluxio上某个指定文件的内容。
配置Hive列加密功能 操作场景 Hive支持对表的某一列或者多列进行加密;在创建Hive表时,可以指定要加密的列和加密算法。当使用insert语句向表中插入数据时,即可实现将对应列加密。列加密只支持存储在HDFS上的TextFile和SequenceFile文件格式的表。
默认取值: 不涉及 input 否 String 参数解释: 数据输入地址。文件可存储于HDFS或者OBS中,不同的文件系统对应的路径存在差异。 OBS:以“s3a://”开头。不支持KMS加密的文件或程序。 HDFS:以“/”开头。
怎么通过客户端设置Map/Reduce内存? 问题现象 客户端怎么设置Map/Reduce内存? 处理步骤 Hive在执行SQL语句前,可以通过set命令来设置Map/Reduce相关客户端参数。
AWS_SECRET_KEY参数值为.csv文件中“Secret Access Key”列的值。 请及时下载保存,弹窗关闭后将无法再次获取该密钥信息,但您可重新创建新的密钥。 为了账号安全性,建议您妥善保管并定期修改访问密钥,修改访问密钥的方法为删除旧访问密钥,然后重新生成。
运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata...”
运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata...”
改为通过配置参数指定到客户端内krb5路径,而HiBench并不引用客户端配置文件。
运行Producer.java样例运行获取元数据失败如何处理 解决步骤 检查工程conf目录下“client.properties”中配置的“bootstrap.servers”配置值中访问的IP和端口是否正确。
SSH私钥:选择并上传创建集群时使用的密钥文件。 图1 下载客户端 单击“确定”开始生成客户端文件。 若界面显示以下提示信息表示客户端包已经成功保存。单击“关闭”。客户端文件请到下载客户端时设置的远端主机的“存放路径”中获取。 下载客户端文件到远端主机成功。
配置ClickHouse对接OBS源文件 本章节主要介绍使用ClickHouse对接OBS进行文件读写。 使用S3表函数 登录主OMS节点。 执行以下命令获取OBS内的存储数据。