云服务器内容精选
-
操作步骤 假设存在如下一张表： user_data(user_group int, user_name string, update_time timestamp); 其中user_group是分区列，需要根据已有数据，按更新时间进行排序，刷新用户组信息。操作步骤如下： 在Hive Beeline命令行执行以下命令开启Hive动态分区： set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict; 执行以下命令创建一个临时表，用于存储去重后的数据： CREATE TABLE temp_user_data AS SELECT * FROM ( SELECT *, ROW_NUMBER() OVER(PARTITION BY user_group ORDER BY update_time DESC) as rank FROM user_data ) tmp WHERE rank = 1; 执行以下命令使用临时数据作为数据源，并插入到目的表中： INSERT OVERWRITE TABLE user_data SELECT user_group, user_name, update_time FROM temp_user_data; 执行以下命令清理临时表： DROP TABLE IF EXISTS temp_user_data;
-
处理步骤 登录安装了MySQL的节点，连接Doris数据库。 调用BE的check_tablet_segment_lost请求自动修复丢失的副本。 curl -X POST http://192.168.67.78:29986/api/check_tablet_segment_lost?repair=true （ 192.168.67.78为异常的BE节点IP地址，29986为BE的HTTP Server的服务端口，可在Manager的Doris配置界面搜索“webserver_port”查看。 执行以下命令，获取DetailCmd。 show tablet tabletId 执行DetailCmd，当异常节点的副本已经被移除时，再次进行业务查询正常即可。
-
回答 HetuEngine计算实例的启动依赖Python文件，需确保各节点“/usr/bin/”路径下面存在Python文件。 登录 FusionInsight Manager，单击“主机”，查看并记录所有主机的业务IP。 以root用户登录1记录的节点，在所有节点都执行以下命令，在“/usr/bin/”目录下添加“python3”的软连接。 cd /usr/bin ln -s python3 python 重新启动HetuEngine计算实例。
-
回答 Ranger界面上HBase服务插件的“hbase.rpc.protection”参数值和HBase服务端的“hbase.rpc.protection”参数值必须保持一致。 参考登录Ranger WebUI界面章节，登录Ranger管理界面。 在首页中“HBASE”区域，单击组件插件名称，如HBase的按钮 搜索配置项“hbase.rpc.protection”，修改配置项的value值，与HBase服务端的“hbase.rpc.protection”的值保持一致。 单击“保存”。
-
问题 添加HBase的Ranger访问权限策略时，在策略中使用通配符搜索已存在的HBase表时，搜索不到已存在的表，并且在/var/log/Bigdata/ranger/rangeradmin/ranger-admin-*log中报以下错误 Caused by: javax.security.sasl.SaslException: No common protection layer between client and server at com.sun.security.sasl.gsskerb.GssKrb5Client.doFinalHandshake(GssKrb5Client.java:253) at com.sun.security.sasl.gsskerb.GssKrb5Client.evaluateChallenge(GssKrb5Client.java:186) at org.apache.hadoop.hbase.security.AbstractHBaseSaslRpcClient.evaluateChallenge(AbstractHBaseSaslRpcClient.java:142) at org.apache.hadoop.hbase.security.NettyHBaseSaslRpcClientHandler$2.run(NettyHBaseSaslRpcClientHandler.java:142) at org.apache.hadoop.hbase.security.NettyHBaseSaslRpcClientHandler$2.run(NettyHBaseSaslRpcClientHandler.java:138) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1761) at org.apache.hadoop.hbase.security.NettyHBaseSaslRpcClientHandler.channelRead0(NettyHBaseSaslRpcClientHandler.java:138) at org.apache.hadoop.hbase.security.NettyHBaseSaslRpcClientHandler.channelRead0(NettyHBaseSaslRpcClientHandler.java:42) at org.apache.hbase.thirdparty.io.netty.channel.SimpleChannelInboundHandler.channelRead(SimpleChannelInboundHandler.java:105) at org.apache.hbase.thirdparty.io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:362)
-
回答 打开FusionInsight Manager页面，看到Yarn服务的业务IP地址为192网段。 从Yarn的日志看到，Yarn读取的Spark Web UI地址为http://10.120.169.53:23011，是10网段的IP地址。由于192网段的IP和10网段的IP不能互通，所以导致访问Spark Web UI界面失败。 修改方案： 登录10.120.169.53客户端机器，修改/etc/hosts文件，将10.120.169.53更改为相对应的192网段的IP地址。再重新运行Spark应用，这时就可以打开Spark Web UI界面。
-
回答 由于在删除了大量文件之后，DataNode需要时间去删除对应的Block。当立刻重启NameNode时，NameNode会去检查所有DataNode上报的Block信息，发现已删除的Block时，会输出对应的INFO日志信息，如下所示： 2015-06-10 19:25:50,215 | INFO | IPC Server handler 36 on 25000 | BLOCK* processReport: blk_1075861877_2121067 on node 10.91.8.218:9866 size 10249 does not belong to any file | org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.processReport(BlockManager.java:1854) 每一个被删除的Block会产生一条日志信息，一个文件可能会存在一个或多个Block。当删除的文件数过多时，NameNode会花大量的时间打印日志，然后导致NameNode启动慢。 当出现这种现象时，您可以通过如下方式提升NameNode的启动速度。 删除大量文件时，不要立刻重启NameNode，待DataNode删除了对应的Block后重启NameNode，即不会存在这种情况。 您可以通过hdfs dfsadmin -report命令来查看磁盘空间，检查文件是否删除完毕。 如已大量出现以上日志，您可以将NameNode的日志级别修改为ERROR，NameNode不会再打印此日志信息。 等待NameNode启动完毕后，再将此日志级别修改为INFO。修改日志级别后无需重启服务。
-
回答 在这种场景下，CarbonData会给每个节点分配一个INSERT INTO或LOAD DATA任务。如果Executor不是不同的节点分配的，CarbonData将会启动较少的task。 解决措施： 您可以适当增大Executor内存和Executor核数，以便YARN可以在每个节点上启动一个Executor。具体的配置方法如下： 配置Executor核数。 将“spark-defaults.conf”中的“spark.executor.cores”配置项或者“spark-env.sh”中的“SPARK_EXECUTOR_CORES”配置项设置为合适大小。 在使用spark-submit命令时，添加“--executor-cores NUM”参数设置核数。 配置Executor内存。 将“spark-defaults.conf”中的“spark.executor.memory”配置项或者“spark-env.sh”中的“SPARK_EXECUTOR_MEMORY”配置项设置为合适大小。 在使用spark-submit命令时，添加“--executor-memory MEM”参数设置内存。
-
回答 如果LoadIncrementalHFiles工具依赖的Client在集群内安装，且和DataNode在相同的节点上，在工具执行过程中HDFS会创建短路读提高性能。短路读依赖“/var/run/FusionInsight-HDFS”目录(“dfs.domain.socket.path”)，该目录默认权限是750。而当前Linux用户没有权限操作该目录。 上述问题可通过执行以下方法解决： 方法一：创建新用户(推荐使用)。 通过Manager页面创建新的用户，该用户属组中默认包含ficommon组。 [root@xxx-xxx-xxx-xxx ~]# id test uid=20038(test) gid=9998(ficommon) groups=9998(ficommon) 重新执行ImportData。 方法二：修改当前用户的属组。 将该用户添加到ficommon组中。 [root@xxx-xxx-xxx-xxx ~]# usermod -a -G ficommon test [root@xxx-xxx-xxx-xxx ~]# id test uid=2102(test) gid=2102(test) groups=2102(test),9998(ficommon) 重新执行ImportData。
-
问题 在普通集群中手动创建Linux用户，并使用集群内DataNode节点执行批量导入时，为什么LoadIncrementalHFiles工具执行失败报“Permission denied”的异常？ 2020-09-20 14:53:53,808 WARN [main] shortcircuit.DomainSocketFactory: error creating DomainSocket java.net.ConnectException: connect(2) error: Permission denied when trying to connect to '/var/run/FusionInsight-HDFS/dn_socket' at org.apache.hadoop.net.unix.DomainSocket.connect0(Native Method) at org.apache.hadoop.net.unix.DomainSocket.connect(DomainSocket.java:256) at org.apache.hadoop.hdfs.shortcircuit.DomainSocketFactory.createSocket(DomainSocketFactory.java:168) at org.apache.hadoop.hdfs.client.impl.BlockReaderFactory.nextDomainPeer(BlockReaderFactory.java:804) at org.apache.hadoop.hdfs.client.impl.BlockReaderFactory.createShortCircuitReplicaInfo(BlockReaderFactory.java:526) at org.apache.hadoop.hdfs.shortcircuit.ShortCircuitCache.create(ShortCircuitCache.java:785) at org.apache.hadoop.hdfs.shortcircuit.ShortCircuitCache.fetchOrCreate(ShortCircuitCache.java:722) at org.apache.hadoop.hdfs.client.impl.BlockReaderFactory.getBlockReaderLocal(BlockReaderFactory.java:483) at org.apache.hadoop.hdfs.client.impl.BlockReaderFactory.build(BlockReaderFactory.java:360) at org.apache.hadoop.hdfs.DFSInputStream.getBlockReader(DFSInputStream.java:663) at org.apache.hadoop.hdfs.DFSInputStream.blockSeekTo(DFSInputStream.java:594) at org.apache.hadoop.hdfs.DFSInputStream.readWithStrategy(DFSInputStream.java:776) at org.apache.hadoop.hdfs.DFSInputStream.read(DFSInputStream.java:845) at java.io.DataInputStream.readFully(DataInputStream.java:195) at org.apache.hadoop.hbase.io.hfile.FixedFileTrailer.readFromStream(FixedFileTrailer.java:401) at org.apache.hadoop.hbase.io.hfile.HFile.isHFileFormat(HFile.java:651) at org.apache.hadoop.hbase.io.hfile.HFile.isHFileFormat(HFile.java:634) at org.apache.hadoop.hbase.tool.LoadIncrementalHFiles.visitBulkHFiles(LoadIncrementalHFiles.java:1090) at org.apache.hadoop.hbase.tool.LoadIncrementalHFiles.discoverLoadQueue(LoadIncrementalHFiles.java:1006) at org.apache.hadoop.hbase.tool.LoadIncrementalHFiles.prepareHFileQueue(LoadIncrementalHFiles.java:257) at org.apache.hadoop.hbase.tool.LoadIncrementalHFiles.doBulkLoad(LoadIncrementalHFiles.java:364) at org.apache.hadoop.hbase.tool.LoadIncrementalHFiles.run(LoadIncrementalHFiles.java:1263) at org.apache.hadoop.hbase.tool.LoadIncrementalHFiles.run(LoadIncrementalHFiles.java:1276) at org.apache.hadoop.hbase.tool.LoadIncrementalHFiles.run(LoadIncrementalHFiles.java:1311) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76) at org.apache.hadoop.hbase.tool.LoadIncrementalHFiles.main(LoadIncrementalHFiles.java:1333)
-
短信群发助手中，为何无法选择短信签名和模板？ 使用群发助手提交发送任务时，请按先后顺序依次选择“短信应用” 、 “短信签名”、“短信模板”。 国内短信应用、签名、模板之间的关联关系，详见短信资源介绍。若下拉选项为空，请按下表处理。 参数 问题现象 可能原因 处理建议 短信应用 下拉选项为空，显示“暂无数据” 该华为云账号下还未添加短信应用。 请先创建短信应用。 短信签名 未选择“短信应用”。 已选择的“短信应用”下无可用的短信签名。 请检查“短信应用”参数，并确认选择正确。 请检查该应用下是否有可用的非验证码类短信签名。若没有，请先申请短信签名。 短信模板 未选择“短信应用”。 （仅国内短信）未选择“短信签名”。 （仅国内短信）已选择的“短信签名”下无可用的短信模板。 请检查“短信应用”参数，并确认选择正确。 （仅国内短信）请检查“短信签名”参数，并确认选择正确。 （仅国内短信）请检查该签名下是否有可用的短信模板。若没有，请先申请短信模板。 父主题： 故障排除
-
模板审核驳回原因及处理建议是什么？ 不区分模板类型的通用问题如下： 类型 一级问题 二级问题 处理建议 申请错误 所属签名错误 选择“华为云短信测试”及通用签名 申请模板时，需要选择自己申请的签名。 建议在有两个以上同类型签名需要使用同一个模板时选择通用签名。 短信模板属性需和短信签名属性保持一致。（如：不支持以A公司的签名申请关于B公司的模板内容。） 在选择纯英文签名时选择了[] 目前国内短信签名符号格式仅支持【】，请修改后提交。 短信类别错误 通知内容误选验证码类、推广内容选通知类等 根据自己的短信内容选择适合的短信类型。 格式错误 变量错误 变量数量错误 不支持连续变量，变量总数不能超过20个。 变量格式错误 变量格式为${1}、${2}、...、${20}，中间数字应代表变量在模板内容中的位置顺序。 不允许设置局部变量，如www.${1}.cn、186${2}1234等。 变量属性错误 创建模板时，支持以下五种变量属性： 电话号码：可以传入手机号、座机号、95或400、800电话等，长度为1-15个字符。 其他号码：主要用途为订单号，密码、随机秘钥等，长度为1-20个字符。 时间：需要符合时间的表达方式，长度为1-20个字符。 金额：仅支持传入能够正常表达金额的数字、小数点或中文，例如壹、贰、叁、肆等，长度为1-20个字符。 其他（如名称、账号、地址等）：可以设置为公司/产品/地址/姓名/内容/账号/会员名等，长度为1-20个字符。 重复签名错误 模板内容中额外添加短信签名 发送时系统会自动添加签名【签名内容】，请去除。 内容错误 有严禁符号 不支持如￥、★、^_^、&、√、※、[]等特殊符号，可能会导致短信出现乱码 含不支持发送符号的，请删除。 模板中含【】符号可能会导致短信发送失败，请删除。 变量使用错误 笼统设置变量属性为“其他”，未区分时间、电话号码、数值等 请根据短信实际内容，合理使用变量，并设置相应的变量属性，不可笼统设置为“其他”。 内容不清晰 全变量模板；固定文本太少，变量过多，取值过大，无法辨认业务场景等 全变量模板不支持，按需求设置变量并使用尽可能多的固定文本描述，以便能判读短信内容含义及使用场景。 缺少必备关键字 推广短信内容需要添加退订方式，支持回复“R”进行短信退订 推广短信内容需要添加退订方式，请在模板中添加退订方式，支持回复“R”进行短信退订。 验证码模板内容必须含有验证码，注册码，校验码，动态码这4个词其中之一 请添加相应关键字，验证码模板内容必须含有验证码，注册码，校验码，动态码这4个词其中之一。 不同模板类型特有的问题和处理建议如下： 类型 一级问题 二级问题 处理建议 验证码类 夹带禁发内容 不是纯验证码，夹带了营销内容 将非验证码内容删除。 夹带其他变量 除验证码外还有其他长变量 请勿将短信其他内容设为变量，若验证码分注册、修改密码等多个类型，可以分开申请。 通知类 招聘面试不支持 - 平台目前不支持发送招聘、面试通知等，请谅解。 游戏、金融、地产、教育通知不支持 - 平台目前不支持发送游戏、房地产、金融、教育等通知，请谅解。 催缴性质的不支持 - 平台不支持催缴短信、包括提醒支付，请谅解。 通知夹带营销信息 前半段是通知内容，后半段是营销信息 通知类短信中不要夹带营销信息，可根据平台返回的审核说明对模板内容进行修改。 短信含其他规则范围内的禁带内容 如优惠券、加QQ等短信模板规范中短信通知禁带内容 参照模板规范和变量规范创建模板。 根据模板不通过时平台返回的审核说明对禁发内容进行删除。 推广类 明显盲发内容 没有带会员描述，对公司业务进行推广的 在模板中添加会员称谓，确认会员关系。 开业宣传、业务介绍、公司介绍等不能确认会员关系的内容均属盲发短信，不支持发送，请谅解。 4S店、车类不支持 - 4S、车类投诉风险过高，平台暂不支持发送，请谅解。 短信内链接无效或不合规，变量明显指向链接的 链接内容与短信内容不符、链接失效等 模板内容只支持全固定文本链接，以便我们对链接内容进行核实。 若链接为无效链接或无法打开，请您先自行检查是否填错。 若链接内容与模板内容不符，是不支持发送的。 涉及房产、家装、展会等模板审核标准中明显禁止的类型 - 创建模板前，请先仔细阅读模板规范和变量规范，涉及不支持发送的行业类型，我们将直接驳回。 内容过期的 带QQ、微信\微信群、关注公众号、个人联系方式等内容的 带链接变量的 如重大节日后提交节日活动模板 任何节假日（如五一、十一等）的推广内容，都需提前审核模板，以免错过发送时间，造成短信内容过期。 推广短信不支持带加QQ、微信、微信群、关注公众号、个人联系方式、联系方式变量等，建议联系方式改为固话或400或官网链接等。 不支持将链接作为变量，请将链接作为固定文本。 父主题： 故障排除
-
签名审核驳回原因及处理建议是什么？ 一级问题 二级问题 处理建议 材料或来源错误 提交资料与公众号/小程序、APP等主体不一致 检查是否填错了签名（错别字、同音字等）。 检查是否提交错材料，如本来需要提交A营业执照，结果上传时误选了B营业执照。 未查询到相关小程序或公众号 检查是否填错了签名（错别字、同音字等）。 确认小程序/公众号是否已上线。 签名与企业名称不一致 签名并非企业全称或简称，而是公司产品，可在申请说明中提供官网产品介绍链接。 若签名为公司商标、APP等，请选择合适的签名来源。 选择签名来源为APP应用而未提供相关下载链接 请在“APP应用下载地址”输入框中填写带有开发者信息的APP下载链接。 未查询到商标 检查是否填错了签名（错别字、同音字等）。 可到“中国商标网”核实商标信息。 资料图片无法显示 可能是由于上传时文件损坏导致不显示，一般确保文件格式正确，重新上传即可。 网站取名工信部备案网站 域名 未查询到的 看是否为提供的域名填错。 可到信息备案管理系统自检。 签名来源为电商店铺名，未提供所属电商平台 请在“电商平台店铺地址”输入框中填写电商平台店铺链接。 自建商城的可填写商城链接以供核实。 涉及第三方，上传的营业执照是申请方的 涉及第三方权益的签名，需提供的是签名归属方的营业执照。 业务类型不支持 推广、通知签名属于不支持的行业 有些行业并不支持发送所有类型的短信，详情可参照模板规范和变量规范。 格式错误 签名名称要求2~16个字，只能包含中文、数字、字母，不能为纯数字 国内短信尽可能使用中文签名，若签名为公司英文名等，可提供一下公司的官网链接等以便查证。 中性签名，签名不能很好的辨别企事业单位或公司产品、APP等 建议严格按照所选签名来源拟定签名，在有较多相似名称产品时，使用全称。 父主题： 故障排除
-
问题 为什么在往HDFS写数据时报“java.net.SocketException: No buffer space available”异常？ 这个问题发生在往HDFS写文件时。查看客户端和DataNode的错误日志。 客户端日志如下： 图1 客户端日志 DataNode日志如下： 2017-07-24 20:43:39,269 | ERROR | DataXceiver for client DFSClient_NONMAPREDUCE_996005058_86 at /192.168.164.155:40214 [Receiving block BP-1287143557-192.168.199.6-1500707719940:blk_1074269754_528941 with io weight 10] | DataNode{data=FSDataset{dirpath='[/srv/BigData/hadoop/data1/dn/current, /srv/BigData/hadoop/data2/dn/current, /srv/BigData/hadoop/data3/dn/current, /srv/BigData/hadoop/data4/dn/current, /srv/BigData/hadoop/data5/dn/current, /srv/BigData/hadoop/data6/dn/current, /srv/BigData/hadoop/data7/dn/current]'}, localName='192-168-164-155:9866', datanodeUuid='a013e29c-4e72-400c-bc7b-bbbf0799604c', xmitsInProgress=0}:Exception transfering block BP-1287143557-192.168.199.6-1500707719940:blk_1074269754_528941 to mirror 192.168.202.99:9866: java.net.SocketException: No buffer space available | DataXceiver.java:870 2017-07-24 20:43:39,269 | INFO | DataXceiver for client DFSClient_NONMAPREDUCE_996005058_86 at /192.168.164.155:40214 [Receiving block BP-1287143557-192.168.199.6-1500707719940:blk_1074269754_528941 with io weight 10] | opWriteBlock BP-1287143557-192.168.199.6-1500707719940:blk_1074269754_528941 received exception java.net.SocketException: No buffer space available | DataXceiver.java:933 2017-07-24 20:43:39,270 | ERROR | DataXceiver for client DFSClient_NONMAPREDUCE_996005058_86 at /192.168.164.155:40214 [Receiving block BP-1287143557-192.168.199.6-1500707719940:blk_1074269754_528941 with io weight 10] | 192-168-164-155:9866:DataXceiver error processing WRITE_BLOCK operation src: /192.168.164.155:40214 dst: /192.168.164.155:9866 | DataXceiver.java:304 java.net.SocketException: No buffer space available at sun.nio.ch.Net.connect0(Native Method) at sun.nio.ch.Net.connect(Net.java:454) at sun.nio.ch.Net.connect(Net.java:446) at sun.nio.ch.SocketChannelImpl.connect(SocketChannelImpl.java:648) at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:192) at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:531) at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:495) at org.apache.hadoop.hdfs.server.datanode.DataXceiver.writeBlock(DataXceiver.java:800) at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.opWriteBlock(Receiver.java:138) at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.processOp(Receiver.java:74) at org.apache.hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:265) at java.lang.Thread.run(Thread.java:748)
-
回答 当Standby NameNode存储元数据（命名空间）时，出现断电的情况，Standby NameNode启动失败，MD5文件会损坏。通过移除损坏的fsimage，然后启动Standby NameNode，可以修复此问题。Standby NameNode会加载先前的fsimage并重现所有的edits。 修复步骤： 移除损坏的fsimage。 rm -rf ${BIGDATA_DATA_HOME}/namenode/current/fsimage_0000000000000096 启动Standby NameNode。
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格
