检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
例如：当前节点除了YARN服务外的其他服务（如HBase、HDFS、Hive等）及系统进程使用CPU为20%左右，则可以供YARN调度的CPU为1-20%=80%，即配置此参数为80。 90 本地磁盘 由于本地磁盘会提供给MapReduce写job执行的中间结果，数据量大。因此配置的原则是磁盘尽量多，且磁盘空
使用HDFS 修改RPC端口后HDFS NameNode实例都变为备状态 通过公网IP连接使用HDFS客户端报错 使用Python远程连接HDFS的端口失败 HDFS容量达到100%导致上层服务HBase、Spark等不可用 启动HDFS和Yarn服务报错“Permission denied”
使用FileSystem实例的create方法获取写文件的输出流。 使用该输出流将内容写入到HDFS的指定文件中。 在写完文件后，需关闭所申请资源。 代码样例 如下是写文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
而当某个executor异常退出时，NodeManager会把这个executor所在的container临时目录删除，随后其他executor再来申请这个executor的shuffle结果就会报文件找不到。 因此，遇到这样的问题需要确认是否executor异常退出，可以根据spark任
"read"; 表2 套接字权限 权限类型 权限名 允许的操作 示例 java.net.SocketPermission 主机名:端口：指定主机和端口 *：所有地址和端口 accept：接收 listen：侦听 connect：连接 resolve：解析 允许实现所有套接字操作： permission
数据库登录用户为1创建的具有Doris管理员权限的用户。 Doris FE的查询连接端口，可以通过登录Manager，单击“集群 > 服务 > Doris > 配置”，查询Doris服务的“query_port”参数获取。 Doris DBalancer的TCP访问端口，可以通过登录Manager，单击“集群 > 服务
使用DBservice DBServer实例状态异常 DBServer实例一直处于Restoring状态 DBService默认端口20050或20051被占用 /tmp目录权限不对导致DBserver实例状态一直处于Restoring DBService备份任务执行失败 DBS
I_nosec.py中的host的值修改为安装HiveServer的节点的业务平面IP，port的值修改为Hive提供Thrift服务的端口（hive.server2.thrift.port），默认值为“10000”。 执行以下命令运行Python3客户端： cd python3-examples
JVM直接内存，建议值为堆内存的“1/4”，主要影响写入性能，如果写入性能明显下降，可以适当调整该参数，参数值按照0.5倍速率调大。注意：需要保证“堆内存+直接内存 <= 80% * 系统可用内存”， 否则会导致IoTDB启动失败。 查询场景调优举例：如果查询的范围比较大，单个序列10000个点以上，JVM分配内存的20%
) ENGINE = Kafka() SETTINGS kafka_broker_list = 'host1:port1,host2:port2', kafka_topic_list = 'topic1,topic2,...', kafka_group_name
0-LTS.1.5修复问题列表： 解决Spark-JDBC偶现多租户模式下，driver端口与thriftserver端口一致冲突引发一系列问题。 解决Spark空闲的SparkJDBC任务超过30分钟，没有结束，资源未释放浪费资源问题。 解决HetuEngine在存散分离场景下映射方式对接OBS，查询大数据量时报错的问题。
SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22 Sftp用户名 访问SFTP服务器的用户名。 root Sftp密码 访问SFTP服务器的密码。 xxxx Sftp公钥
配置管理里的集群连接名称。 HDFS类型数据连接需配置该参数。 - Kafka broker Kafka Broker实例的连接信息，格式为“IP地址:端口”，多个实例之间通过逗号分隔。 Kafka类型数据连接需配置该参数。 192.168.0.1:21005,192.168.0.2:21005
'test_sink', 'properties.bootstrap.servers' = 'Kafka的Broker实例业务IP:Kafka端口号', 'scan.startup.mode' = 'latest-offset', 'value.format' = 'csv'
获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
directory配置/home目录时启动yarn-session失败 问题 当用户设置“blob.storage.directory”为“/home”时，用户没有权限在“/home”下创建“blobStore-UUID”的文件，导致yarn-session启动失败。 回答 建议将"blob.storage
directory配置/home目录时启动yarn-session失败 问题 当用户设置“blob.storage.directory”为“/home”时，用户没有权限在“/home”下创建“blobStore-UUID”的文件，导致yarn-session启动失败。 回答 建议将"blob.storage
schema ] [ LIKE pattern [ESCAPE escapeChar] ] 描述 这个表达式用于列出指定schema下的所有表。如果没有指定schema，则默认使用当前所在的schema。 可选参数like被用于基于关键字来进行匹配。 示例 --创建测试表 Create table
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
