检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1.如果“yarn.nodemanager.aux-services”配置项已存在，则在value中添加“spark_shuffle”，且用逗号和其他值分开。 2.“spark.shuffle.service.port”的值需要和上面“yarn-site.xml”中的值一样。 父主题：
作业提交参数间用空格隔开导致参数信息不被识别如何处理？ 问： 作业提交参数间用空格隔开会导致参数信息不被识别吗？ 答： 不同参数间用空格隔开，可通过在参数名前添加@的方式防止参数信息被明文存储，例如: @password=XXXXXX进行使用。 父主题： 作业管理类
DataArts Studio调度Spark作业偶现失败如何处理？ 问题现象 DataArts Studio调度spark作业，偶现失败，重跑失败，作业报错： Caused by: org.apache.spark.SparkException: Application appli
用add jar方式创建function，执行drop function时出现问题 问题 问题一： 用户没有drop function的权限，能够drop成功。具体场景如下： 在FusionInsight Manager页面上添加user1用户，给予用户admin权限，执行下列操作：
mor表： 由于其本质上是写增量文件，调优可以直接根据Hudi的数据大小（dataSize）进行调整。 dataSize如果只有几个G，推荐跑单节点运行spark，或者yarn模式但是只分配一个container。 入湖程序的并行度p设置：建议p = (dataSize)/128M
用add jar方式创建function，执行drop function时出现问题 问题 问题一： 用户没有drop function的权限，能够drop成功。具体场景如下： 在FusionInsight Manager页面上添加user1用户，给予用户admin权限，执行下列操作：
mor表： 由于其本质上是写增量文件，调优可以直接根据hudi的数据大小（dataSize）进行调整。 dataSize如果只有几个G，推荐跑单节点运行spark，或者yarn模式但是只分配一个container。 入湖程序的并行度p设置：建议 p = （dataSize）/128M
PMS进程占用内存高 用户问题 主Master节点内存使用率高如何处理？ 问题现象 主Master节点内存使用率高，且用top -c命令查询的内存占用量高的是如下idle的进程。 原因分析 PostgreSQL缓存：除了常见的执行计划缓存、数据缓存，PostgreSQL为了提高生
Knox进程占用内存高 用户问题 knox进程占用内存高。 问题现象 主Master节点内存使用率高，用top -c命令查看到占用内存较高的进程中有knox进程，且此进程占用内存超过4 GB。 原因分析 knox进程没有单独配置内存，进程会自动根据系统内存大小按照比例划分可用内存，导致knox占用内存大。
配置Spark Streaming对接Kafka可靠性 配置场景 Spark Streaming对接Kafka时，当Spark Streaming应用重启后，应用根据上一次读取的topic offset作为起始位置和当前topic最新的offset作为结束位置从Kafka上读取数据的。
参考Hive JDBC代码用例开发的业务应用运行失败 问题背景与现象 用户参考Hive组件的“jdbc-examples”样例工程，完成其自身业务应用开发后，运行此应用失败。应用侧报如下异常： .......... 2017-05-11 14:33:52.174 ERROR
adding"。 默认密钥的长度为128。用户可以使用参数-size定义需要的密钥的长度。任意的attribute=value类型属性可以用参数-attr定义。每一个属性，-attr可以被定义很多次。 回滚操作 hadoop key roll <keyname> [-provider
UUID函数 语法 uuid() 描述 使用该函数产生一个伪随机的唯一通用标识符。 示例 select uuid(); 父主题： HetuEngine SQL函数和操作符说明
--multiline 如果指定，允许多行语句查询（Enter仅代表换行，不代表查询语句完结）。 --multiquery 如果指定，允许处理用;号分隔的多个查询，只在非交互模式下生效。 --format 使用指定的默认格式输出结果。 --vertical 如果指定，默认情况下使用垂
如何使用PySpark连接MRS Spark？ 问： 如何在ECS服务器上用PySpark连接内网开启Kerberos认证的MRS Spark集群？ 答： 将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials
file client.channels.static_log_channel.dataDirs = 数据缓存路径，设置多个路径可提升性能，中间用逗号分开 client.channels.static_log_channel.checkpointDir = 检查点存放路径 client
file client.channels.static_log_channel.dataDirs = 数据缓存路径，设置多个路径可提升性能，中间用逗号分开 client.channels.static_log_channel.checkpointDir = 检查点存放路径 client
uri=thrift://{目标集群的Hive Metastore IP}:{目标集群的Hive metastore端口} (多个MetaStore地址间用逗号分隔，如：thrift://192.0.2.1:9083,thrift://192.0.2.2:9083)。 myhive.hive.config
TRUNCATE TABLE 语法 TRUNCATE [TABLE] table_name [PARTITION partition_spec]; partition_spec: : (partition_column = partition_col_value, partition_column
SparkSQL读取ORC表报错 问题现象 Hive创建ORC存储格式的表，用SparkSQL读取该表时报错： 原因分析 该问题为一个开源社区问题：https://issues.apache.org/jira/browse/HIVE-11102，使用开源的hive 1.2.1版本包就有可能触发此问题。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
