检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FS/OBS数据源的输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的任务需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。 操作步骤
OpenTSDB是否支持Python的接口？ 问： OpenTSDB是否支持Python的接口？ 答： OpenTSDB基于HTTP提供了访问其的RESTful接口，而RESTful接口本身具有语言无关性的特点，凡是支持HTTP请求的语言都可以对接OpenTSDB，所以OpenTSDB支持Python的接口。
从checkpoint恢复spark应用的限制 问题 Spark应用可以从checkpoint恢复，用于从上次任务中断处继续往下执行，以保证数据不丢失。但是，在某些情况下，从checkpoint恢复应用会失败。 回答 由于checkpoint中包含了spark应用的对象序列化信息、task执行
从checkpoint恢复spark应用的限制 问题 Spark应用可以从checkpoint恢复，用于从上次任务中断处继续往下执行，以保证数据不丢失。但是，在某些情况下，从checkpoint恢复应用会失败。 回答 由于checkpoint中包含了spark应用的对象序列化信息、task执行
MRS支持的角色与组件对应表 表1 MRS支持的角色与组件对应表 角色名 组件名 OMSServer OMSServer NameNode HDFS Zkfc HDFS JournalNode HDFS DataNode HDFS ResourceManager Yarn NodeManager
HDFS的DataNode一直显示退服中 用户问题 HDFS的DataNode一直显示退服中。 问题现象 HDFS的某个DataNode退服（或者对Core节点进行缩容）任务失败，但是DataNode在任务失败后一直处于退服中的状态。 原因分析 在对HDFS的某个DataNode
配置DBService HA模块的SSL 操作场景 本任务将对安装DBService的集群进行手动配置DBService服务HA模块SSL的操作。 执行该操作后，如需还原，请执行还原DBService HA模块的SSL配置。 前提条件 MRS集群内主、备DBService节点的“$BIGDATA
来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 NameService名 产生告警的NameService名称。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDF
使用Python远程连接HDFS的端口失败 用户问题 使用Python远程连接HDFS的端口失败，如何解决？ 问题现象 用户使用Python远程连接HDFS的50070端口失败。 原因分析 HDFS开源3.0.0以下版本的默认端口为50070，3.0.0及以上的默认端口为9870。用户使用的端口和HDFS版本不匹配导致连接端口失败。
为什么含转义字符的输入数据记录到Bad Records中的值与原始数据不同？ 问题 为什么含转义字符的输入数据记录到Bad Records中的值与原始数据不同？ 回答 转义字符以反斜线"\"开头，后跟一个或几个字符。如果输入记录包含类似\t，\b，\n，\r，\f，\'，\"，\\的转义字
步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 在KafkaManager概述的“KafkaManager WebUI”中单击任意一个UI链接，打开KafkaManager的WebUI页面。 KafkaManager的WebUI支持查看以下信息：
提交的Yarn作业在界面上查看不到如何处理？ 问： 创建完Yarn作业后，以admin用户登录Manager界面查看不到运行的作业。 答： admin用户为集群管理页面用户，检查是否有supergroup权限，通常需要使用具有supergroup权限的用户才可以查看作业。 使用提
从ogg同步数据到Hudi时，ogg Source配置的Task值与任务实际运行的Task数量不一致 现象描述 执行从ogg同步数据到Hudi的CDL任务时，源端（ThirdKafka）中指定的“tasks.max”值与任务实际运行的Task数量不一致。 例如，在CDL WebUI界
SQL无法查询到Parquet类型的Hive表的新插入数据 问题 为什么通过Spark SQL无法查询到存储类型为Parquet的Hive表的新插入数据？主要有以下两种场景存在这个问题： 对于分区表和非分区表，在Hive客户端中执行插入数据的操作后，会出现Spark SQL无法查询到最新插入的数据的问题。 对于分区表，在Spark
选择“Libraries”页签，然后在如下页面，单击“+”，添加本地的依赖包。 图1 添加依赖包 单击“Apply”加载依赖包，然后单击“OK”完成配置。 由于运行环境不存在用户自定义的依赖包，您还需要在编包时添加此依赖包。以便生成的jar包已包含自定义的依赖包，确保Spark程序能正常运行。 在“Project
选择“Libraries”页签，然后在如下页面，单击“+”，添加本地的依赖包。 图1 添加依赖包 单击“Apply”加载依赖包，然后单击“OK”完成配置。 由于运行环境不存在用户自定义的依赖包，您还需要在编包时添加此依赖包。以便生成的jar包已包含自定义的依赖包，确保Spark程序能正常运行。 在“Project
节点只挂载了3块数据盘，则data4与data2下的目录合并。如果只挂载了2块数据盘，则data3与data1下的目录合并，data4与data2下的目录合并。 例如，ZooKeeper节点上有4块数据盘，则ZooKeeper的数据目录为“/srv/BigData/data4/z
如果待创建的表有一个常用于过滤的列 ，例如80%以上的场景使用此列过滤。 针对此类场景，调优方法如下： 将常用于过滤的列放在sort_columns第一列。 例如，msname作为过滤条件在查询中使用的最多，则将其放在第一列。创建表的命令如下，其中采用msname作为过滤条件的查询性能将会很好。
现是否要发起认证，还需要判断configuration中是否有配置“hadoop.security.authentication”为“kerberos”。 本Hive业务应用确实没有正确设置此配置，所以被认为不需要做kerberos认证。 分析Hive组件的“jdbc-examp
配置Spark表、列和数据库的用户权限 操作场景 使用SparkSQL操作表或者数据库时，如果用户访问别人创建的表或数据库，需要授予对应的权限。为了实现更严格权限控制，SparkSQL也支持列级别的权限控制。如果要访问别人创建的表上某些列，需要授予列权限。以下介绍使用Manage
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
