检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL中常用的类有： SQLContext：是Spark SQL功能和DataFrame的主入口。 DataFrame：是一个以命名列方式组织的分布式数据集。 HiveContext：获取存储在Hive中数据的主入口。 表5 常用的Actions方法 方法 说明 collect(): Array[Row]
页面主要包括了Jobs、Stages、Storage、Environment和Executors五个部分。Streaming应用会多一个Streaming标签页。 页面入口：在YARN的Web UI界面，查找到对应的Spark应用程序。单击应用信息的最后一列“ApplicationMaster”，即可进入SparkUI页面。
载目录名”。 确认“主机名”节点的“设备分区名”对应的磁盘是否在对应服务器的插槽上。 是，执行4。 否，执行5。 联系硬件工程师将故障磁盘在线拔出。 以root用户登录发生告警的“主机名”节点，检查“/etc/fstab”文件中是否包含“挂载目录名”的行，用户密码为安装前用户自定义，请咨询系统管理员。
间的10%，即GC time elapsed (ms)/CPU time spent (ms)<10%。 主要通过如下参数进行调整。 参数入口： 进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 建议：配置“mapreduce
x及之后版本。 前提条件 在执行批量加载时需要通过“Dimporttsv.bulk.output”参数指定文件的输出路径。 操作步骤 参数入口：执行批量加载任务时，在BulkLoad命令行中加入如下参数。 表1 增强BulkLoad效率的配置项 参数 描述 配置的值 -Dimporttsv
tLog、动态资源调度等功能。所以为了更灵活的使用，在这边添加一个配置项，用户可以根据Driver的内存大小设置合适的值。 配置描述 参数入口： 在执行应用之前，在Spark服务配置中修改。在Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > Spark2x >
tLog、动态资源调度等功能。所以为了更灵活的使用，在这边添加一个配置项，用户可以根据Driver的内存大小设置合适的值。 配置描述 参数入口： 在执行应用之前，在Spark服务配置中修改。在Manager系统中，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”。在搜索框中输入参数名称。
SQL中常用的类有： SQLContext：是Spark SQL功能和DataFrame的主入口。 DataFrame：是一个以命名列方式组织的分布式数据集。 HiveContext：获取存储在Hive中数据的主入口。 表6 常用的Actions方法 方法 说明 collect(): Array[Row]
SQL中常用的类有： SQLContext：是Spark SQL功能和DataFrame的主入口。 DataFrame：是一个以命名列方式组织的分布式数据集。 HiveContext：获取存储在Hive中数据的主入口。 表6 常用的Actions方法 方法 说明 collect(): Array[Row]
SQL中常用的类有： SQLContext：是Spark SQL功能和DataFrame的主入口。 DataFrame：是一个以命名列方式组织的分布式数据集。 HiveContext：获取存储在Hive中数据的主入口。 表6 常用的Actions方法 方法 说明 collect(): Array[Row]
SQL中常用的类有： SQLContext：是Spark SQL功能和DataFrame的主入口。 DataFrame：是一个以命名列方式组织的分布式数据集。 HiveContext：获取存储在Hive中数据的主入口。 表6 常用的Actions方法 方法 说明 collect(): Array[Row]
您可以设置文件保留在回收站中的时间阈值，一旦文件保存时间超过此阈值，将从回收站中永久地删除。如果回收站被清空，回收站中的所有文件将被永久删除。 配置描述 参数入口： 请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 fs.trash
HDFS支持用户进行文件和目录默认权限的修改。HDFS默认用户创建文件和目录的权限的掩码为“022”，如果默认权限满足不了用户的需求，可以通过配置项进行默认权限的修改。 参数入口： 请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 fs.permissions
您可以设置文件保留在回收站中的时间阈值，一旦文件保存时间超过此阈值，将从回收站中永久地删除。如果回收站被清空，回收站中的所有文件将被永久删除。 配置描述 参数入口： 请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 fs.trash
HDFS支持用户进行文件和目录默认权限的修改。HDFS默认用户创建文件和目录的权限的掩码为“022”，如果默认权限满足不了用户的需求，可以通过配置项进行默认权限的修改。 参数入口： 请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 fs.permissions
区移出存储池；如果硬盘恢复正常（通常是因为用户更换了新硬盘），也会将新硬盘重新加入业务运作。这样极大简化了维护人员的工作，更换故障硬盘可以在线完成；同时用户可以设置热备盘，从而极大缩减了故障硬盘的修复时间，有利于提高系统的可靠性。 节点磁盘LVM配置 MRS支持将多个磁盘配置成LVM（Logic
Web页面可以查看Task Managers、Job Manager部分的日志。 Yarn页面主要包括了Job Manager日志以及GC日志等。 页面入口：在YARN的Web UI界面，查找到对应的Flink应用程序。单击应用信息的第一列ID，然后选择Logs列单击进去即可打开。 父主题： 调测Flink应用
Hive常用常用配置参数 参数入口 对于MRS 3.x之前版本，登录MRS控制台，在左侧导航栏选择“现有集群”，单击集群名称，选择“组件管理 > Hive > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 对于MRS 3.x之后版本，登录FusionInsight Manager，选择“集群
参考信息），保存并重启Storm服务。 MRS Manager界面操作入口：登录MRS Manager，依次选择 “服务管理 > Storm> 配置”。 FusionInsight Manager界面操作入口：登录FusionInsight Manager，选择“集群 > 服务 >
参数配置项为服务级配置需要重启Kafka，建议在变更窗口做服务级配置修改。 参数描述 如果业务需要保证高可用和高性能。 在服务端配置如表1中参数，参数配置入口请参考修改集群服务配置参数。 表1 服务端高可用性和高性能参数说明 参数 默认值 说明 unclean.leader.election.enable
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
