检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
出，从而丢失了溢出的事件，影响了UI、EventLog、动态资源调度等功能。所以为了更灵活的使用，在这边添加一个配置项，用户可以根据Driver的内存大小设置合适的值。 配置描述 参数入口： 在执行应用之前，在Spark服务配置中修改。在Manager系统中，选择“集群 > 服务
x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Hive > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 如果集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 MRS
使用MRS客户端，MRS集群外客户端的安装操作可参考集群外节点使用MRS客户端。 登录FusionInsight Manager页面，下载集群客户端软件包至主管理节点并解压，然后以root用户登录主管理节点，进入集群客户端解压路径下，复制“FusionInsight_Cluste
间来预留磁盘百分比。 如果用户同时配置“dfs.datanode.du.reserved.percentage”和“dfs.datanode.du.reserved”，则采用这两个参数较大的数值作为DataNode的预留空间大小。 建议基于磁盘空间设置“dfs.datanode.du
UI地址为http://10.120.169.53:23011，是10网段的IP地址。由于192网段的IP和10网段的IP不能互通，所以导致访问Spark Web UI界面失败。 修改方案： 登录10.120.169.53客户端机器，修改/etc/hosts文件，将10.120.169.53更改为相对应的1
to queue root.QueueA 原因分析 当前登录的用户无YARN队列提交权限。 解决方案 用户无YARN队列提交权限，需要赋予YARN相应队列的提交权限。在Manager页面的“系统 >权限 > 用户”中给用户绑定队列提交权限的角色。 父主题： 使用Hive
采集堆栈信息 登录FusionInsight Manager。 选择“集群 > 服务 > 待收集服务的名称”。 选择“更多 > 采集堆栈”。 采集多个实例的堆栈信息：进入实例列表，勾选要采集的实例名称，选择“更多 > 采集堆栈”。 采集单个实例的堆栈信息：单击要采集的实例，选择“更多
场景说明 场景说明 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Spark应用程序实现如下功能： 实时统计连续网购时间超过半个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“,”。 log1
"hdfsSetReplication- SUCCESS!, Set replication 10 for %s\n",file); 设置用户、用户组。 if (hdfsChown(fs, file, "root", "root")) { fprintf(stderr, "Failed
集群已启用Kerberos认证（安全模式）创建HetuEngine管理员用户，集群未启用Kerberos认证（普通模式）创建HetuEngine业务用户，并为其赋予HDFS管理员权限，即创建用户时需同时加入“hadoop”和“hadoopmanager”用户组，创建用户可参考创建HetuEngine权限角色。
默认值 换行符 用户根据数据实际情况，填写字符串作为换行符。支持任何字符串。默认使用操作系统的换行符。 string 否 \n 分割长度单位 长度单位，可选择“char”字符或“byte”字节。 enum 是 char 输入字段 配置输入字段相关信息： 固定长度：设置字段长度，第2
命令中新增“connect_timeout”参数，默认值为10秒，命令如下： mysql -u数据库登录用户 -p数据库登录用户密码 -P数据库连接端口 -hDoris FE实例IP地址 --connect_timeout=120 父主题： Doris常见问题
RSGroup在每个AZ下都存在RegionServer实例的规则。 本章节内容仅适用于MRS 3.1.2及之后版本。 前提条件 已登录Manager。 登录角色拥有Manager管理员权限。 将RSGroup最小节点数设置为下述三种情况的最大值。 为了保证服务的可靠性，RSGr
例如连接器类型选择“Apache HBase”。 （可选）HBase迁移建议使用高权限用户，单击“显示高级属性”，新增迁移所需用户“hadoop.user.name = 用户名（如omm用户）”。 图2 到迁移源端集群的连接 在“连接管理”页签，单击“新建连接”。 参考CDM服
Scala开发环境的基本配置。版本要求：1.5.4。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 准备开发用户 参考准备MRS应用开发用户进行操作，准备用于应用开发的集群用户并授予相应权限。 7-zip 用于解压“*.zip”和“*.rar”文件，支持7-Zip 16.04版本。
Spark Python API接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类： pyspark.SparkContext：是Spark的对外接口。负责向调用
以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client 执行以下命令，配置环境变量。 source bigdata_env 执行以下命令，进行用户认证。 kinit 组件业务用户 执行以下命令，切换到Kafka客户端安装目录。
以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client 执行以下命令，配置环境变量。 source bigdata_env 执行以下命令，进行用户认证。 kinit 组件业务用户 执行以下命令，切换到Kafka客户端安装目录。
默认值 换行符 用户根据数据实际情况，填写字符串作为换行符。支持任何字符串。默认使用操作系统的换行符。 string 否 \n 分割长度单位 长度单位，可选择“char”字符或“byte”字节。 enum 是 char 输入字段 配置输入字段相关信息： 固定长度：设置字段长度，第2
LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 mysql -u数据库登录用户 -p -PFE查询连接端口 -hDoris FE实例IP地址 执行命令后输入数据库登录用户密码。 Doris FE的查询连接端口，可以通过登录Manager，单击“集群 > 服务 > Doris > 配置”
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
