检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建HBase客户端连接 功能介绍 HBase通过ConnectionFactory.createConnection(configuration)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以及
本样例实现了Flink消费一个自定义数据源,并将消费的数据写入Elasticsearch或云搜索服务CSS的功能。 主要提供了Elasticsearch Sink的构建及参数设置方法,实现通过Flink将数据写入Elasticsearch的功能。 Flink支持1.12.0及以后版本,Elasticsearch支持7
创建Connection 功能介绍 HBase通过ConnectionFactory.createConnection(configuration)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以及
创建HBase客户端连接 功能介绍 HBase通过ConnectionFactory.createConnection(configuration)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以及
创建HBase客户端连接 功能介绍 HBase通过ConnectionFactory.createConnection(configuration)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以及
更改权限:表示修改选中目录或文件的访问权限。 可以为属主、属组和其他用户设置“读取”、“写”和“执行”权限。 “易贴”表示禁止HDFS的管理员、目录属主或文件属主以外的用户在目录中移动文件。 “递归”表示递归设置权限到子目录。 存储策略:表示设置目录或文件在HDFS中的存储策略。 摘要:表示查看选中的文件或目录的HDFS存储信息。
长期保留可能引起数据目录的磁盘空间不足问题,管理员如果需要将审计日志保存到其他归档服务器,可以在FusionInsight Manager设置转储参数及时自动转储,便于管理审计日志信息。 若用户未配置审计日志转储,当审计日志达到十万条,系统自动将这十万条审计日志保存到文件中。保存
价格详情 购买集群 自定义购买MRS集群 快速购买MRS集群 04 使用 根据业务发展需要,您可以随时扩容/缩容集群、升级Master节点规格、设置弹性伸缩策略。除此之外,您还可以实时查看监控指标及审计日志,以便及时了解集群和节点的健康状态。 如何创建集群 自定义购买集群 创建存算分离集群
“下载路径”选择“远端主机”。 将“主机IP”设置为B集群的主Master节点IP地址,设置“主机端口”为“22”,并将“存放路径”设置为“/tmp”。 如果使用SSH登录B集群的默认端口“22”被修改,请将“主机端口”设置为新端口。 “存放路径”最多可以包含256个字符。 “登录用户”设置为“root”。
在Mac应用中选择钥匙串访问。 “钥匙串”选择“登录”,“种类”选择“证书”。 将步骤3获得的证书拖动到钥匙串列表中。 双击证书将该证书设置为“始终信任”并关闭弹窗。 在出现的确认框中输入登录密码,此时在Chrome中即可访问MRS Manager。 父主题: 登录集群Manager常见异常问题
升级Tomcat版本为官方稳定版本。 设置应用程序之下的目录权限为500,对部分目录支持写权限。 系统软件安装完成后自动清除Tomcat安装包。 应用程序目录下针对工程禁用自动部署功能,只部署了web、cas和client三个工程。 禁用部分未使用的HTTP方法,防止被他人利用攻击。 更改
执行Spark任务就会报内存不足告警,告警id:18022,可用内存会陡降到0。 处理步骤 在SQL脚本前设置executor参数,限制executor的核数和内存。 例如设置如下: set hive.execution.engine=spark; set spark.executor
可以单击“文件”后的 新增加一个文件资源。 在“功能” ,输入用户自定义的名称和函数的类名称。 可以单击“功能”后的 新增加一个自定义函数。 在“设置” ,在“设置”的“键”输入Hive的参数名,在“值”输入对应的参数值,则当前Hive会话会以用户定义的配置连接Hive。 可以单击 新增加一个参数。
各个角色对应的权限如下: 集群运维管理员:拥有在YARN集群上执行管理操作(如访问ResourceManager WebUI、刷新队列、设置NodeLabel、主备倒换等)的权限。 队列管理员:拥有在YARN集群上所管理队列的修改和查看权限。 普通用户:拥有在YARN集群上对自己提交应用的修改和查看权限。
Manager支持监控、配置和管理MRS集群,用户可以在MRS控制台页面打开Manager管理页面。 本章节介绍如何打开MRS Manager方法。 登录MRS Manager 登录MRS管理控制台页面。 在“现有集群” 列表,单击指定的集群名称,进入集群信息页面。 单击“点击管理”,打开“访问MRS
其值需要被动态添加(add),更新(update)或显示(display)的参数名称。 parameter_value 将要设置的“parameter_name”的新值。 注意事项 以下为分别使用SET和RESET命令进行动态设置或清除操作的属性: 表2 属性描述 属性 描述 hoodie.insert.shuffle
切换为omm用户,进入拷贝目录下“/opt/example”,首先确保conf目录下和依赖库文件目录下的所有文件,对当前用户均具有可读权限;同时保证已安装jdk并已设置java相关环境变量,然后执行命令,如java -cp .:/opt/example/conf:/opt/example/kafka-examples-lib/*
用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用hbaseRDD方法以特定的规则扫描HBase表。 数据规划 使用操作Avro格式数据章节中创建的hbase数据表。 开发思路 设置scan的规则,例如:setCaching。 使用特定的规则扫描Hbase表。 运行前置操作
在“下载路径”选择“远端主机”。 将“主机IP”设置为新申请的弹性云服务器的IP地址,设置“主机端口”为“22”,并将“存放路径”设置为“/tmp”。 如果使用SSH登录ECS的默认端口“22”被修改,请将“主机端口”设置为新端口。 “保存路径”最多可以包含256个字符。 “登录用户”设置为“root”。 如
> 角色”。 单击“添加角色”,然后“角色名称”和“描述”输入角色名字与描述。 设置角色“权限”请参见表1。 设置角色的权限时,不能同时选择跨资源权限,如果需要设置多个资源的相关权限,请依次逐一设置。 Loader权限: “管理员”:Loader管理员权限。 “作业连接器”:Loader的连接权限。