检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Hue提交Oozie HDFS作业 操作场景 该任务指导用户通过Hue界面提交HDFS类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“Fs”按钮,将其拖到操作区中。 在弹出的“Fs”窗口中单击“添加”。 单击“CREATE
样例工程复制到编译机器上即可。 用户需保证worker和driver的Python版本一致,否则将报错:"Python in worker has different version %s than that in driver %s."。 用户需保证Maven已配置华为镜像站中
Core和Spark Streaming使用上表中的API接口进行程序开发。而SparkSQL模块,支持CLI或者ThriftServer两种方式访问。其中ThriftServer的连接方式也有Beeline和JDBC客户端代码两种。 spark-sql脚本、spark-shell脚本和
s_Client.tar 待安装客户端节点的IP地址:/opt/Bigdata/client 当用户无法获取root用户权限,需要用omm用户操作。 以user_client用户登录将要安装客户端的服务器。 解压软件包。 进入安装包所在目录,例如“/opt/Bigdata/cli
转包周期。 本章节仅适用于MRS 3.1.0版本。 前提条件 ClickHouse集群和实例状态正常。 已评估好要扩容的ClickHouse节点数据盘磁盘容量大小。 扩容数据盘磁盘容量 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。 单击“节点管理”,在对应的Cl
使用MRS客户端,MRS集群外客户端的安装操作可参考集群外节点使用MRS客户端。 登录FusionInsight Manager页面,下载集群客户端软件包至主管理节点并解压,然后以root用户登录主管理节点,进入集群客户端解压路径下,复制“FusionInsight_Cluste
jar flux-wrappers-<version>.jar 获取业务相关其他jar包,如访问HDFS时需要获取的jar包请参见6,其他场景类似。 Flux配置文件样例 下面是一个完整的访问Kafka业务的yaml文件样例: name: "simple_kafka" components:
准备应用开发配置文件 集群创建成功后,登录FusionInsight Manager创建用于样例工程安全认证的集群用户。 选择“系统 > 权限 > 用户 > 添加用户”,在新增用户界面创建一个人机用户,例如developuser。 “用户组”需加入“hadoop”用户组。 用户创建完成后,使用新建
从纵向来看,每个shard内部有多个副本组成,保证分片数据的高可靠性,以及计算的高可靠性。 数据分布设计 Shard数据分片均匀分布 建议用户的数据均匀分布到集群中的多个shard分片,如图1所示有3个分片。 假如有30 GB数据需要写入到集群中,需要将30 GB数据均匀切分后分
使用MRS客户端,MRS集群外客户端的安装操作可参考集群外节点使用MRS客户端。 登录FusionInsight Manager页面,下载集群客户端软件包至主管理节点并解压,然后以root用户登录主管理节点,进入集群客户端解压路径下,复制“FusionInsight_Cluste
CsvBulkLoad工具导入支持用户自定义分隔符 该内容适用于MRS 3.2.0及之后版本。 Phoenix开源CsvBulkLoad工具当前仅支持指定单个字符作为数据分隔符,当用户数据文件中可能包含任意字符时,一般会采用特殊的字符串作为分隔符,为了满足此类场景,增加了对用户自定义分隔符的支持,用户可以采
ent实例,进行从location创建group、删除group、写文件和删除文件的操作。 使用Colocation功能,用户指定了DataNode,会造成某些节点上数据量很大。数据倾斜严重,导致HDFS写任务失败。 由于数据倾斜,导致MapReduce只会在某几个节点访问,造成这些节点上负载很大,而其他节点闲置。
删除数据连接 功能介绍 删除数据连接 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/data-connectors/{connector_id} 表1 路径参数 参数 是否必选 参数类型 描述 connector_id 是 String
配置多主实例模式 配置场景 集群中支持同时共存多个ThriftServer服务,通过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个ThriftServer服务停止工作,也不影响用户通过同一个客户端接口连接其他正常的ThriftServer服务。 配置描述 登录Manager,选择“集群
there is no user with such name 原因分析 执行连接ClickHouse服务端命令时,用户名或者密码错误。 解决步骤 在执行连接ClickHouse服务端命令时,请输入正确的用户名或者密码,具体操作参考从零开始使用ClickHouse。 父主题: 客户端使用类
样。 修改postgresql.conf配置信息,localhost修改成本节点IP,remotehost修改成对端节点IP。 登录Manager页面重启备DBServer节点。 父主题: 使用DBservice
jar flux-wrappers-<version>.jar 获取业务相关其他jar包,如访问HDFS时需要获取的jar包请参见5,其他场景类似。 Flux配置文件样例 下面是一个完整的访问Kafka业务的yaml文件样例: name: "simple_kafka" components:
“端口号”:填写CIFS协议连接NAS服务器使用的端口号,默认值为“445”。 “用户名”:填写配置CIFS协议时设置的用户名。 “密码”:填写配置CIFS协议时设置的密码。 “服务器共享路径”:填写用户配置的NAS服务器共享目录。(服务器共享路径不能设置为根目录,且共享路径的用户组和属组必须为nobody:nobody)
权限 > 用户组 > 添加用户组”,为样例工程创建一个用户组,例如developgroup。 选择“系统 > 权限 > 用户 > 添加用户”,在新增用户界面,创建一个人机用户,例如developuser。 “用户组”:加入“developgroup”和“hadoop”用户组,设置主组为“developgroup”。
户端目录只是举例,请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下,“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。 使用Oozie客户端 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录