检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
classes”中增加一个值:“org.apache.hadoop.hbase.filestream.coprocessor.FileStreamMasterObserver”。 如果只有小文件,确定不会有大文件的场景下,建议使用HBase的原始接口进行操作。 HFS接口需要同时对HBase和HDFS
添加Manager用户 功能介绍 通过访问Manager接口完成添加用户。 代码样例 以下代码片段是添加用户的示例,在“rest”包的“UserManager”类的main方法中。 //访问Manager接口完成添加用户 operationName = "AddUser";
查找Manager用户 功能简介 通过访问Manager接口完成查找用户。 代码样例 以下代码片段是查找用户的示例,在“rest”包的“UserManager”类的main方法中。 //访问Manager接口完成查找用户列表 operationName =
客户端机器必须安装有jaydebeapi,可以通过该模块使用java的JDBC来连接数据库。 可通过如下两种方式安装: pip安装: 在客户端节点执行pip install JayDeBeApi。 运行脚本安装。 通过官方网站下载JayDeBeApi项目文件,下载地址:https://pypi
<classname>:指定一个类作为程序运行的入口点。 -C,--classpath <url>:指定classpath。 -d,--detached:以分离方式运行job。 -n,--allowNonRestoredState: 从快照点恢复时允许跳过不能恢复的状态。比如删除了程序中某个操作符,那么在恢复快照点时需要增加该参数。
<classname>:指定一个类作为程序运行的入口点。 -C,--classpath <url>:指定classpath。 -d,--detached:以分离方式运行job。 -files,--dependencyFiles <arg>:Flink程序依赖的文件。该参数适用于MRS 3.2.0及以后版本。
WebUI使用元数据浏览器 操作场景 用户需要使用图形化界面在集群中管理Hive的元数据,可以通过Hue完成任务。 元数据管理器使用介绍 访问Hue WebUI,请参考访问Hue WebUI界面。 查看Hive表的元数据 在左侧导航栏单击表,单击某一表名称,界面将显示Hive表的元数据信息。 管理Hive表的元数据
保存配置,重启Spark2x服务。 访问编辑器 访问Hue WebUI,请参考访问Hue WebUI界面。 在左侧导航栏单击,然后选择“SparkSql”,进入“SparkSql”。 “SparkSql”支持以下功能: 执行和管理SparkSql语句。 在“保存的查询”中查看当前访问用户已保存的SparkSql语句。
通过Hue查看Hive元数据 操作场景 用户需要使用图形化界面在集群中管理Hive的元数据,可以通过Hue完成任务。 元数据管理器使用介绍 访问Hue WebUI,请参考访问Hue WebUI界面。 查看Hive表的元数据 在左侧导航栏单击表,单击某一表名称,界面将显示Hive表的元数据信息。 管理Hive表的元数据
配置HBase表类型,可选项为normal(普通HBase表)和phoenix表。 enum 是 normal NULL值处理方式 配置NULL值处理方式。选中单选框时是将转换为空字符串并保存。不选中单选框时是不保存数据。 boolean 否 不选中单选框 HBase输出字段 配置HBase输出信息:
loader-tool工具使用示例 操作场景 loader-tool工具支持通过作业模板或参数选项的方式,对连接器或者作业进行创建、更新、查询、删除等操作。 本文将以“从SFTP服务器导入数据到HDFS”的作业为例,通过引用作业模板的方式,介绍loader-tool工具的使用方法。 本章节适用于MRS 3.x及后续版本。
配置HBase表类型,可选项为normal(普通HBase表)和phoenix表。 enum 是 normal NULL值处理方式 配置NULL值处理方式。选中单选框时是将转换为空字符串并保存。不选中单选框时是不保存数据。 boolean 否 不选中单选框 HBase输出字段 配置HBase输出信息:
配置HDFS Mover命令迁移数据 配置场景 Mover是一个新的数据迁移工具,工作方式与HDFS的Balancer接口工作方式类似。Mover能够基于设置的数据存储策略,将集群中的数据重新分布。 通过运行Mover,周期性地检测HDFS文件系统中用户指定的HDFS文件或目录,
证安全,管理员可以锁定用户。锁定用户的方法包含以下两种方式: 自动锁定:通过设置密码策略中的“密码连续错误次数”,将超过登录失败次数的用户自动锁定。具体操作请参见配置MRS集群用户密码策略。 手动锁定:由管理员通过手动的方式将用户锁定。 以下将具体介绍手动锁定。不支持锁定“机机”
hema变更,用户可以将状态数据编码/解码成二进制数据以支持schema迁移。 Source的容错性支持列表 Sources 支持的Options 容错支持 说明 File source path:必填,文件路径 maxFilesPerTrigger:每次trigger最大文件数(默认无限大)
删除Doris表 本章节介绍删除Doris表样例代码。 以下代码片段在“JDBCExample”类中。 以Java JDBC方式执行SQl语句删除集群中的dbName.tableName表。 String dropSql = "drop table " + dbName + "."
删除Doris表 本章节介绍删除Doris表样例代码。 以下代码片段在“JDBCExample”类中。 以Java JDBC方式执行SQl语句删除集群中的dbName.tableName表。 String dropSql = "drop table " + dbName + "."
r/21/cluster/scheduler? openQueues= ^default$ 原因分析 页面链接无法识别符号“^”,导致页面访问失败。 处理步骤 登录Manager页面,选择“集群 > 服务 > Yarn > 配置 > 全部配置”。 在搜索框搜索“yarn.resourcemanager
JDBC接口介绍 Hive JDBC接口遵循标准的JAVA JDBC驱动标准,详情请参见JDK1.7 API。 Hive作为数据仓库类型数据库,其并不能支持所有的JDBC标准API。 例如事务类型的操作:rollback、setAutoCommit等,执行该类操作会产生“Method
旧Consumer API 指kafka.consumer.ConsumerConnector中定义的接口,在使用“kafka-console-consumer.sh”时,默认使用此API。 新Producer API和新Consumer API,在下文中统称为新API。 处理步骤 旧Consumer