检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过HSBroker的用户名密码认证实现查询HetuEngine SQL任务 本章节适用于MRS 3.3.0及以后版本。 通过HSBroker连接方式实现,使用用户名和密码连接到HetuEngine,组装对应的SQL发送到HetuEngine执行。 import jaydebeapi
--scan-caching(可选) :一致性检查/修复的MapReduce任务中scan caching大小。 父主题: 配置HBase全局二级索引提升查询效率
TABLE 查询(Select)、插入(Insert) SHOW COLUMNS 查询(Select) SHOW TABLE STATUS 查询(Select) SHOW TABLE PROPERTIES 查询(Select) SELECT 查询(Select) EXPLAIN 查询(Select)
'{replica}') PARTITION BY toYYYYMM(d)ORDER BY a; 配置“ClickHouse输出”算子,如下图: 作业执行成功后,查看testck4表中数据: 父主题: 输出算子
DB的Datasource,能够在Spark中创建关联表,查询和插入OpenTSDB数据。 使用CREATE TABLE命令创建表并关联OpenTSDB上已有的metric。 若OpenTSDB上不存在metric,查询对应的表会报错。 语法格式 CREATE TABLE [IF
ar包并执行HDFS上更新了oozie的share lib目录但没有生效。如果执行了更新“share lib”目录依然报找不到类,那么可以查看执行更新“share lib”的命令打印出来的路径“sharelibDirNew”是否是“ /user/oozie/share/lib”,
bManager和TaskManager的算子内的日志输出,输出的日志会打印到对应的yarn contain中,可以在Yarn WebUI查看对应日志。 MRS 3.1.0及之后版本的Flink 1.12.0版本开始默认的日志框架是log4j2,配置的方式跟之前log4j的方式有
clickhouse-examples-*.jar 查看调测结果 ClickHouse应用程序运行完成后,可通过以下方式查看程序运行情况: 通过运行结果查看程序运行情况。 通过ClickHouse日志获取应用运行情况。 即查看当前jar文件所在目录的“logs/clickhouse-example
一个关键特性,适用于四个查询场景:使用Get读取数据、使用批量Get读取数据、使用Scan读取数据,以及基于二级索引查询。它能够同时读取主备集群数据,减少查询毛刺,具体表现为: 高成功率:双并发读机制,保证每一次读请求的成功率。 可用性:单集群故障时,查询业务不中断。短暂的网络抖动也不会导致查询时间变长。
获取SQL结果 功能介绍 在MRS集群中查询SparkSql和SparkScript两种类型作业的SQL语句运行完成后返回的查询结果。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/j
Join介绍 SQL Join用于根据两个或多个表中的列之间的关系,从这些表中查询数据。Flink Stream SQL Join允许对两个流式table进行Join,并从中查询结果。支持类似于以下内容的查询: SELECT o.proctime, o.productId, o.orderId
CSV文件输入 概述 “CSV文件输入”算子,用于导入所有能用文本编辑器打开的文件。 输入与输出 输入:文本文件 输出:多个字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 分隔符 CSV文件的列分隔符,用于分隔每行的数据。 string 是 , 换行符 用
规划好新的目录路径,用于保存旧目录中的数据。 准备好MRS集群管理员用户admin。 操作步骤 检查环境。 登录Manager,选择“集群 > 待操作集群的名称 > 服务”查看Yarn的状态“运行状态”是否为“良好”。 是,执行1.c。 否,Yarn状态不健康,执行1.b。 修复Yarn异常,任务结束。 确定修改NodeManager的存储目录场景。
为什么对decimal数据类型进行带过滤条件的查询时会出现异常输出? 问题 当对decimal数据类型进行带过滤条件的查询时,输出结果不正确。 例如, select * from carbon_table where num = 1234567890123456.22; 输出结果:
通过HSBroker的用户名密码认证实现查询HetuEngine SQL任务 本章节适用于MRS 3.3.0及以后版本。 通过HSBroker方式连接到HetuEngine,组装对应的SQL发送到HetuEngine执行,完成对Hive数据源的增删改查操作。 import jaydebeapi
(FileStatus file, long start, long len) 通过该接口可查找指定文件在HDFS集群上块的位置,其中file为文件的完整路径,start和len来标识查找文件的块的范围。 public FSDataInputStream open(Path f)
x及之前版本:单击“系统设置”,在“权限配置”区域,单击“用户组管理”。 在用户组列表中,根据实际需要对用户组执行以下操作。 查看用户组信息:用户组列表默认显示所有用户组。单击指定用户组名称左侧的箭头展开详细信息,可以查看此用户组中的用户数、用户以及绑定的角色。 修改用户组信息:在要修改信息用户组所在的行,单击“修改”,修改用户组信息。
the file system”。 图4 进入HDFS WebUI 观察HDFS上“/flume/test”目录下是否有产生数据。 图5 查看HDFS目录和文件 父主题: 配置Flume非加密传输数据采集任务
the file system”。 图4 进入HDFS WebUI 观察HDFS上“/flume/test”目录下是否有产生数据。 图5 查看HDFS目录和文件 父主题: 配置Flume非加密传输数据采集任务
WebUI,然后选择“Utilities > Browse the file system”。 观察HDFS上“/flume/test”目录下是否有产生数据。 图4 查看HDFS目录和文件 父主题: 配置Flume非加密传输数据采集任务