检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持配置的其他参数如下: -sql,--export-sql <arg> 导出数据SQL设置。从Hive/Spark表读取数据时,设置该参数可自行过滤部分无需同步的数据。 -rc,--rowkey-columns <arg> 指定源表中组成HBase Rowkey的列,如果有多个列,请使用逗号分隔。
使用Flux定义拓扑分为两种场景,定义新拓扑和定义已有拓扑。 使用Flux定义新拓扑 使用Flux定义拓扑,即使用yaml文件来描述拓扑,一个完整的拓扑定义需要包含以下几个部分: 拓扑名称 定义拓扑时需要的组件列表 拓扑的配置 拓扑的定义,包含spout列表、bolt列表和stream列表 定义拓扑名称: name:
该示例创建出来的是按需购买的分析集群。 操作步骤 接口相关信息 URI格式:POST /v2/{project_id}/clusters 详情请参见创建集群。 请求示例 POST: https://{endpoint}/v2/{project_id}/clusters {endpoint}信息具体请参考终端节点。
默认取值: 10 currentPage 否 String 参数解释: 当前查询页码。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 1 请求参数 无 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 hosts Array of HostModel objects
创建资源,比如建立外部链接,打开文件等。 UDFParameters UDFParameters的作用是解析SQL语句中的UDF参数(SQL中UDF函数名称后括号中的部分)。参数包括路径(及其序列类型)参数和字符串“key-value”对形式输入的属性参数。 例如: SELECT UDF(s1, s2,
Tuple> SingleOutputStreamOperator<R> project(int... fieldIndexes) 从元组中选择了一部分字段子集。 fieldIndexes指的是需要选择的元组中的某几个序列。 说明: 只支持Tuple数据类型的project投影。 提供设置eventtime属性的能力
Tuple> SingleOutputStreamOperator<R> project(int... fieldIndexes) 从元组中选择了一部分字段子集。 fieldIndexes指的是需要选择的元组中的某几个序列。 说明: 只支持Tuple数据类型的project投影。 提供设置eventtime属性的能力
Tuple> SingleOutputStreamOperator<R> project(int... fieldIndexes) 从元组中选择了一部分字段子集。 fieldIndexes指的是需要选择的元组中的某几个序列。 说明: 只支持Tuple数据类型的project投影。 提供设置eventtime属性的能力
Tuple> SingleOutputStreamOperator<R> project(int... fieldIndexes) 从元组中选择了一部分字段子集。 fieldIndexes指的是需要选择的元组中的某几个序列。 说明: 只支持Tuple数据类型的project投影。 提供设置eventtime属性的能力
N Map可以有混合值类型。这使得在某些情况下无法将其转换为SQL数组和Map。为了解决该问题,HetuEngine支持对数组和Map进行部分转换: SELECT CAST(JSON'[[1, 23], 456]'AS ARRAY(JSON));-- [JSON '[1,23]'
优点:读取时,只读取对应分区的一个数据文件即可,较为高效。 缺点:数据写入的时候,需要复制一个先前的副本再在其基础上生成新的数据文件,这个过程比较耗时。且由于耗时,读请求读取到的数据相对就会滞后。 Merge On Read 读时合并表也简称mor表,使用列格式parquet和行格式Avro两种方式混合存储
connector、mysql-fastpath-connector),输入配置连接参数,单击“测试”验证连接是否可用,待提示“测试成功”后单击“确定”。 与关系数据库连接时,可以选择通用数据库连接器(generic-jdbc-connector)或者专用数据库连接器(oracl
1作业管理接口,需要使用V2作业管理接口。如果仍需使用V1.1作业管理接口,请在历史API中,获取相关接口。 终端节点 终端节点即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询服务的终端节点。 基本概念 账号 用户注册华为云时的账号,账号对其所拥有
LocalDir LocalHDFS RemoteHDFS NFS CIFS OBS NameNode 备份HDFS元数据。添加多个NameService后,支持不同NameService的备份恢复功能且备份恢复操作与默认实例“hacluster”一致。 LocalDir RemoteHDFS NFS
执行下列命令进行用户认证,这里以hdfs为例,用户可根据实际用户名修改。 kinit hdfs kinit认证的默认时效为24小时,到期后再次运行样例,需要重新执行kinit。 在客户端目录创建文件“testFile”和“testFileAppend”,文件内容分别为“Hello
ive-ext.ranger.previous.privileges.enable为true后采用show grant查看。 单击“Add”,在策略列表可查看策略的基本信息。等待策略生效后,验证相关权限是否正常。 如需禁用某条策略,可单击按钮编辑策略,设置策略开关为“Disabled”。
表名。 指定属性“transactional=true”可以让表支持“原子性、一致性、隔离性、持久性”写入的事务能力,但是将表定义为事务表后,无法通过设置“transactional=false”将其退化为非事务表。 transactional='true'或 '0'在执行过程中
执行下列命令进行用户认证,这里以hdfs为例,用户可根据实际用户名修改。 kinit hdfs kinit认证的默认时效为24小时,到期后再次运行样例,需要重新执行kinit。 在客户端目录创建文件“testFile”和“testFileAppend”,文件内容分别为“Hello
约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。 默认取值: 不涉及 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 node_group 是 String 参数解释: 弹性伸缩规则适用的节点类型,当前只支持task节点。
约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。 默认取值: 不涉及 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 node_group_name 是 String 参数解释: 节点组名称。 约束限制: