检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户组 类型 默认用户组 描述 集群默认用户组 hadoop 将用户加入此用户组,可获得所有Yarn队列的任务提交权限。 hadoopmanager 将用户加入此用户组,可获得HDFS和Yarn的组件运维管理员权限。
brokers> <subscribe-type> <topic> <protocol> <service> <domain><checkpointDir>,其中<brokers>指获取元数据的Kafka地址(需使用21007端口),<subscribe-type>指Kafka订阅类型
FORMAT AS:用于指定文件类型,支持CSV、JSON、PARQUET和ORC格式,默认为CSV。 WITH BROKER:指定需要使用的Broker服务名称。
索引列数据定义为String类型时,要避免写入\x00和\x01两个特殊字符(特殊不可见字符)。 避免指定时间戳的方式写入索引列。 索引查询约束 索引查询时索引的状态必须为ACTIVE。 索引查询不支持指定时间戳范围查询。
使用限制 只支持同类型磁盘之间的数据移动,例如SSD->SSD,DISK->DISK等。 执行该特性会占用涉及节点的磁盘IO资源、网络带宽资源,请尽量在业务不繁忙的时候使用。
Hive varchar类型数据查询不支持下推,并发较大时可能导致内存问题。 Hive支持对自读自写的SQL进行拦截。 Hive需要把.db库加入数据保护黑名单中,防止创建表Location指定路径到库后,删除表后导致库数据丢失。
参考如何创建FlinkServer作业,新建Flink SQL作业,作业类型选择“流作业”。在作业开发界面进行如下作业配置并启动作业。 需勾选“基础参数”中的“开启CheckPoint”,“时间间隔(ms)”可设置为“60000”,“模式”可使用默认值。
设置“参数类别”为“全部配置”,进入Presto配置界面修改参数配置。 搜索“connector-customize”配置。 按照配置项说明填写对应参数。
商用 获取指定目录文件列表 2020年6月 序号 功能名称 功能描述 阶段 相关文档 1 支持自定义集群拓扑 MRS新增“自定义”类型集群,用户可以自主定义集群的进程实例在集群节点中的部署方式。
使用限制 只支持同类型磁盘之间的数据移动,例如SSD->SSD,DISK->DISK等。 执行该特性会占用涉及节点的磁盘IO资源、网络带宽资源,请尽量在业务不繁忙的时候使用。
// 加载Hive JDBC驱动 Class.forName(HIVE_DRIVER); 获取JDBC连接,确认HQL的类型(DDL/DML),调用对应的接口执行HQL,输出查询的列名和结果到控制台,关闭JDBC连接。
<subscribe-type>指Kafka订阅类型(如subscribe)。 <topic>指读取Kafka上的topic名称。 <protocol>指安全访问协议(如SASL_PLAINTEXT)。 <service>指kerberos服务名称(如kafka)。
在弹框内选择保存类型,单击“确定”可导出事件。 通过Manager查看集群事件 MRS 3.x及之后版本: 登录FusionInsight Manager。
进入FlinkServer界面后,选择 “作业管理 > 新建作业”,在新建作业界面配置以下参数填,并单击“确定”,进入作业管理界: 类型:选择“Flink SQL”。 名称:填写作业名称,例如:FlinkSQL1。
选择“完整客户端”,选择与待安装节点架构相匹配的平台类型,勾选“仅保存到如下路径”,单击“确定”开始生成客户端文件。 文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。
// 加载Hive JDBC驱动 Class.forName(HIVE_DRIVER); 填写正确的用户名,获取JDBC连接,确认HQL的类型(DDL/DML),调用对应的接口执行HiveQL,输出查询的列名和结果到控制台,关闭JDBC连接。
权限要求 表1 操作权限要求 操作类型/作用对象 操作 权限要求 DATABASE CREATE DATABASE dbname [LOCATION "hdfs_path"] 如果指定了HDFS路径hdfs_path,需要是路径hdfs_path的所有者和具有RWX权限。
“委托类型”选择“云服务”,在“云服务”中选择“弹性云服务器 ECS 裸金属服务器 BMS”,授权ECS或BMS调用OBS服务,如图2所示。 “持续时间”选择“永久”并单击“完成”。
默认端口如下: 开源端口默认值为:6667 定制端口默认值为:22260 端口定制/开源区分:创建LTS版本类型集群时,可以选择“组件端口”为“开源”或是“定制”,选择“开源”使用开源端口,选择“定制”使用定制端口。
审计日志转储文件关键字段参考: “USERTYPE”表示用户类型,“0”表示“人机”用户,“1”表示“机机”用户。 “LOGLEVEL”表示安全级别,“0”表示高危,“1”表示危险,“2”表示一般,“3”表示提示。