检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开源confluent-kafka-go如何连接MRS的安全集群? 问题现象 开源confluent-kafka-go连接MRS的安全集群失败。 原因分析 confluent-kafka-go依赖的库librdkafka默认将broker所在hostname作为了server principle的一部分来使用,导致认证失败。
"table_test","default") 传入数据库名、表名和自定义的segment列表,获取自定义合并操作会被合并的segment列表,得到的segment列表可以当做getMergedLoadName函数的参数传入: /** * Identifies all segments
DBService数据库的omm用户初始密码请参见MRS集群用户账号一览表。 新密码复杂度要求: 密码字符长度为16~32位。 至少需要包含大写字母、小写字母、数字、特殊字符~`!@#$%^&*()-+_=\|[{}];:",<.>/?中的3种类型字符。 不可和用户名相同或用户名的倒序字符相同。
开启HetuEngine数据类型隐式转换 数据类型隐式转换指用户通过客户端访问HetuEngine资源时,当查询的数据类型和表的数据类型不匹配时,HetuEngine能自动进行数据类型转换,避免用户在使用时因强数据类型校验带来的不便。当前在插入数据(Insert)、条件判断(Where)、运算操作(+、-、*、/)以及函数调用(连接操作
"table_test","default") 传入数据库名、表名和自定义的segment列表,获取自定义合并操作会被合并的segment列表,得到的segment列表可以当做getMergedLoadName函数的参数传入: /** * Identifies all segments
高频访问的SQL查询和有高耗时的算子(连接, 聚合等算子)的SQL通过建立物化视图进行预计算,然后在查询的SQL中将能匹配到物化视图的查询或者子查询转换为物化视图,避免了数据的重复计算,这种情况下往往能较大地提高查询的响应效率。 物化视图通常基于对数据表进行聚合和连接的查询结果创建。
配置输入字段列数,大于原始数据实际包含的字段列数,全部数据成为脏数据。 字符截取的起点位置或终点位置,大于输入字段的长度时,当前行成为脏数据。 EL操作转换 传入数据为NULL值,不做转换处理。 输入一个或多个字段的值,输出计算结果。 输入类型和算子不兼容时,当前行为脏数据。 字符串大小写转换
在左侧导航栏中选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在页面右上角单击“运维”,选择“日志共享”,进入“日志共享”界面。 在“起止时间”的输入框单击选择日期和时间。 “起止时间”按照华为云支持人员的建议选取。 结束时间的选择的时间必须大于开始时间选择的时间,否则,无法根据时间筛选日志。
对应集群连接的“操作”列对集群连接进行编辑、测试、删除等操作。 图1 创建集群连接 表1 创建集群连接信息 参数名称 参数描述 集群连接名称 集群连接的名称。 描述 集群连接名称描述信息。 版本 选择集群版本。 是否安全版本 是,安全集群选择是。需要输入访问用户名和上传用户凭证;
对应集群连接的“操作”列对集群连接进行编辑、测试、删除等操作。 图1 创建集群连接 表1 创建集群连接信息 参数名称 参数描述 集群连接名称 集群连接的名称。 描述 集群连接名称描述信息。 版本 选择集群版本。 是否安全版本 是,安全集群选择是。需要输入访问用户名和上传用户凭证;
不能同时设置“topic-pattern”和“topic”配置项 topic-pattern:主题模式,用于source表,可使用正则表达式的主题名称。 【示例】以下source表将订阅所有以“test-topic-”开头,单个数字结尾的主题消息: CREATE TABLE payments
“HBase输出”算子,用于配置已生成的字段输出到HBase表的列。 输入与输出 输入:需要输出的字段 输出:HBase表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 HBase表类型 配置HBase表类型,可选项为normal(普通HBase表)和phoenix表。 enum
具体properties.properties参数配置方法,参考配置Flume非加密传输数据采集任务和配置Flume加密传输数据采集任务对应典型场景中properties.properties文件参数列表的说明。 父主题: Flume常见问题
HoodieDeltaStreamer 编写自定义的转化类实现Transformer。 编写自定义的Schema实现SchemaProvider。 在执行HoodieDeltaStreamer时加入参数: --schemaprovider-class 定义的schema类 --transformer-class
HoodieDeltaStreamer 编写自定义的转化类实现Transformer。 编写自定义的Schema实现SchemaProvider。 在执行HoodieDeltaStreamer时加入参数: --schemaprovider-class 定义的schema类 --transformer-class
以客户端安装用户,登录1上传了Jar包并且安装了Hive和HDFS客户端的节点。 执行以下命令认证用户。 cd 客户端安装目录 source bigdata_env kinit 具有Hive管理员权限的用户(未开启Kerberos认证的集群跳过此操作) 执行以下命令在HDFS上创建Jar包存放目录。
mapred。 建议通过构造出来的Connection对象的getAdmin()方法来获取HBase的客户端操作对象。 HBase常用接口介绍 HBase常用的Java类有以下几个: 接口类Admin,HBase客户端应用的核心类,主要封装了HBase管理类操作的API,例如建表,删表等操作,部分常见接口参见表表1。
mapred。 建议通过构造出来的Connection对象的getAdmin()方法来获取HBase的客户端操作对象。 HBase常用接口介绍 HBase常用的Java类有以下几个: 接口类Admin,HBase客户端应用的核心类,主要封装了HBase管理类操作的API,例如建表,删表等操作,部分常见接口参见表表1。
mapred。 建议通过构造出来的Connection对象的getAdmin()方法来获取HBase的客户端操作对象。 HBase常用接口介绍 HBase常用的Java类有以下几个: 接口类Admin,HBase客户端应用的核心类,主要封装了HBase管理类操作的API,例如建表,删表等操作,部分常见接口参见表表1。
配置输入字段列数,大于原始数据实际包含的字段列数,全部数据成为脏数据。 字符截取的起点位置或终点位置,大于输入字段的长度时,当前行成为脏数据。 EL操作转换 传入数据为NULL值,不做转换处理。 输入一个或多个字段的值,输出计算结果。 输入类型和算子不兼容时,当前行为脏数据。 字符串大小写转换