检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择“系统管理 > 数据连接管理”,进入数据连接管理页面。 单击“创建数据连接”,在弹出的页面中选择数据连接类型,参考表1填写信息,单击“确定”,完成数据连接创建。创建完成后,可在对应数据连接的“操作”列对数据连接进行编辑、测试、删除等操作。
向Kafka生产并消费数据程序 Flink向Kafka生产并消费数据应用开发思路 Flink向Kafka生产并消费数据Java样例代码 Flink向Kafka生产并消费数据Scala样例代码 父主题: 开发Flink应用
消费数据,将统计结果以Key-Value的形式输出,完成单词统计功能。
数据库通常不允许将列数据类型按照从高到低的顺序修改,或者数据类型可能与表中已存储/将要存储的数据冲突。如果要修复相同的问题,请尝试设置以下属性: 设置hive.metastore.disallow.in compatible.col.type.changes为false。
FlinkSQL写入JDBC数据支持ignoreDelete 本章节适用于MRS 3.3.0及以后版本。 使用场景 FlinkSQL写入JDBC数据时可以过滤掉DELETE和UPDATE_BEFORE状态的数据。
使用datasource查看表建立成功,数据正常。
在源数据库将字符长度增大。 在源数据库插入数据,数据成功写入Hudi。 在CDL WebUI界面启动任务,源数据库更新数据。
配置Hudi数据列默认值 该特性允许用户在给表新增列时,设置列的默认值。查询历史数据时新增列返回默认值。 本章节仅适用于MRS 3.3.0及之后版本。 使用约束 新增列在设置默认值前,如果数据已经进行了重写,则查询历史数据不支持返回列的默认值,返回NULL。
ClickHouse数据库运维 ClickHouse日志管理 ClickHouse日志管理规则 ClickHouse日志详细信息 表运维 父主题: ClickHouse应用开发规范
用户可以通过修改客户端的配置文件“conf/flink-conf.yaml”来解决问题。 确认配置项“jobmanager.web.ssl.enabled”的值是否是“false”,若不是,请修改为“false”。
用户可以通过修改客户端的配置文件“conf/flink-conf.yaml”来解决问题。 确认配置项“jobmanager.web.ssl.enabled”的值是否是“false”,若不是,请修改为“false”。
用户可以通过修改客户端的配置文件“conf/flink-conf.yaml”来解决问题。 确认配置项“jobmanager.web.ssl.enabled”的值是否是“false”,若不是,请修改为“false”。
创建外部表时,会判断当前用户对指定的目录以及该目录下其它目录和文件是否有读写权限,如果该目录不存在,会去判断其父目录,依次类推。如果一直不满足就会报权限不足。而不是报指定的目录不存在。
配置描述 当需要MapReduce shuffle服务绑定特定IP时,需要在NodeManager实例所在节点的配置文件“mapred-site.xml”中(例如路径为:${BIGDATA_HOME}/FusionInsight_HD_xxx/x_xx_NodeManager/etc
配置描述 在Spark客户端的“core-site.xml”配置文件中修改配置。
调小“log4j.appender.sparklog.MaxBackupIndex”参数值(表示滚动保存的文件数量,最大为10个文件,达到第11个覆盖第一个生成的文件),例如修改为“5”。 保存文件。 重新提交作业,作业运行正常。 父主题: 使用Yarn
客户端:在“{客户端安装目录}/Kafka/kafka/config”目录中的“consumer.properties”消费配置文件里添加“client.rack”配置项: 若服务端开启“机架内就近消费特性”,添加客户端所处的机架信息,如 client.rack = /default0
客户端:在“{客户端安装目录}/Kafka/kafka/config”目录中的“consumer.properties”消费配置文件里添加“client.rack”配置项: 如果服务端开启“机架内就近消费特性”,添加客户端所处的机架信息,如 client.rack = /default0
HetuEngine计算实例重启注意事项 当HetuEngine计算实例处于重启或者滚动重启过程中,请勿对HetuEngine服务和HetuEngine WebUI界面的数据源进行变更操作,包括修改配置,重启等操作。
Hue常见问题 使用Hive输入use database语句失效 使用Hue WebUI访问HDFS文件失败 在Hue页面上传大文件失败 Hue WebUI中Oozie编辑器的时区设置问题 访问Hue原生页面时间长,文件浏览器报错Read timed out 父主题: 使用Hue(