检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
kind 否 random String 指定 '#' 字段的生成器。 '#' 字段必须是DataGen表中的字段,实际使用时需要将'#'替换为相应字段名。其他各参数的'#'号意义相同,不再重复描述。 参数值可以是 'sequence' 或 'random',具体含义如下: ra
重新购买弹性资源池,使用新购的弹性资源池队列执行作业。 DLI“包年/包月”和“按需计费”计费模式队列在EOM和EOL后,可以使用哪个功能替换? 如果您正在使用“包年/包月”和“按需计费”计费模式队列运行作业,请尽快更换使用“弹性资源池”或“default队列”。 使用“按需专属
bootstrap.servers" = "10.128.0.120:9092,10.128.0.89:9092,10.128.0.83:9092",--替换为kafka的内网连接地址和端口 "properties.group.id" = "click", "topic" = "testkafkatopic"
_general-x86_64:3.3.1-2.3.7.1720240419835647952528832.202404250955//请替换基础镜像的URL FROM ${BASE_IMG} as builder USER omm //注意要使用omm用户执行。 RUN set
开启Kerberos认证时,搜索“lb_http_port”配置参数值,默认值为21425;当开启Kerberos认证时,搜索“lb_https_port”配置参数值,默认值为21426。 数据库名为ClickHouse集群创建的数据库名称。如果数据库名不存在,则不需要填写。 建
ency、Isolation、Durability)能力,有助于确保数据的一致性和准确性。 了解更多:执行Insert into后数据重复怎么办? 语法格式 将SELECT查询结果插入到表中 1 2 INSERT INTO [TABLE] [db_name.]table_name
否 'null' String 当 'maxwell-json.map-null-key.mode' 为 LITERAL 时,指定字符串以替换null键。 maxwell-json.encode.decimal-as-plain-number 否 false Boolean 将所
ePath.KafkaMessageStreaming 参数 指定类的参数列表,参数之间使用空格分隔。 Flink参数支持非敏感的全局变量替换。例如,在“全局配置”>“全局变量”中新增全局变量windowsize,Flink Jar作业就可以添加参数-windowsSize {{windowsize}}。
故障处理 运行Spark作业,作业运行失败,作业日志中提示No respond错误 问题现象 运行Spark作业,作业运行失败,作业日志中提示No respond错误 解决方案 重新创建Spark作业,创建作业时需要在“Spark参数(--conf)”中添加配置:“spark.sql
混排大量数据。 将Clustering计划以avro元数据格式保存到时间线。 执行Clustering:使用执行策略处理计划以创建新文件并替换旧文件。 读取Clustering计划,并获得ClusteringGroups,其标记了需要进行Clustering的文件组。 对于每个组
查询OpenTSDB表 SELECT命令用于查询OpenTSDB表中的数据。 若OpenTSDB上不存在metric,查询对应的DLI表会报错。 若OpenTSDB开了安全模式,则访问时,需要设置conf:dli.sql.mrs.opentsdb.ssl.enabled=true
checkStreamTemplate 删除Flink模板 template deleteStreamTemplate 创建认证信息并上传证书 datasourceauth uploadAuthInfo 更新跨源认证信息 datasourceauth updateAuthInfo
创建Kerberos跨源认证 操作场景 通过在DLI控制台创建的Kerberos类型的跨源认证,将数据源的认证信息存储到DLI,无需在SQL作业中配置账号密码,安全访问数据源。 MRS Kafka开启Kerberos认证,未开启SSL认证时,创建Kerberos类型的认证。建表时
"Resource": [ "OBS:*:*:bucket:bucketName",//请替换bucketName为对应的桶名称 "OBS:*:*:object:*" ]
ParameterTool.fromPropertiesFile(propertiesPath); // DIS终端节点,如 https://dis.cn-north-1.myhuaweicloud.com String endpoint = params
datasource v2 tables is only supported in spark3.3 or later version.”怎么办? 使用default创建DataSource表时引擎版本不低于Spark 3.3.1,如果引擎版本低于Spark 3.3.1则会提示上
2021-03-24 10:02:03,0001,Alice,330106) 常见问题 Q:Flink作业运行失败,作业运行日志中如下报错信息,应该怎么解决? java.lang.IllegalArgumentException: offset (0) + length (8) exceed
2021-03-24 10:02:03,0001,Alice,330106) 常见问题 Q:Flink作业运行失败,作业运行日志中如下报错信息,应该怎么解决? org.postgresql.util.PSQLException: ERROR: logical decoding requires
2021-03-24 10:02:03,0001,Alice,330106) 常见问题 Q:Flink作业运行失败,作业运行日志中如下报错信息,应该怎么解决? java.lang.IllegalArgumentException: offset (0) + length (8) exceed
set location truncate table V1表 √ √ √ × × × × × × V2表 √ √ √ √ √ √ √ √ √ 怎么确认当前用户创建的表是v1还是v2表? 1. 使用datasource语法建表: CREATE TABLE IF NOT EXISTS table_name