检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
key(order_id) ); 在PostgreSQL中执行下列SQL语句。如果不执行如下命令,后续Flink作业将会运行报错,具体报错信息详情参见错误信息。 ALTER TABLE test.cdc_order REPLICA IDENTITY FULL 参考创建Flink OpenSource作业,创建flink
MRS中OpenTSDB实例的服务地址,格式为http://ip:port或者https://ip:port。 说明: 配置项tsd.https.enabled为true时,需要使用https,注意https暂时不支持证书认证。 tsdb_metrics 是 数据点的metric,支持参数化。
MRS中OpenTSDB实例的服务地址,格式为http://ip:port或者https://ip:port。 说明: 配置项tsd.https.enabled为true时,需要使用https,注意https暂时不支持证书认证。 tsdb_metrics 是 数据点的metric,支持参数化。
最后一个分区的最大值。分区扫描参数,具体请参考分区扫描功能介绍。 scan.fetch-size 否 0 Integer 每次从数据库拉取数据的行数。如果指定为0,则会忽略sql hint。 scan.auto-commit 否 true Boolean 是否设置自动提交,以确定事务中的每个statement是否自动提交
如果MRS集群开启了Kerberos认证,创建Spark作业时需要将krb5.conf和user.keytab文件添加到作业的依赖文件中,未开启Kerberos认证该步骤忽略。如图1所示: 图1 添加依赖文件 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索
Java SDK操作指导请参考Java SDK Python SDK操作指导请参考Python SDK DLI SDK调用接口使用https进行访问,有服务端使用证书。
如果作业状态为“提交失败”或“运行异常”,表示作业提交或运行失败。用户可以在作业列表中的“状态”列中,将鼠标移动到状态图标上查看错误信息,单击可以复制错误信息。根据错误信息解决故障后,重新提交。
the array: 6 A:如果HBase表中的数据是以其他方式导入的话,那么其存储是以String格式存储的,所以使用其他的数据格式将会报该错误。需要将Flink创建HBase源表中非string类型的字段的字段类型重新改为String即可。 Q:Flink作业运行失败,作业运行日志中如下报错信息,应该怎么解决?
the array: 6 A:如果HBase表中的数据是以其他方式导入的话,那么其存储是以String格式存储的,所以使用其他的数据格式将会报该错误。需要将Flink创建HBase源表中非string类型的字段的字段类型重新改为String即可。 Q:Flink作业运行失败,作业运行日志中如下报错信息,应该怎么解决?
the array: 6 A:如果HBase表中的数据是以其他方式导入的话,那么其存储是以String格式存储的,所以使用其他的数据格式将会报该错误。需要将Flink创建HBase源表中非string类型的字段的字段类型重新改为String即可。 Q:Flink作业运行失败,作业运行日志中如下报错信息,应该怎么解决?
用于清除GroupBy或Window经过最大保留时间后仍未更新的中间状态,默认设置为1小时。 脏数据策略 选择处理脏数据的策略。支持如下三种策略:“忽略”,“抛出异常”和“保存”。 “脏数据策略”选择“保存”时,配置“脏数据转储地址”。单击地址框选择保存脏数据的OBS路径。 create table
在“我的凭证”页面,默认显示“项目列表”,切换到“管理访问密钥”页面。 单击左侧“新增访问密钥”按钮,输入“登录密码”和“短息验证码”。 单击“确定”,下载证书。 下载成功后,在credentials文件中即可获取AK和SK信息。 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放
Expectation Failed 服务器无法满足Expect的请求头信息。 422 UnprocessableEntity 请求格式正确,但是由于含有语义错误,无法响应。 429 TooManyRequests 表明请求超出了客户端访问频率的限制或者服务端接收到多于它能处理的请求。建议客户端读取
检查增强型跨源连接对应的对等连接的路由信息 检查增强型跨源连接对应的对等连接的路由表,该路由表的本端路由地址网段是否和别的网段有重合,如果重合,路由可能转发错误。 获取增强型跨源连接创建的对等连接ID。 图8 获取对等连接ID 在VPC-对等连接控制台查看对等连接信息。 图9 查看对等连接 图10
ParameterTool.fromPropertiesFile(propertiesPath); // DIS终端节点,如 https://dis.cn-north-1.myhuaweicloud.com String endpoint = params
跨源认证信息名称。 创建跨源认证请参考跨源认证。 若es集群开启安全模式且开启https,则使用证书进行访问,创建的跨源认证类型需要为“CSS”。 若es集群开启安全模式,但关闭https,则使用证书和账号密码进行访问,创建的跨源认证类型需要为"Password"。 注意事项 当
跨源认证信息名称。 创建跨源认证请参考跨源认证。 若es集群开启安全模式且开启https,则使用证书进行访问,创建的跨源认证类型需要为“CSS”。 若es集群开启安全模式,但关闭https,则使用证书和账号密码进行访问,创建的跨源认证类型需要为"Password"。 注意事项 当
e表信息,用‘.’分隔HBase表的列族与列名。 注意事项 若所要创建的表已经存在将报错,可以通过添加IF NOT EXISTS参数跳过该错误。 OPTIONS中的所有参数是必选的,参数名称大小写不敏感,但参数值大小写敏感。 OPTIONS中引号内的值前后不能带空格,空格也会被当做有效值。
以下信息:队列,作业ID,用户名,类型,状态,执行语句,运行时长,创建时间,结束时间,参数设置,标签,结果条数,已扫描数据,扫描数据条数,错误记录条数,存储路径,数据格式,数据库,表,表头,分隔符,引用字符,转义字符,日期格式,时间戳格式,CPU累计使用量,输出字节。 建表(create
等算子经过最大保留时间后仍未更新的中间状态,默认设置为1小时。 脏数据策略 作业出现脏数据时的处理策略。作业配置脏数据策略时显示该参数。 忽略。 抛出异常。 保存。 脏数据转储地址 “脏数据策略”选择“保存”时,保存脏数据的OBS路径。 创建时间 作业创建的具体时间。 更新时间 作业最近一次更新的时间。