检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
60.0,2021-03-25 12:03:00,0002,Bob,330110) 常见问题 Q:作业运行失败,运行日志中有如下报错信息,应该怎么解决? java.io.IOException: unable to open JDBC writer ... Caused by: org
5则为HIGH。 时延 Source端会周期性地发送带当前时间戳的LatencyMarker,下游算子接收到该标记后,通过当前时间减去标记中带的时间戳的方式,计算时延指标。算子的反压状态和时延可以通过Flink UI或者作业任务列表查看,一般情况下反压和高时延成对出现: 图2 反压状态和时延 性能分析
实例。 配置高级设置:仅”全量指标创建”的方式支持该配置项,配置时建议开启无数据处理。即配置监控周期内无指标数据产生或指标数据不足时系统的处理方式。 告警通知的行动规则:建议开启告警通知的行动规则,确保告警时可以通过邮件或者短信等方式获取通知。配置时选择2中配置的告警行动规则。
访问ClickHouse数据库的账号名,MRS集群开启Kerberos认证时需要填写。 password 否 无 String 访问ClickHouse数据库账号的密码,MRS集群开启Kerberos认证时需要填写。 sink.buffer-flush.max-rows 否 100 Integer
监视策略是扫描当前位置路径中的所有目录/文件。许多分区可能会导致性能下降。 对未分区表进行流式读取时,要求将每个文件以原子方式写入目标目录。 分区表的流式读取要求在 hive 元存储的视图中以原子方式添加每个分区。否则,将使用添加到现有分区的新数据。 流式读取不支持 Flink DDL 中的水印语法。这些表不能用于窗口运算符。
60.0,2021-03-25 12:03:00,0002,Bob,330110) 常见问题 Q:作业运行失败,运行日志中有如下报错信息,应该怎么解决? java.io.IOException: unable to open JDBC writer ... Caused by: org
间统一到各个月的某一天(详细介绍请参见统一包年/包月资源的到期日)。确认配置费用后单击“去支付”。 图1 续费确认 进入支付页面,选择支付方式,确认付款,支付订单后即可完成续费。 在费用中心续费 登录管理控制台。 单击“控制台”页面上方“费用与成本”,在下拉菜单中选择“续费管理”。
在左侧导航栏单击“资源管理 > 弹性资源池”,可进入弹性资源池管理页面。 在弹性资源池管理界面,单击界面右上角的“购买弹性资源池”。 在“购买弹性资源池”界面,填写具体的弹性资源池参数。 本例在华东-上海二区域购买按需计费的弹性资源池。相关参数说明如表2所示。 表2 参数说明 参数名称 参数说明 配置样例
出现该问题的原因是由于当前用户没有该表的查询权限。 您可以进入“数据管理 > 库表管理”查找对应库表,查看权限管理,是否配置该账号的查询权限。 授权方式请参考资料表权限管理。 父主题: DLI权限管理类
回收某用户具备的所有权限。 为新用户赋予权限 新用户指之前不具备此作业权限的用户。 单击“权限信息”右侧的“授权”,弹出“授权”对话框。 填写“用户名”,并勾选对应权限。 单击“确定”,完成新用户的添加。 待设置的参数说明如表1所示。 图1 Flink作业授权 表1 Flink作业授权参数说明
token 身份认证方式,当前支持两种:token或aksk。 dli-jdbc-1.x accesskey 是 - AK/SK认证密钥,获取方式请参考认证鉴权。 dli-jdbc-1.x dli-jdbc-2.x secretkey 是 - AK/SK认证密钥,获取方式请参考认证鉴权。
array,row,map,struct。其余的类型在数据查询和运算时支持。 通常情况下,大部分非复合数据类型都可以通过字面量加字符串的方式来输入,示例为添加了一个json格式的字符串: select json '{"name": "aa", "sex": "man"}';
e} 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 auth_info_name 是 String 即将删除的认证信息名。 响应参数 表2 响应参数 参数 参数类型 说明
s/{cluster_name} 参数说明 表1 URI参数 名称 是否必选 说明 project_id 是 项目编号,用于资源隔离。获取方式请参考获取项目ID。 cluster_name 是 集群名称。 请求消息 无请求参数。 响应消息 返回码 成功返回200。 响应参数 无响应参数。
ete、insert、bulk_insert等方式。 upsert:更新插入混合操作 delete:删除操作 insert:插入操作 bulk_insert: 用于初始建表导入数据, 注意初始建表禁止使用upsert、insert方式 insert_overwrite:对静态分区执行insert
关于如何创建OBS桶并上传数据,请参考《对象存储服务快速入门》。 创建跨源认证。 登录DLI管理控制台。 选择“跨源管理 > 跨源认证”。 单击“创建”。 填写Kerberos认证信息,详细参数说明请参考表2。 表2 参数说明 参数 参数说明 类型 选择kerberos。 认证信息名称 所创建的跨源认证信息名称。
名可以自定义。 ES 7.X版本中,单个Index将使用“_doc”作为type名,不再支持自定义。若访问ES 7.X版本时,该参数只需要填写index即可。 pushdown CSS的下压功能是否开启,默认为“true”。包含大量IO传输的表在有where过滤条件的情况下能够开启pushdown降低IO。
e} 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 auth_info_name 是 String 即将删除的认证信息名。 响应参数 表2 响应参数 参数 参数类型 说明
您可以通过“CREATE TABLE tb_avro STORED AS AVRO AS SELECT 1 AS colName”指定列名的方式解决该问题,或者将存储格式指定为除AVRO以外的其它格式。 父主题: SQL作业运维类
对于取消的查询,按取消查询时扫描的总数据量计费。 扫描量计费模式 扫描量支持以下计费模式: 按需计费:在default队列中提交作业按扫描数据量计费,一种按需计费模式。 计费方式自创建起按自然小时收费。按小时结算,小时数按整点计算。 扫描量计费=单价*扫描量数据(GB)。 套餐包:数据湖探索支持扫描数据量套餐包,购