检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
指定使用格式,此处使用'maxwell-json'。 maxwell-json.ignore-parse-errors 否 false Boolean 跳过解析错误而不是失败的字段和行。出现错误时,字段设置为空。 maxwell-json.timestamp-format.standard 否 'SQL' String
数据保护技术 数据存储安全 为了确保您的个人敏感数据(例如用户名、密码、手机号码等)不被未经过认证、授权的实体或者个人获取,DLI对用户数据的存储和传输进行加密保护,以防止个人数据泄露,保证您的个人数据安全。 数据销毁机制 用户删除DLI队列后,存储在集群上的用户个人敏感数据会随之删除。
选择导出的作业结果的OBS桶路径。 如果导出方式选择的是“随导出创建指定路径” 在选择桶路径后,需手动输入自定义的指定路径的目录名称,且该目录名称不存在,否则系统将返回错误的信息,无法执行导出操作。 说明: 文件夹名称不能包含下列特殊字符:\ / : * ? " < > |,并且不能以“.”开头和结尾。 例如
相应的认证类型。 CSS类型跨源认证:适用于“6.5.4”及以上版本的CSS集群且集群已开启安全模式。配置时需指定集群的用户名、密码、认证证书,通过跨源认证将以上信息存储到DLI服务中,便于DLI安全访问CSS数据源。详细操作请参考创建CSS类型跨源认证。 Kerberos类型的
数据中的“表3 日期及时间模式字符定义”。 2000-01-01 09:00:00 错误数据存储路径 当“文件格式”为“CSV”和“JSON”时此参数有效。 选中“高级选项”,该参数表示可将错误数据保存到对应的OBS路径中。 obs://DLI/ 单击“确定”,系统开始导入数据。
skip-null-values 否 true Boolean 是否跳过null。 ignore-retractions 否 false Boolean 连接器应忽略更新插入/撤回流模式下的收回消息。 key-column 否 无 String Redis 表schema的key source.parallelism
如果作业状态为“提交失败”或“运行异常”,表示作业提交或运行失败。用户可以在作业列表中的“状态”列中,将鼠标移动到状态图标上查看错误信息,单击可以复制错误信息。根据错误信息解决故障后,重新提交。 如果以上错误信息不足以定位问题,还可以参考Flink作业运行异常,如何定位,从OBS桶中下载作业日志对问题进一步定位。
对等连接的连接状态: 跨源连接的状态信息,包括以下三种状态:创建中、已激活、已失败。 当连接状态显示为“已失败”时,单击左边对应的,可查看详细的错误信息。 图1 查看增强型跨源连接详情 父主题: 管理增强型跨源连接
如果MRS集群开启了Kerberos认证,创建Spark作业时需要将krb5.conf和user.keytab文件添加到作业的其他依赖文件中,未开启Kerberos认证该步骤忽略。如图1所示: 图1 添加依赖文件 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索
upper-bound必须同时存在或者同时不存在 connector.read.fetch-size 否 每次从数据库拉取数据的行数。默认值为0,表示忽略该提示 示例 使用gsjdbc4驱动连接时,加载的数据库驱动类为:org.postgresql.Driver。该驱动为默认,创建表时可以不填该驱动参数。
upper-bound必须同时存在或者同时不存在 connector.read.fetch-size 否 每次从数据库拉取数据的行数。默认值为0,表示忽略该提示 示例 使用gsjdbc4驱动连接时,加载的数据库驱动类为:org.postgresql.Driver。该驱动为默认,创建表时可以不填该驱动参数。
set类型。其中string/list以及sets中schema字段数必须为2,hash字段数必须为3 connector.ignore-retraction 否 是否忽略retraction消息,默认为false 注意事项 参数“connector.table-name”与“connector.data-type”必须配置其中一个。
指令”,在弹出的页面中单击复制登录指令。 在安装容器引擎的虚拟机中执行上一步复制的登录指令。 创建容器镜像组织。如果已创建组织则本步骤可以忽略。 登录SWR管理控制台。 选择左侧导航栏的“组织管理”,单击页面右上角的“创建组织”。 填写组织名称,单击“确定”。 编写Dockerfile文件。
a08629dd671" } ], "count": 1 } 状态码 状态码 描述 200 OK 错误码 请参见错误码。 父主题: Spark作业模板相关API
如果作业状态为“提交失败”或“运行异常”,表示作业提交或运行失败。用户可以在作业列表中的“状态”列中,将鼠标移动到状态图标上查看错误信息,单击可以复制错误信息。根据错误信息解决故障后,重新提交。 其他功能按钮说明如下: 另存为:将新建作业另存为一个新作业。 相关操作 怎样设置作业的参数?
|,并且不能以“.”开头和结尾。 导出方式 导出数据的保存方式。 随导出创建指定路径:指定的导出目录必须不存在,如果指定目录已经存在,系统将返回错误信息,无法执行导出操作。 覆盖指定路径:在指定目录下新建文件,会删除已有文件。 表头:无/有 设置导出数据是否含表头。 单击“确定”即可导出数据。
key(order_id) ); 在PostgreSQL中执行下列SQL语句。如果不执行如下命令,后续Flink作业将会运行报错,具体报错信息详情参见错误信息。 ALTER TABLE test.cdc_order REPLICA IDENTITY FULL 参考创建Flink OpenSource作业,创建flink
key(order_id) ); 在PostgreSQL中执行下列SQL语句。如果不执行如下命令,后续Flink作业将会运行报错,具体报错信息详情参见错误信息。 ALTER TABLE test.cdc_order REPLICA IDENTITY FULL 参考创建Flink OpenSource作业,创建flink
如果作业状态为“提交失败”或“运行异常”,表示作业提交或运行失败。用户可以在作业列表中的“状态”列中,将鼠标移动到状态图标上查看错误信息,单击可以复制错误信息。根据错误信息解决故障后,重新提交。 父主题: 使用DLI提交Flink作业
MRS中OpenTSDB实例的服务地址,格式为http://ip:port或者https://ip:port。 说明: 配置项tsd.https.enabled为true时,需要使用https,注意https暂时不支持证书认证。 tsdb_metrics 是 数据点的metric,支持参数化。