检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
根据作业运行的日期，找到对应日志的文件夹。 进入对应日期的文件夹后，找到名字中包含“taskmanager”的文件夹进入，下载获取taskmanager.out文件查看结果日志。 数据结果参考如下： +I(202103251202020001,miniAppShop,2021-03-2512:02:02
字节、写入文件数和日志等信息。 在CDM查看迁移作业运行情况 在集群管理界面，找到步骤1：创建CDM集群章节创建的集群“cdm-aff1”。 单击该CDM集群后的“作业管理”，进入作业管理界面。 找到步骤4：在CDM上创建数据迁移作业创建的作业“mysql2dli”，查看该作业的
步骤2：分析数据。使用DLI对待分析的数据进行查询。 示例代码 具体样例数据及详细SQL语句可以通过数据包进行下载。 方案优势 数据免搬迁：DLI支持与多种数据源的对接，直接通过SQL建表就可以完成数据源的映射。 简单易用：直接使用标准SQL编写指标分析逻辑，无需关注背后复杂的分布式计算平台。
avro.codec 否 （none） String 仅用于文件系统，avro 压缩编解码器。默认不压缩。目前支持：deflate、snappy、bzip2、xz。 数据类型映射 目前，Avro schema 通常是从 table schema 中推导而来。尚不支持显式定义 Avro
态感知？ 在Flink SQL作业中创建表使用EL表达式，作业运行提示DLI.0005错误怎么办？ Flink作业输出流写入数据到OBS，通过该OBS文件路径创建的DLI表查询无数据 Flink SQL作业运行失败，日志中有connect to DIS failed java.lang
查看增强型跨源连接的基本信息 增强型跨源连接创建完成后您可以通过管理控制台查看和管理您的增强型跨源连接。 本节操作介绍在管理控制台如何查看增强型跨源连接基本信息，包括增强型跨源连接的是否支持IPv6、主机信息等。 查看增强型跨源连接的基本信息 登录DLI管理控制台。 选择“跨源管理
SparkSession 创建会话 1 sparkSession = SparkSession.builder.appName("datasource-rds").getOrCreate() 通过DataFrame API 访问 连接参数配置 1 2 3 4 5 url = "jdbc:mys
gaussdb：DWS集群默认数据库。 DWS集群连接地址：请参见获取集群连接地址进行获取。如果通过公网地址连接，请指定为集群“公网访问地址”或“公网访问域名”，如果通过内网地址连接，请指定为集群“内网访问地址”或“内网访问域名”。如果通过弹性负载均衡连接，请指定为“弹性负载均衡地址”。 dbadmin：创建集群时设置的默认管理员用户名。
asource/dws/* 通过控制台提交作业请参考《数据湖探索用户指南》中的“选择依赖资源参数说明”。 通过API提交作业请参考《数据湖探索API参考》>《创建批处理作业》中“表2-请求参数说明”关于“modules”参数的说明。 完整示例代码 通过SQL API 访问DWS表
“Content-Type”为消息体的类型（格式），默认取值为“application/json”。 提交SQL作业的URI为：POST /v1.0/{project_id}/jobs/submit-job 其“Content-Type”只支持“application/json”，若设置为“tex
Flink作业推荐配置指导 用户在创建Flink作业时，可以通过如下配置实现流应用的高可靠性能。 用户在消息通知服务（SMN）中提前创建一个“主题”，并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知，单击链接确认订阅即可。 图1 创建主题 图2
ient。 例如：您可以通过 'properties.allow.auto.create.topics' = 'false' 来禁止自动创建 topic。 但是'key.deserializer' 和 'value.deserializer' 是不允许通过该方式传递参数，因为Flink会重写这些参数的值。
登录DLI管理控制台，选择“作业管理 > Flink作业”。 单击对应的Flink作业名称，选择“运行日志”，单击“OBS桶”，根据作业运行的日期，找到对应日志的文件夹。 进入对应日期的文件夹后，找到名字中包含“taskmanager”的文件夹进入，下载获取taskmanager.out文件查看结果日志。 数据结果参考如下：
格式能让您读取被 io.confluent.kafka.serializers.KafkaAvroSerializer序列化的记录，以及可以写入成能被 io.confluent.kafka.serializers.KafkaAvroDeserializer反序列化的记录。 当以这种格式读
概述 所有的正则表达式函数都使用Java样式的语法。但以下情况除外： 使用多行模式（通过（？m）标志启用）时，只有\ n被识别为行终止符。 此外，不支持（？d）标志，因此不能使用。 大小写区分模式（通过（？i）标志启用）时，总是以unicode的模式去实现。同时，不支持上下文敏感匹配
仅支持在创建Spark作业时，配置“应用程序”，从OBS选择作业所需的Jar包。 登录OBS控制台，将生成的Jar包文件上传到OBS路径下。 登录DLI控制台，选择“作业管理 > Spark作业”。 单击操作列“编辑”。 编辑“应用程序”，选择1上传的OBS地址。 图11 配置应用程序 Spark 3
创建会话 1 sparkSession = SparkSession.builder().appName("datasource-opentsdb").getOrCreate(); 通过SQL API 访问 创建DLI跨源访问MRS OpenTSDB的关联表，填写连接参数。 1
新运行Spark作业。 pyspark作业对接MySQL，需要创建跨源链接，打通DLI和RDS之间的网络。 通过管理控制台创建跨源连接请参考《数据湖探索用户指南》。 通过API创建跨源连接请参考《数据湖探索API参考》。 父主题： Spark作业开发类
xx.xx:8181。 检测跨源连接的连通性时对域名约束限制如下： 域名的限制长度为1到255的字符串，并且组成必须是字母、数字、下划线或者短横线。 域名的顶级域名至少包含两个及以上的字母，例如.com，.net，.cn等。 测试时域名后可选择添加端口，用":"隔开，端口最大限制为5位，端口范围：0~65535。
Driver") .mode(SaveMode.Append) .save() SaveMode 有四种保存类型： ErrorIfExis：如果已经存在数据，则抛出异常。 Overwrite：如果已经存在数据，则覆盖原数据。 Append：如果已经存在数据，则追加保存。 Ign
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
