检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
队列的类型,。有如下类型： sql：SQL队列类型，用于运行SQL作业。 general：通用队列类型，用于运行Flink、Spark Jar作业。 说明： 如果不指定类型，则默认为“sql”。 description 否 String 队列的描述信息。 cu_count 是 Integer
择为：通用队列。 SQL队列类型：用于运行Spark SQL和HetuEngine作业。 通用队列类型：用于运行Flink和Spark Jar作业。 其他参数请根据需要配置。 图3 添加队列 配置完基本参数后，单击“下一步”，在队列的扩缩容策略配置界面，修改扩缩容策略配置：最小CU：64、最大CU：64。
项目编号，用于资源隔离。获取方式请参考获取项目ID。 resource_name 是 String 上传的资源包名。 表2 query参数说明 参数名称 是否必选 参数类型 说明 group 否 String 上传资源包时，返回的资源组名。 带入query参数的URL示例如下： GET /v2.0/{pr
击“OBS桶”，根据作业运行的日期，找到对应日志的文件夹。 进入对应日期的文件夹后，找到名字中包含“taskmanager”的文件夹进入，下载获取.out文件查看结果日志。 -U[111, scooter, Big 2-wheel scooter, 5.18] +U[111, scooter
driver 否 ru.yandex.clickhouse.ClickHouseDriver String 连接数据库所需要的驱动。 如果建表时不指定该参数，驱动会自动通过ClickHouse的url提取。 如果建表时指定该参数，则该参数值固定为“ru.yandex.clickhouse
obs://bucket/user/hetuserver/udf/data/hetu_udf/udf-test-0.0.1-SNAPSHOT.jar FUNCPROPERTIES ( owner = 'admintest' ) 父主题： DDL 语法
{dbName} 。 connector.table 是 读取数据库中的数据所在的表名 connector.driver 否 jdbc连接驱动，默认为: org.postgresql.Driver。 connector.username 否 数据库认证用户名，需要和'connector
击“OBS桶”，根据作业运行的日期，找到对应日志的文件夹。 进入对应日期的文件夹后，找到名字中包含“taskmanager”的文件夹进入，下载获取.out文件查看结果日志。 +I[111, scooter, Big 2-wheel scooter, 5.15] 父主题： Format
数据源类型，固定为：jdbc。 url 是 数据库的URL。 table-name 是 读取数据库中的数据所在的表名。 driver 否 连接数据库所需要的驱动。若未配置，则会自动通过URL提取。 username 否 数据库认证用户名，需要和'password'一起配置。 password 否
击“OBS桶”，根据作业运行的日期，找到对应日志的文件夹。 进入对应日期的文件夹后，找到名字中包含“taskmanager”的文件夹进入，下载获取.out文件查看结果日志。 -U[111, scooter, Big 2-wheel scooter, 5.15] +U[111, scooter
要定期清理缓存或重置环境的业务。 通用队列： 通用队列用于执行Spark作业、Flink OpenSource SQL作业和Flink Jar作业的队列。 适合适用于复杂数据处理、实时数据流处理或批量数据处理的场景。 弹性资源池使用场景 推荐使用弹性资源池队列，提高资源使用的灵活
参考使用Hive语法创建DLI表。 使用Spark 3.3.1执行jar作业报错 "xxx don`t support dli v1 table."怎么办？ 该错误提示信息说明使用Spark 3.3.1执行Jar作业时不支持执行与该表相关的操作，请切换使用Hive语法重构表数据结构，例如使用Hive语法[STORED
scala版本为2.11。 Spark3.3.x：Spark scala版本升级到2.12。 升级引擎版本后是否对作业有影响： 有影响，jar需要升级scala版本编译。 PySpark支持python版本变更 说明： PySpark支持python版本变更。 Spark2.4.
队列类型： SQL类型队列：SQL队列支持提交Spark SQL作业。 通用队列：支持Spark程序、Flink SQL、Flink Jar作业。 不支持队列类型切换，如需使用其他队列类型，请重新购买新的队列。 不支持切换队列的计费模式。 队列不支持切换区域。 16CUs队列不支持扩容和缩容。
选择待查询的SQL作业，单击操作列的“更多 > 归档日志”。 系统自动跳转至DLI作业桶日志路径下。 选择需要查看的日期，单击操作列的“ 下载”，下载SQL作业日志到本地。 图3 下载SQL作业日志 父主题： 使用DLI提交SQL作业
IDEA等开发工具以及安装JDK和Maven。 Maven工程的pom.xml文件配置请参考JAVA样例代码中“pom文件配置”说明。 pom文件配置中依赖包 <dependency> <groupId>com.huaweicloud.sdk</groupId>
创建CSS安全集群请参考创建Elasticsearch类型集群（安全模式）。 操作步骤 下载CSS安全集群的认证凭证。 登录CSS服务管理控制台，单击“集群管理”。 在“集群管理”页面中，单击对应的集群名称，进入“基本信息”页面。 单击“安全模式”后的下载证书，下载CSS安全集群的证书。 将认证凭证上传到OBS桶。
Flink Opensource SQL使用DEW管理访问凭据 操作场景 DLI将Flink作业的输出数据写入到Mysql或DWS时，需要在connector中设置账号、密码等属性。但是账号密码等信息属于高度敏感数据，需要做加密处理，以保障用户的数据隐私安全。 数据加密服务（Data
Canal Format 功能描述 Canal是一个 CDC（ChangeLog Data Capture，变更日志数据捕获）工具，可以实时地将 MySQL 变更传输到其他系统。Canal 为变更日志提供了统一的数据格式，并支持使用 JSON 或 protobuf序列化消息（Canal
Kafka开启SASL认证。 MRS Kafka开启SSL认证。 操作步骤 下载认证凭证。 DMS Kafka 登录DMS Kafka控制台，单击实例名称进入详情页面。 在连接信息中，找到SSL证书，单击“下载”。 解压下载的kafka-certs压缩包，获取client.jks和phy_ca.crt文件。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
