检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Spark作业跨源访问数据源 概述 对接CSS 对接DWS 对接HBase 对接OpenTSDB 对接RDS 对接Redis 对接Mongo 父主题： Spark Jar作业开发指南
填写CSS认证信息，详细参数说明请参考表1。 表1 参数说明 参数 参数说明 认证信息名称 所创建的跨源认证信息名称。 名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。 输入长度不能超过128个字符。 建议名称中包含CSS安全集群的名称，便于区分不同集群的安全认证信息。
填写认证信息，详细参数说明请参考表2。 表2 参数说明 参数 参数说明 类型 选择Password。 认证信息名称 所创建的跨源认证信息名称。 名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。 输入长度不能超过128个字符。 用户名称 访问数据源的用户名。 用户密码 访问数据源的密码。
请求参数如表3所示。 表3 请求参数说明 参数 是否必选 参数类型 说明 cluster_name 是 String 新建的集群名称，名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。 description 否 String 集群的描述信息。 cu_count 是 Integer
视化智能调优界面。 学习成本高，需要了解上百个调优参数。 支持数据源 云上：OBS、RDS、DWS、CSS、MongoDB、Redis。 云下：自建数据库、MongoDB、Redis。 云上：OBS。 云下：HDFS。 生态兼容 DLV、永洪BI、帆软。 大数据生态工具。 自定义镜像
在“创建程序包”对话框，配置以下参数。 包类型：选择“JAR”。 OBS路径：程序包所在的OBS路径。 分组设置和组名称根据情况选择设置，方便后续识别和管理程序包。 单击“确定”，完成创建程序包。 创建UDF函数。 登录DLI管理控制台，单击“SQL编辑器”，执行引擎选择“spark”，选择已创建的SQL队列和数据库。
请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 queue_name 是 String 新建的队列名称，名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。长度限制：1~128个字符。 说明： 队列名称不区分大小写，系统会自动转换为小写。 queue_type
special_start_time), 'yyyy-mm-dd') < '2018-10-12' and row_number() over(partition by fg.goods_no order by fs.special_start_time asc) = 1 then 1 when to
表2 请求参数 参数名称 是否必选 参数类型 说明 database_name 是 String 新增数据库名称。 数据库名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。 数据库名称大小写不敏感且不能为空。 输入长度不能超过128个字符。 说明： “defau
e> <goals> <goal>single</goal> </goals> </execution>
输入模板名称、语句和描述信息，详细参数介绍请参见表1。 图1 创建模板 表1 参数说明 参数名称 描述 名称 模板名称。 模板名称只能包含数字、英文字母和下划线，但不能是纯数字，不能以下划线开头，且不能为空。 输入长度不能超过50个字符。 语句 需要保存为模板的SQL语句。 描述 该模板的相应描述。
e> <goals> <goal>single</goal> </goals> </execution>
e> <goals> <goal>single</goal> </goals> </execution>
管理Flink作业模板 Flink模板包括样例模板和自定义模板。用户可以在已有的样例模板中进行修改，来实现实际的作业逻辑需求，节约编辑SQL语句的时间。也可以根据自己的习惯和方法自定义作业模板，方便后续可以直接调用或修改。 Flink模板管理主要包括如下功能： Flink SQL样例模板
参数类型 说明 id 否 Long 扩缩容计划的ID编号。 plan_name 否 String 队列扩缩容计划名称，名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。 target_cu 否 Integer 队列扩缩容计划CU的目标值。 start_hour
在“创建程序包”对话框，配置以下参数。 包类型：选择“JAR”。 OBS路径：程序包所在的OBS路径。 分组设置和组名称根据情况选择设置，方便后续识别和管理程序包。 单击“确定”，完成创建程序包。 创建UDAF函数。 登录登录DLI管理控制台，创建SQL队列和数据库。 登录DLI管理控制
项目编号，用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 name 是 String 连接名称。 名称只能包含数字、英文字母、下划线和中划线。不能为空。 输入长度不能超过64个字符。 service 是 String 服务名称，目前为CloudTable.Op
Flink作业输出流写入数据到OBS，通过该OBS文件路径创建的DLI表查询无数据 问题现象 使用Flink作业输出流写入数据到了OBS中，通过该OBS文件路径创建的DLI表进行数据查询时，无法查询到数据。 例如，使用如下Flink结果表将数据写入到OBS的“obs://obs-sink/car_infos”路径下。
请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 plan_name 是 String 队列扩缩容计划名称，名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。 target_cu 是 Integer 队列扩缩容计划CU的目标值。 start_hour
是否必选 参数类型 描述 elastic_resource_pool_name 是 String 新建的弹性资源池名称，名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。长度限制：1~128个字符。 说明： 若名称中包含大写字母，将会自动转换为小写字母。 description
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
