检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
NOT ENFORCED ) with ( 'connector' = 'redis', 'host' = '' ); 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 说明 connector 是 无 String connector类型,需配置为'redis'
主要参数的填写说明: 所属队列:选择Flink Jar作业运行的队列。 应用程序:自定义的程序包 主类:指定 类名:输入类名并确定类参数列表(参数间用空格分隔)。 其他依赖文件:自定义的依赖文件。选择2和4导入的jks和properties文件。
在“购买套餐包”页面设置相关参数。 表2 参数说明 参数名称 描述 区域 选择所在的区域。不同区域的云服务之间内网互不相通;请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 项目 每个区域默认对应一个项目,这个项目由系统预置。
同时也要注意参数的合法性,例如分页参数设置为“-1”,会导致查询失败。 该SDK接口不支持sql_pattern,即通过指定sql片段作为作业过滤条件进行查询。 如果需要则可以通过查询所有作业API接口指定该参数进行查询。 查询作业结果 DLI提供查询作业结果的接口。
NOT ENFORCED ) with ( 'connector' = 'redis', 'host' = '' ); 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 说明 connector 是 无 String connector类型,需配置为'redis
通过API提交作业请参考《数据湖探索API参考》>《创建批处理作业》中“表2-请求参数说明”关于“modules”参数的说明。
用户可以通过dli.sql.job.timeout(单位是秒)参数配置超时时间。 DLI支撑本地测试Spark作业吗? DLI暂不支持本地测试Spark作业,您可以安装DLI Livy工具,通过Livy工具提供的交互式会话能力调测Spark作业。
partition_spec 一个可选参数,使用键值对来指定分区列表,键值对之间通过逗号分隔。需要注意,指定分区时,表名不支持模糊匹配。
在“购买队列”页面,参见表2设置相关参数。 表2 参数说明 参数名称 描述 计费模式 包年/包月 该计费模式的队列为专属队列。 按需计费:建议购买cu时套餐包享受优惠。 区域 选择所在的区域。
参数说明 表1 参数描述 参数 是否必选 描述 db_name 否 Database名称。 由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。 table_name 是 Database中的表名。 由字母、数字和下划线(_)组成。
支持的Connector Kafka Upsert Kafka Filesystem 参数说明 表1 参数 是否必选 默认值 类型 描述 format 是 (none) String 指定要使用的格式, 这里应该是 'raw'。
参数 是否必选 说明 配置样例 type 是 数据源类型,本例配置为dli。
参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 format 是 (none) String 指定使用格式,此处使用'maxwell-json'。
在“创建定时任务”页面,设置参数。单击“确定”。 图1 创建定时任务 表1 参数说明 参数名称 描述 任务名称 输入定时任务的名称。 只能包含数字、英文字母和下划线,但不能是纯数字,不能以下划线开头,且不能为空。 输入长度不能超过128个字符。 激活任务 激活队列扩缩容定时任务。
参数B控制近似的精确度,B值越大,近似度越高,默认值为10000。当列中非重复值的数量小于B时,返回精确的百分数。 stddev_pop stddev_pop(col) DOUBLE 返回指定列的偏差。
UQUERY_OPENTSDB_TABLE_NAME USING OPENTSDB OPTIONS ( 'host' = 'xx;xx', 'metric' = 'METRIC_NAME', 'tags' = 'TAG1,TAG2'); 关键字 表1 CREATE TABLE关键字描述 参数
支持的Connector Kafka Filesystem 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 format 是 (none) String 指定要使用的格式,此处应为 'canal-json'. canal-json.ignore-parse-errors
Spark2.4.x:使用spark.io.compression.codec的参数值作为eventlog的压缩格式。 Spark3.3.x:spark.eventLog.compression.codec默认设置为zstd。
如下脚本中的加粗参数请根据实际环境修改。
表1 参数说明 参数 是否必选 说明 数据格式 是 选择导出结果的数据格式,当前支持json和csv格式。 队列 是 选择执行导出作业的队列。SQL作业只能在队列类型为“SQL队列”下执行。 压缩格式 否 导出查询结果数据的压缩方式,选择如下压缩方式。