检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当encode为user_defined时,需配置该参数,指定用户自实现编码类的类名(包含完整包路径),该类需继承类DeserializationSchema。 encode_class_parameter 否 当encode为user_defined时,可以通过配置该参数指定用户自实现编码类的入参,仅支持一个string类型的参数。
认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放, 使用时解密, 确保安全。 本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量xxx_SDK_AK和xxx_SDK_SK。 regionName :所属区域名称 projectId
和通用海量KeyValue数据存储与查询等场景。CloudTable的更多信息,请参见《表格存储服务用户指南》。 前提条件 该场景作业需要运行在DLI的独享队列上,因此要与CloudTable HBase建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强
”列的“执行”,将跳转至“SQL编辑器”页面,并在SQL作业编辑窗口中自动输入对应的SQL语句。 在SQL作业编辑窗口右上方,单击“执行”运行SQL语句,执行结束后,可以在SQL作业编辑窗口下方区域中查看执行结果。 查找SQL作业模板 在“SQL模板”页面,可在右上方搜索框中输入模板名称关键字,查找与之匹配的模板。
作业资源的占用情况请参考怎样查看作业所需的资源CUs数?。 怎样查看作业所需的资源CUs数? SQL作业: 请通过云监控服务提供的监控面板查看运行中的作业数和提交中的作业数,并根据作业数量判断SQL作业整体的资源占用情况。 Flink 作业: 登录DLI管理管理控制台。 选择“作业管理
如何创建DDS实例,请参考《文档数据库服务快速入门》中“快速购买文档数据库实例”章节。 目前仅支持未开启SSL认证的集群实例,不支持副本集与单节点的类型实例。 该场景作业需要运行在DLI的独享队列上,请确保已创建DLI独享队列。 关于如何创建DLI独享队列,在购买队列时,选择“按需计费”,勾选“专属资源模式”即可。
如何创建DDS实例,请参考《文档数据库服务快速入门》中“快速购买文档数据库实例”章节。 目前仅支持未开启SSL认证的集群实例,不支持副本集与单节点的类型实例。 该场景作业需要运行在DLI的独享队列上,请确保已创建DLI独享队列。 关于如何创建DLI独享队列,在购买队列时,选择“按需计费”,勾选“专属资源模式”即可。
= 'like' group by brand ORDER BY like_count desc limit 10 单击“执行”,运行结果如图2所示: 图2 查询结果 单击“结果图形化”,对结果进行图形展示: 图3 结果图形化 分析出10大评级最差的商品 执行以下SQL语句,可以分析出10大评级最差的商品。
小,以满足自己的业务需求,节约成本。 本节操作仅适用于普通队列,不适用于弹性资源池队列。 使用弹性扩缩容定时任务注意事项 新创建的队列需要运行作业后才可进行扩缩容。 目前只支持规格为64CUs以上的队列进行定时弹性扩缩容任务,即队列最小规格为64CUs。 对于每个队列,最多支持创建12个定时任务。
} } } } 参考创建Flink OpenSource作业,创建flink opensource sql作业,输入以下作业运行脚本,提交运行作业。 如下脚本中的加粗参数请根据实际环境修改。 CREATE TABLE kafkaSource ( order_id string
(property_name=property_value, property_name=property_value, ...)]可利用以下语句实现NULL值转换为空字符串。 ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
变为“运行中”。 如果作业状态为“提交失败”或“运行异常”,表示作业提交或运行失败。用户可以在作业列表中的“状态”列中,将鼠标移动到状态图标上查看错误信息,单击可以复制错误信息。根据错误信息解决故障后,重新提交。 如果以上错误信息不足以定位问题,还可以参考Flink作业运行异常,
kafka的地址-->测试)。若能连通,则表示跨源已经绑定成功;否则表示未成功。 创建flink opensource sql作业,并提交运行,其代码如下: CREATE TABLE kafkaSource ( order_id string, order_channel
kafka的地址-->测试)。若能连通,则表示跨源已经绑定成功;否则表示未成功。 创建flink opensource sql作业,并提交运行,其代码如下: CREATE TABLE kafkaSource ( order_id string, order_channel
测试)。如果能连通,则表示跨源已经绑定成功;否则表示未成功。 创建flink opensource sql作业,开启checkpoint,并提交运行,其代码如下: CREATE TABLE kafkaSource ( order_id string, order_channel
当encode为user_defined时,需配置该参数,指定用户自实现编码类的类名(包含完整包路径),该类需继承类DeserializationSchema。 encode_class_parameter 否 当encode为user_defined时,可以通过配置该参数指定用户自实现编码类的入参,仅支持一个string类型的参数。
properties程序包 创建Flink Jar作业并运行。 创建Flink Jar作业,在应用程序、其他依赖文件选择步骤3导入Flink Jar,并指定主类。 主要参数的填写说明: 所属队列:选择Flink Jar作业运行的队列。 应用程序:自定义的程序包 主类:指定 类名:输
OpenSource作业,创建flink opensource sql作业,输入以下作业脚本,提交运行作业。该作业脚本将Kafka为数据源,Redis作为维表,数据写入到Kafka结果表中。 注意:创建作业时,在作业编辑界面的“运行参数”处,“Flink版本”选择“1.12”,勾选“保存作业日志”并设置保
deleteBatchJob(DLIClient client) throws DLIException { //提交Spark批处理运行作业的Id String batchId = "0aae0dc5-f009-4b9b-a8c3-28fbee399fa6";
PostgreSQL或MySQL类型的RDS实例。 如何创建RDS实例,请参见《关系型数据库快速入门》中“购买实例”章节。 该场景作业需要运行在DLI的独享队列上,因此要与RDS实例建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数