检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
System.out.println(result); } 查询作业APIG网关服务访问地址 DLI提供查询Flink作业APIG访问地址的接口。您可以使用该接口查询作业APIG网关服务访问地址。示例代码如下: 1 2 3 4 5 private static void
选择“运行队列”。提交并运行作业。 登录云监控服务CES控制台,在“云服务监控”列表中找到“数据湖探索”服务。在Flink作业中找到目标作业,单击“创建告警规则”。 图6 云服务监控 图7 创建告警规则 DLI 为Flink作业提供了丰富的监控指标,用户可以依据自身需求使用不同的监控指
'yyyyMMdd') from orderSource; 配置作业运行参数: 选择队列,并配置Flink版本至少为1.15。 配置权限足够的委托。 配置OBS桶。 开启Checkpoint,使用Hudi时必须开启Checkpoint。 提交作业并检查Flink UI和日志:
网)",或者内网地址和内网端口访问,格式为"协议头://内网IP:内网端口/数据库名",例如:"jdbc:postgresql://192.168.0.77:8000/postgres"。 说明: DWS的连接地址格式为:"协议头://访问地址:访问端口/数据库名" 例如: jd
内置函数 数学运算函数 字符串函数 时间函数 条件函数 类型转换函数 集合函数 值构建函数 属性访问函数 Hash函数 聚合函数 表值函数 父主题: 函数
登录CSS管理控制台,选择“集群管理 > Elasticsearch”。 在集群管理界面,在已创建的CSS集群的“操作”列,单击“Kibana”访问集群。 在Kibana的左侧导航中选择“Dev Tools”,进入到Console界面。 在Console界面,执行如下命令创建索引“shoporders”。
Documentation 2020年3月 序号 功能名称 功能描述 阶段 相关文档 1 支持Spark程序访问DLI表 DLI支持通过Spark作业访问DLI表。 商用 使用Spark作业访问DLI表 2 支持计算队列手动扩缩容 DLI支持手动对队列进行扩缩容。 商用 手动扩容/缩容 2020年1月
groups)。 hoodie.clustering.plan.strategy.partition.regex.pattern=${正则表达式} // 无默认值,不指定该参数的时候Clustering会对所有分区下的数据进行重组。 hoodie.clustering.plan.strategy
DLI提供的“测试地址连通性”用于验证DLI队列与目标地址之间的网络连通性。 常用于读写外部数据源场景,在配置了跨源连接后,检验DLI队列与绑定的跨源对端地址之间的通信能力。 测试队列与数据源地址连通性 登录DLI管理控制台,选择“资源管理 > 队列管理”。 在“队列管理”页面,选择需要测试地址连通性的队列,单击操作列下的“更多
e、clean参数。 表1 参数名称 参数 是否必选 默认值 数据类型 参数说明 connector 是 无 String 读取表类型。需要填写'hudi' path 是 无 String 表存储的路径。如obs://xx/xx table.type 是 COPY_ON_WRITE
性资源池特有的。规格部分以包周期的计费,规格之外的部分按需计费。 数据库 数据库即按照数据结构来组织、存储和管理数据的仓库。DLI服务管理权限的基础单元是数据库,赋权以数据库为单位。 在DLI中,表和数据库是定义底层数据的元数据容器。表中的元数据让DLI知道数据所在的位置,并指定
放)。 客户安全组入方向和出方向配置的都是DLI队列的子网。建议客户将入方向源地址配成0.0.0.0/0,端口8000,表示任意地址都可以访问DWS8000端口。 将入方向源地址配成0.0.0.0/0,端口8000,仍然无法连接,继续排查子网配置。客户的DWS子网关联了网络ACL
null ] ] } 状态码 状态码如表6所示。 表6 状态码 状态码 描述 200 提交成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: SQL作业相关API
clickhouse.ClickHouseDriver”。 connector.username 否 访问ClickHouse数据库的账号。 connector.password 否 访问ClickHouse数据库账号的密码。 connector.write.flush.max-rows
Spark 2.4.x与Spark 3.3.x版本差异对比 Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异对比 Spark 2.4.x与Spark 3.3.x版本在通用队列的差异对比 DLI datasourceV1表和datasourceV2表 父主题: 版本支持公告
property_name = property_value, …] ); TBLPROPERTIES允许用户通过键值对的方式(属性名和属性都必须是单引号或双引号包裹的字符串),添加或修改连接器支持的表属性,以Hive连接器为例: TBLPROPERTIES ("transactional"="true")
是否必选 默认值 类型 说明 connector 是 无 String 指定使用的连接器,固定为:hbase-2.2。 table-name 是 无 String 连接的HBase表名。 zookeeper.quorum 是 无 String HBase Zookeeper实例信息
创建增强型跨源连接后,使用DCS提供的"连接地址"。"连接地址"有多个时,选择其中一个即可。 说明: 访问DCS目前只支持增强型跨源。 port DCS的连接端口,例如6379。 password (已废弃)创建DCS集群时填写的密码。访问非安全Redis集群时不需要填写。 passwdauth 跨源密码认证名
再设置作业优先级。 调整作业优先级需要停止作业后编辑,并重新提交运行才能生效。 设置Flink Opensource SQL作业优先级 登录DLI管理控制台。 单击“作业管理 > Flink作业”。 选择要待配置的作业,单击操作列下的编辑。 单击“自定义配置”。 在“自定义配置
属的计算资源,空闲(无作业运行)时不会释放,使用体验更佳,价格比按需计费模式更优惠。 按需计费:后付费模式,默认勾选专属资源模式,空闲时资源不被释放。 区域 选择所在的区域。不同区域的云服务之间内网互不相通;请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 项目 每个区