检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
请确认包年/包月资源还未到期。 在购买页面开通自动续费 您可以在购买页面开通自动续费,如图1所示。 图1 自动续费配置 在续费管理页面开通自动续费 登录管理控制台。 单击“控制台”页面上方“费用与成本”,在下拉菜单中选择“续费管理”。 进入“续费管理”页面。 自定义查询条件。 可在“自动续费项”页签查询已经开通自动续费的资源。
更多创建队列的操作步骤请参考创建弹性资源池并添加队列。 修改企业项目 针对之前已创建的集群,其绑定的企业项目可根据实际情况进行修改。 登录DLI管理控制台, 在左侧导航栏,选择“资源管理 > 弹性资源池”。 在弹性资源池资源列表中,选择待修改企业项目的资源,并单击操作列下“更多
'datagen' ); 参数说明 表2 参数说明 参数 是否必选 默认值 数据类型 参数说明 connector 是 无 String 指定要使用的连接器,这里是'datagen'。 rows-per-second 否 10000 Long 每秒生成的行数,用以控制数据发出速率。 number-of-rows
select * from hudiSource; 该作业提交后,作业状态变成“运行中”,后续您可通过如下操作查看输出结果。 方法一: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 在对应Flink作业所在行的“操作”列,选择“更多 > FlinkUI”。 在FlinkUI界面,选择“Task
选择“用户授权”或“项目授权”。 用户名/项目 选择“用户授权”时,输入表新增用户对应IAM用户名称。 说明: 该用户名称是已存在的IAM用户名称且该用户登录过DLI管理控制台。 选择“项目授权”时,选择当前区域下需要授权的项目。 说明: 选择“项目授权”时,只能查看被授权的表及其所在数据库的信息。
Flink 1.15 Jar 系统内置jar包清单,请在FLink作业的日志中获取Flink 1.15相关依赖包信息: 查看Flink日志。 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击作业名称,选择“运行日志”。 控制台只展示最新的运行日志,更多日志信息请查看保存日志的OBS桶。
配置DLI委托访问授权 DLI使用过程中涉及到OBS、VPC、SMN等服务交互,首次使用DLI需要用户配置委托授权,允许访问这些依赖服务。 使用华为云账号登录DLI管理控制台,在左侧导航栏单击“全局配置 > 服务授权”。 在委托设置页面,勾选基础使用、跨源场景、运维场景的委托权限后,单击“更新委托权限”。
peline.global-job-parameters中。 key和value之间通过冒号(:)分隔,所有key-value用逗号(,)连接。 如果key或value中含有逗号(,),则需要用双引号(")将key:value整个包围起来。参考k2。 如果key或value中含有
peline.global-job-parameters中。 key和value之间通过冒号(:)分隔,所有key-value用逗号(,)连接。 如果key或value中含有逗号(,),则需要用双引号(")将key:value整个包围起来。参考k2。 如果key或value中含有
nk OpenSource SQL作业编辑页的UDF Jar参数上传。具体Flink OpenSource SQL作业创建指导可以参考https://support.huaweicloud.com/usermanual-dli/dli_01_0498.html。 语法格式 create
是否异步上传资源包。 请求示例 从OBS上传jar包至DLI,并定义分组名称为gatk。 { "paths": [ "https://test.obs.xxx.com/test_dli.jar" ], "group": "gatk" } 响应示例 {
费,具体计费规则与SQL作业相同。 具体计费规则可以参考华为云官网价格详情。 。 步骤1:获取消费数据 获取消费明细数据。 使用华为云账户登录控制台。 通过“费用中心”>“费用账单”进入费用中心。 图1 费用账单 在“费用账单”界面,选择对应的“账期”,在“按产品汇总”下的搜索框下,选择“产品类型
dli_queue:队列 dli_elastic_resource_pool:弹性资源池 dli_enhanced_datasource:增强型跨源连接 dli_database:数据库 dli_package_resource:资源包(不支持指定有Module ID的内置资源包) dli_flink_job:Flink作业
操作完成时间。 status String 扩缩容成功或者失败的状态。 fail_reason String 失败原因。 请求示例 GET https://{endpoint}/v3/{project_id}/elastic-resource-pools/{elastic_resour
待设置的参数说明如表1所示。 图1 队列权限授权 表1 参数说明 参数名称 描述 用户名 被授权的用户名称。 说明: 该用户名称是已存在的IAM用户名称且该用户登录过DLI管理控制台。 权限设置 删除队列:删除此队列。 提交作业:向此队列提交作业。 终止作业:终止提交到此队列的作业。 赋权:当前用户可将队列的权限赋予其他用户。
是否异步上传资源包。 请求示例 从OBS上传python文件至DLI,并定义分组名称为gatk。 { "paths": [ "https://test.obs.xxx.com/dli_tf.py" ], "group": " gatk" } 响应示例 {
array<T> <b>[,...]),concat(string <str1>, string <str2>[,...]) ARRAY或STRING 连接多个字符串,合并为一个字符串,可以接受任意数量的输入字符串。 concat_ws concat_ws(string <separator>
要写入单个文件的最大记录数。如果该值为零或为负,则没有限制。 spark.sql.autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE
…] ); TBLPROPERTIES允许用户通过键值对的方式(属性名和属性都必须是单引号或双引号包裹的字符串),添加或修改连接器支持的表属性,以Hive连接器为例: TBLPROPERTIES ("transactional"="true") ,可能的取值为[true,false]
并根据账单中资源ID查看资源名称。 根据资源名称在DLI云服务的控制台查找资源。 删除资源将资源停止计费。 详细操作步骤如下: 在费用中心账单中获取资源ID。 登录管理控制台,在顶部菜单栏中选择“费用与成本 > 费用账单”。 进入费用账单页面。 选择“流水和明细账单 > 明细账单”,复制资源ID。 根据资源ID查找资源名称。