检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL作业”。 选择待配置的作业,单击操作列下的编辑。 在“ 设置 > 参数配置”中配置spark.sql.dli.job.priority参数。 图1 SQL作业配置样例 父主题: 使用DLI提交SQL作业
例如原有的算法的语句是执行加减运算,当前需要恢复的状态将算法的语句修改成为乘除取余的运算,是无法从checkpoint直接恢复的。 修改“静态流图” 不支持 该操作修改了作业对资源的算法逻辑。 修改“单TM所占CU数”参数 支持 对计算资源的修改并没有影响到作业算法或算子的运行逻辑。 作业运行异常或物理停电
安全组”。 单击外部数据源所属的安全组名称,进入安全组详情界面。 在“入方向规则”页签中添加放通队列网段的规则。如图2所示。 详细的入方向规则参数说明请参考表3。 图2 添加入方向规则 表3 入方向规则参数说明 参数 说明 取值样例 优先级 安全组规则优先级。 优先级可选范围为1
yml配置项目。 确保步骤2:配置DBT连接DLIprofile文件中已设置该项目的profiles.yml中定义的数据源名称。 图1 profile文件 图2 dbt_project.yml文件中配置的profile 验证配置 执行以下命令测试DBT配置是否正确: dbt debug
IPv4+端口号:192.168.x.x:8080 · 域名:domain-xxxxxx.com · 域名+端口号:domain-xxxxxx.com:8080 图1 测试地址连通性 单击“测试”。 如果测试地址可连通,页面上将提示地址可达。 如果测试地址不可连通,页面上将提示地址不可达,请检查网络配置
Id); System.out.println(result); } 查询作业执行计划图 DLI提供查询Flink作业执行计划图的接口。您可以使用该接口查询作业的执行计划图。示例代码如下: 1 2 3 4 5 private static void getFlinkJ
机的/etc/hosts 配置Kyuubi主机IP的映射关系。 执行ifconfig查看主机IP地址。 图2 查看主机IP地址 将该IP配置在/etc/hosts文件中。 图3 在/etc/hosts文件中配置IP地址 步骤2:配置Beeline连接Kyuubi 您可以用Kyuubi
被分配在多个窗口。 例如:可以定义一个每5分钟滑动一次。大小为10分钟的窗口。每5分钟获得最近10分钟到达的数据的窗口,如下图所示: 图2 滑动窗口示例图 语法描述 HOP 函数通过时间属性字段为每一行数据分配了一个窗口。 在流计算模式,这个时间属性字段必须被指定为事件或处理时间
1”,可以将多个task生成的多个文件汇总为一个文件。 操作步骤 在管理控制台检查对应SQL作业详情中的“结果条数”是否正确。 检查发现读取的数据量是正确的。 图1 检查读取的数据量 确认客户验证数据量的方式是否正确。客户验证的方式如下: 通过OBS下载数据文件。 通过文本编辑器打开数据文件,发现数据量缺失。
从控制台获取项目ID的步骤如下: 登录管理控制台。 鼠标悬停在右上角的用户名,选择下拉列表中的“我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。 图1 查看项目ID 父主题: 公共参数
据文件。 图1 DLI datasource v1表 DLI datasource v2表(以下简称V2表):spark开源的Datasource表,建表/插入/truncate命令使用spark开源的command,表的数据路径为$tablepath/数据文件。 图2 DLI datasource
Flink作业”,在对应的Flink作业所在行,操作列下单击“编辑”。 在“运行参数”下,查看“开启Checkpoint”参数是否开启。 图1 开启Checkpoint 确认Flink结果表的表结构和DLI分区表的表结构是否保持一致。如问题描述中car_infos_sink和car_infos表的字段是否一致。
时间会相差13小时。 请在RDS数据库内执行如下语句 show variables like '%time_zone%' 执行结果如下: 图1 执行结果 表1 参数说明 参数 说明 system_time_zone 数据库时区。 这里它指向 'SYSTEM',也就是数据库服务器的
fallback-mapred-reader=true Reading Hive Views Flink 能够从 Hive 定义的视图中读取数据,但存在一些限制: 必须先将 Hive 目录设置为当前目录,然后才能查询视图。这可以通过表 API 中的 tableEnv.useCatalog(...) 或 USE CATALOG
如果创建程序包时选择了分组,则权限管理为对应程序包组的权限管理。 如果创建程序包时选择了不分组,则权限管理为对应程序包的权限管理。 程序包组授权 图1 程序包组授权 表1 程序包组授权参数说明 参数名称 描述 用户名 被授权的IAM用户的名称。 说明: 该用户名称是已存在的IAM用户名称。
进入标签管理页面,显示当前数据库的标签信息。 单击“添加/编辑标签”,弹出“添加/编辑标签”对话框,配置参数。 输入框输入内容后单击'添加',将标签添加到输入框中。 图1 数据库添加/编辑标签 表1 标签配置参数 参数 参数说明 标签键 您可以选择: 在输入框的下拉列表中选择预定义标签键。 如果添加预定义标
批量停止作业 勾选多个需要停止作业,单击作业列表左上方的“停止”。可以停止多个作业。 在弹出的“停止作业”窗口中,单击“确认”,停止作业。 图1 停止作业 在停止作业之前,用户可以触发保存点,保存作业的状态信息。当该作业再次启动时用户可以选择是否从保存点恢复。 勾选“触发保存点”表
10”和“1.11”和“1.12”。 1.12 图4 创建Flink Jar作业 结果校验。 作业处于运行中状态时,向DIS的source通道发送数据,验证DIS的sink通道能否收到数据。发送和接受都有字节数证明接收到数据。 图5 查看校验结果 JAVA样例代码 DIS Flink
28元 费用合计:51.48元。 欠费影响 图1描述了按需计费的DLI资源各个阶段的状态。购买后,在计费周期内资源正常运行,此阶段为有效期;当您的账号因按需资源自动扣费导致欠费后,账号将变成欠费状态,资源将陆续进入宽限期和保留期。 图1 按需计费的DLI资源生命周期 欠费预警 系
对等连接的连接状态: 跨源连接的状态信息,包括以下三种状态:创建中、已激活、已失败。 当连接状态显示为“已失败”时,单击左边对应的,可查看详细的错误信息。 图1 查看增强型跨源连接详情 父主题: 管理增强型跨源连接