检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 添加标签 表1 标签配置参数 参数 参数说明 标签键 您可以选择: 在输入框的下拉列表中选择预定义标签键。 如果添加预定义标签,用户需要预先在标签管理服务中创建好预定义标签,然后在“标签键”的下拉框中进行选择。
图1 创建程序包 表1 参数说明 参数名称 描述 包类型 支持的包类型如下: JAR:用户jar文件 PyFile:用户Python文件 File:用户文件 ModelFile:用户AI模型文件 OBS路径 选择对应程序包的OBS路径。
REVOKE_PRIVILEGE 队列权限的回收 √ × √ √ SHOW_PRIVILEGES 查看其他用户具备的队列权限 √ × √ √ 数据库 DROP_DATABASE 删除数据库 √ × √ √ CREATE_TABLE 创建表 √ × √ √ CREATE_VIEW 创建视图
图1 添加/编辑标签 表1 标签配置参数 参数 参数说明 标签键 您可以选择: 在输入框的下拉列表中选择预定义标签键。 如果添加预定义标签,用户需要预先在标签管理服务中创建好预定义标签,然后在“标签键”的下拉框中进行选择。
图1 添加/编辑标签 表1 标签配置参数 参数 参数说明 标签键 您可以选择: 在输入框的下拉列表中选择预定义标签键。 如果添加预定义标签,用户需要预先在标签管理服务中创建好预定义标签,然后在“标签键”的下拉框中进行选择。
图1 迁移数据至DLI 常见迁移场景与迁移方案指导 表1 常见迁移场景与迁移方案指导 数据类型 迁移工具 迁移方案 Hive CDM 典型场景示例:迁移Hive数据至DLI Kafka CDM 典型场景示例:迁移Kafka数据至DLI Elasticsearch CDM 典型场景示例
https://iam.cn-north-1.myhuaweicloud.com/v3/auth/tokens 图1 URI示意图 为查看方便,在每个具体API的URI部分,只给出resource-path部分,并将请求方法写在一起。
如图1所示: 图1 添加依赖文件 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。
如图1所示,“基础平台组组长”在华为云上申请了一个“租户管理员”(Tenant Administrator)账号,用于管理和使用华为云的各个服务。
用户可以在作业列表中的“状态”列中,将鼠标移动到状态图标上查看错误信息,单击可以复制错误信息。根据错误信息解决故障后,重新提交。 父主题: 使用DLI提交Flink作业
图1 创建模板 表1 参数说明 参数名称 描述 名称 模板名称。 模板名称只能包含数字、英文字母和下划线,但不能是纯数字,不能以下划线开头,且不能为空。 输入长度不能超过50个字符。 语句 需要保存为模板的SQL语句。 描述 该模板的相应描述。
为支持SparkSQL中对COW表增量视图查询,默认将COW表中该值置为false。
图1 跨源分析流程 相关链接 创建方式 增强型跨源连接 管理控制台操作 创建增强型跨源连接 API接口 《增强型跨源连接相关API》 父主题: 配置DLI与数据源网络连通(增强型跨源连接)
本例配置的扩缩容策略如图2所示。 图2 添加队列时配置扩缩容策略 表4 扩缩容策略参数说明 参数名称 参数说明 配置样例 优先级 当前弹性资源池中的优先级数字越大表示优先级越高。本例设置一条扩缩容策略,默认优先级为1。
图1 弹性资源池基本信息 弹性资源池的实际CUs、已使用CUs、CU范围、规格(包周期CU) 实际CUs:弹性资源池当前分配的可用CUs。 实际CUs的计算公式: 实际CUs=min{sum(队列maxCU),弹性资源池maxCU}。
包含以下类型: DLI表: MANAGED_TABLE OBS表 : EXTERNAL_TABLE 视图:VIRTUAL_VIEW datasource-type 否 String 数据源类型。
图1 设置凭据值 按需完成其他参数的配置后,单击“确定”保存凭据。 了解更多请参考创建通用凭据。 在DLI作业中使用DEW中创建的凭据 以Flink作业为例介绍使用DEW凭据的方法。
图1 创建认证信息-Kafka_SSL 访问开启SASL_SSL认证的Kafka。 跨源认证创建成功后,在创建访问数据源时只需关联跨源认证即可安全访问数据源。 建表时关联跨源认证的字段请参考表3。
student_hive_sink select * from student_datagen_source; 使用spark sql进行查询结果表: select * from demo.student_hive_sink where classNo > 0 limit 10 图1
图1 创建认证信息-Kerberos 访问MRS的表。 跨源认证创建成功后,在创建访问数据源时只需关联跨源认证即可安全访问数据源。 建表时关联跨源认证的字段请参考表3。