检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取项目ID的接口为“GET https://{Endpoint}/v3/projects”，其中{Endpoint}为IAM的终端节点，可以从地区和终端节点获取。 响应示例如下，例如DLI服务部署的区域为“cn-north-4”，相应消息体中查找“name”为“cn-north-4”
连接DLI服务的地址格式为：jdbc:dli://<endPoint>/<projectId>。因此您需要获取对应的Endpoint和项目编号。 在地区和终端节点获取DLI对应的Endpoint；在华为云页面上方菜单栏，单击用户名，然后在“我的凭证”页面获取项目编号。 示例：jdbc:dli://dli
单击“下一步”，进入到字段映射界面，CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配，可通过拖拽字段调整。 如果选择在目的端自动创建类型，这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容，详细请参见字段转换。 图7 字段映射 单击“下一步”配置任务参数，一般情况下全部保持默认即可。
单击“下一步”，进入到字段映射界面，CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配，可通过拖拽字段调整。 如果选择在目的端自动创建类型，这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容，详细请参见字段转换。 图7 字段映射 单击“下一步”配置任务参数，一般情况下全部保持默认即可。
存点”，保存作业的状态信息。 权限管理：查看作业对应的用户权限信息以及对其他用户授权。 运行时配置：支持作业在运行时配置作业异常告警和异常自动重启。 查看Flink作业详情 用户作业创建完成并保存后，用户可以单击作业名查看作业的详细信息，包括作业的SQL语句和参数设置信息，如果是
（推荐）生成AK/SK 登录DLI管理控制台。 在页面右上角的用户名的下拉列表中选择“我的凭证”。 在“我的凭证”页面，默认显示“项目列表”，切换到“管理访问密钥”页面。 单击左侧“新增访问密钥”按钮，输入“登录密码”和“短息验证码”。 单击“确定”，下载证书。 下载成功后，在cre
在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 对接MRS HBase需要在DLI队列的host文件中添加MRS集群节点的/etc/hosts信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 开启Kerberos认证时的相关配置文件
配置为true时，代表启用动态分区修剪，SQL会在查询中自动检测并删除那些不满足WHERE子句条件的分区，适用于在处理具有大量分区的表时。 如果SQL查询中包含大量的嵌套left join操作，并且表有大量的动态分区时，这可能会导致在数据解析时消耗大量的内存资源，导致Driver节点的内存不足，并触发频繁的Full
变更普通队列规格 前提条件 新创建的包年包月计费队列需要运行作业后才可进行规格变更。 本节操作仅适用于普通队列，不适用于弹性资源池队列。 注意事项 目前只支持64CUs以上规格包年包月队列进行规格变更。 如果在“规格变更”页面提示“Status of queue xxx is assigning
OpenTSDB，填写OpenTSDB链接地址。 访问MRS OpenTSDB，若使用增强型跨源连接，填写OpenTSDB所在节点IP与端口，格式为"IP:PORT"，OpenTSDB存在多个节点时，用分号间隔。 metric 所创建的DLI表对应的OpenTSDB中的指标名称。 tags metri
OpenTSDB，填写OpenTSDB链接地址。 访问MRS OpenTSDB，若使用增强型跨源连接，填写OpenTSDB所在节点IP与端口，格式为"IP:PORT"，OpenTSDB存在多个节点时，用分号间隔。 metric 所创建的DLI表对应的OpenTSDB中的指标名称。 tags metri
前提条件 Kafka服务端的端口如果监听在hostname上，则需要将Kafka Broker节点的hostname和IP的对应关系添加到DLI队列中。Kafka Broker节点的hostname和IP请联系Kafka服务的部署人员。如何添加IP域名映射，请参见《数据湖探索用户指南》中修改主机信息章节。
弹性资源池规格不满足当前业务需求时，可以通过“变更规格”功能修改当前弹性资源池的规格。 注意事项 当前仅支持包年包月计费模式的弹性资源池进行规格变更。 弹性资源池扩容 在DLI管理控制台左侧，选择“资源管理 > 弹性资源池”。 选择需要扩容的弹性资源池，单击“操作”列“更多”中的“规格变更”。 在“规格变更”页面，“
端参数。 单击“下一步”，进入到字段映射界面，CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配，可通过拖拽字段调整。 如果选择在目的端自动创建类型，这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容 图8 字段映射 单击“下一步”配置任务参数，一般情况下全部保持默认即可。
前提条件 Kafka服务端的端口如果监听在hostname上，则需要将Kafka Broker节点的hostname和IP的对应关系添加到DLI队列中。Kafka Broker节点的hostname和IP请联系Kafka服务的部署人员。如何添加IP域名映射，请参见《数据湖探索用户指南》中修改主机信息章节。
gle地图（GCJ02标准）上使用，会有偏移现象，为了在不同地理坐标系之间切换，DLI提供了坐标系转换的一系列函数，并且还提供地理距离与米之间的转换函数。详见表4。 表4 地理坐标系转换函数与距离单位转换函数表 函数 返回值 说明 WGS84_TO_BD09(geometry) 对应的百度地图坐标系地理空间几何元素
如何使用API通过公网访问DLI？ DLI域名公网访问请使用域名访问：dli.{regionid}.myhuaweicloud.com 数据湖探索的终端节点请参考终端节点。 数据湖探索API请参考：数据湖探索API。 DLI自定义的Spark3.1.1镜像，需要把第三方依赖jar放到哪个路径下呢？ DLI自定义的Spark3
Format 功能描述 JSON Format 能读写 JSON 格式的数据。当前，JSON schema 是从 table schema 中自动推导而得的。 支持的Connector Kafka Upsert Kafka Elasticsearch 参数说明 表1 参数 是否必选 默认值
前提条件 Kafka服务端的端口如果监听在hostname上，则需要将Kafka Broker节点的hostname和IP的对应关系添加到DLI队列中。Kafka Broker节点的hostname和IP请联系Kafka服务的部署人员。如何添加IP域名映射，请参见《数据湖探索用户指南》中修改主机信息章节。
前提条件 Kafka服务端的端口如果监听在hostname上，则需要将Kafka Broker节点的hostname和IP的对应关系添加到DLI队列中。Kafka Broker节点的hostname和IP请联系Kafka服务的部署人员。如何添加IP域名映射，请参见《数据湖探索用户指南》中修改主机信息章节。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
