检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
增强型跨源连接ID:在DLI管理控制台的“增强型跨源连接”列表页获取“连接ID”即为增强型跨源连接ID。 数据库ID:添加标签时候传入的数据库ID即数据库名。您可以在DLI控制台的“库表管理”页面查看数据库名称。 Flink作业ID:在DLI管理控制台的“Flink作业”列表页
在续费管理页面开通自动续费 登录管理控制台。 单击“控制台”页面上方“费用与成本”,在下拉菜单中选择“续费管理”。 进入“续费管理”页面。 自定义查询条件。 可在“自动续费项”页签查询已经开通自动续费的资源。 可对“手动续费项”、“到期转按需项”、“到期不续费项”页签的资源开通自动续费。 图2 续费管理
限信息的读取权限,以及路径的读写权限,则A账户可将数据导出至B账户的OBS路径中。 表管理页面 在“数据管理”页面中,单击对应数据库名称或“操作”列中的“表管理”,可进入其表管理页面。 表管理页面显示用户在当前数据库中创建所有的表,您可以查看表类型,数据存储位置等信息。表列表默认
Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。 前提条件 Kafka是线下集群,需要通过增强型跨源连接功能将Flink作业与Kafka进行对接。且用户可以根据实际所需设置相应安全组规则。 注意事项 对接的Kafka集群不支持开启SASL_SSL。
作业运行慢可以通过以下步骤进行排查处理。 可能原因1:FullGC原因导致作业运行慢 判断当前作业运行慢是否是FullGC导致: 登录DLI控制台,单击“作业管理 > SQL作业”。 在SQL作业页面,在对应作业的“操作”列,单击“更多 > 归档日志”。 图1 归档日志 在OBS目录下,获取归档日志文件夹,详细如下。
以参考使用Hive语法创建OBS表。 回收站数据自动清理需要在OBS并行文件系统的桶上配置回收站数据的生命周期规则。具体步骤参考如下: 在OBS服务控制台页面左侧选择“并行文件系统”,单击对应的文件系统名称。 在“基础配置”下单击“生命周期规则”,创建或者编辑生命周期规则。 图1
资源合理的分配和使用,避免资源过度集中和资源浪费。 如果资源配额限制满足不了用户的使用需求,可以通过工单系统来提交您的申请,并告知您申请提高配额的理由。 在通过审理之后,系统会更新您的配额并进行通知。关于配额的具体操作说明,请参见关于配额。 父主题: DLI资源配额类
"user_name":"Alice","area_id":"330106"} 按照如下方式查看taskmanager.out文件中的数据结果: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。
auth_info_name 是 String 指定更新的跨源认证名称。 user_name 否 String 用户安全集群的新登录用户名。 password 否 String 用户安全集群的新登录密码。 krb5_conf 否 String krb5配置文件obs路径。 keytab 否 String
12。 Microsoft Hive ODBC,推荐使用v2.6.12.1012。 配置ODBC连接Kyuubi 在Windows系统中,打开“控制面板 > 管理工具 > 数据源 (ODBC)”。 配置新的ODBC数据源。 在ODBC中单击“User DSN”。 单击“Add”创建新的数据源。
参数类型 说明 is_success 是 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 是 String 系统提示信息,执行成功时,信息可能为空。 job_id 是 String 作业ID。 owner 是 String 提交作业的用户。 start_time
录异常 Spark作业不支持访问sftp,建议将文件数据上传到OBS,再通过Spark作业进行读取和分析。 上传数据到OBS桶:通过OBS管理控制台或者使用命令行工具将存储在sftp中的文件数据上传到OBS桶中。 Spark读取OBS文件数据,详见使用Spark Jar作业读取和查询OBS数据。
对接CSS CSS安全集群配置 scala样例代码 pyspark样例代码 java样例代码 父主题: 使用Spark作业跨源访问数据源
跨源RDS表,执行insert overwrite提示Incorrect string value错误怎么办? 问题现象 客户在数据治理中心DataArts Studio创建DLI的跨源RDS表,执行insert overwrite语句向RDS写入数据报错:DLI.0999: B
在费用中心续费 登录管理控制台。 单击“控制台”页面上方“费用与成本”,在下拉菜单中选择“续费管理”。 进入“续费管理”页面。 自定义查询条件。 可在“手动续费项”、“自动续费项”、“到期转按需项”、“到期不续费项”页签查询全部待续费资源,对资源进行手动续费的操作。 图2 续费管理 所有需手
在DLI使用Hudi提交Spark SQL作业 登录DLI管理控制台,选择“SQL编辑器”首进入提交SQL作业的界面。提交SQL作业时需要选择支持Hudi的Spark SQL队列。 创建一张Hudi表: 将如下的建表语句粘贴至DLI SQL编辑器的输入区域,修改 LOCATION
参数类型 说明 is_success 否 Boolean 请求执行是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 version 否 String 委托版本信息。 current_roles 否 Array of Strings
将写好的自定义函数打成JAR包,并上传到OBS上。 在DLI管理控制台的左侧导航栏中,单击数据管理>“程序包管理”,然后单击创建,并使用OBS中的jar包创建相应的程序包。 在DLI管理控制台的左侧导航栏中,单击作业管理>“Flink作业”,在需要编辑作业对应的“操作”列中,单击“编辑”,进入作业编辑页面。
根据资源ID在云服务的控制台查找资源并删除。 在控制台中选择“大数据 > 数据湖探索 DLI”,并切换选择资源所在区域。 选择“资源管理 > 队列管理”或“资源管理 > 弹性资源池”。 在搜索框中输入资源名称,单击图标即可查找到该资源。 图2 查找资源 查看弹性资源池详细信息,根据计算资源的类型选择结束计费需要执行的操作。
(property_name=property_value, ...)]; 关键字 IF NOT EXISTS:所需创建的数据库已存在时使用,可避免系统报错。 COMMENT:对数据库的描述。 DBPROPERTIES:数据库的属性,且属性名和属性值成对出现。 参数说明 表1 参数说明 参数