检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
式的字段发生名称冲突。 默认情况下，前缀为空。如果定义了自定义前缀，则表架构 和'key.fields'都将使用前缀名称。在构造密钥格式的数据类型时，将删除前缀，并在密钥格式中使用无前缀的名称。请注意，此选项要求'value.fields-include' 必须设置为'EXCEPT_KEY'。
DLI控制台并未展示弹性资源池的ID。查询DLI队列或弹性资源池的资源账单，包含以下三步操作： 在DLI云服务控制台获取资源名称。 根据DLI资源名称，在“我的资源”页面根据资源名称查看资源ID。（资源名称不唯一，因此建议使用名称查询指定的资源ID后再查看账单。） 根据上报账单的资源ID在费用中心查看资源账单。 详细操作如下所述：
tensorflow 上传自定义镜像。 docker push [镜像仓库地址]/[组织名称]/[自定义镜像名称:自定义版本名称] 上述命令中的“[镜像仓库地址]/[组织名称]/[自定义镜像名称:自定义版本名称]”保持和7一致。 示例： docker push swr.xxx/testdli0617/spark:2
会监控文件夹中新文件的生成情况，并增量读取新文件。 前提条件 该场景作业需要建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项 创建Flink OpenSource
式的字段发生名称冲突。 默认情况下，前缀为空。如果定义了自定义前缀，则表架构 和'key.fields'都将使用前缀名称。在构造密钥格式的数据类型时，将删除前缀，并在密钥格式中使用无前缀的名称。请注意，此选项要求'value.fields-include' 必须设置为'EXCEPT_KEY'。
单击“创建凭据”，配置凭据基本信息 凭据名称：待创建凭据的名称。本例名称为secretInfo。 凭据值：配置RDS实例的用户名和密码。 第一行凭据值的键为MySQLUsername，值为RDS实例的用户名。 第二行凭据值的键为MySQLPassword，值为RDS实例的密码。 图1 设置凭据值 按需完成
扩缩容策略参数说明 参数名称 参数说明 配置样例 优先级 当前弹性资源池中的优先级数字越大表示优先级越高。本例设置一条扩缩容策略，默认优先级为1。 1 时间段 首条扩缩容策略是默认策略，不能删除和修改时间段配置。 即设置00-24点的扩缩容策略。 00-24 最小CU 设置扩缩容策略支持的最小CU数。
参数说明 表1 参数说明 参数 描述 db_name 数据库名称，由字母、数字和下划线（_）组成。不能是纯数字，且不能以数字和下划线开头。 table_name 表名称。 days 多版本中备份数据保留的日期。默认为7天，建议设置在1到7天范围内。 注意事项 DLI数据多版本功能当前仅
访问速度。 项目 每个区域默认对应一个项目，这个项目由系统预置。 名称 队列的名称。 只能包含数字、英文字母和下划线，但不能是纯数字，不能以下划线开头，且不能为空。 输入长度不能超过128个字符。 说明： 队列名称不区分大小写，系统会自动转换为小写。 类型 SQL队列：SQL作业的计算资源。
项目 每个区域默认对应一个项目，这个项目由系统预置。 名称 弹性资源池的具体名称。 名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线或数字开头。 输入长度不能超过128个字符。 说明： 弹性资源池名称不区分大小写，系统会自动转换为小写。 类型 基础版：16-64CUs规格
在使用DLI前，为了确保正常使用DLI的功能，建议先进行DLI委托权限设置。 DLI默认提供以下类型的委托：dli_admin_agency、dli_management_agency、dli_data_clean_agency（名称固定，权限需自定义）。其他场景需用户自定义委托。委托的详细说明请参考表1。
sql.shuffle.partitions参数设置的并行度过大，导致缓存区大小不够而导入数据报错。 解决方案 建议可以尝试调小spark.sql.shuffle.partitions参数值来解决缓冲区不足问题。具体该参数设置步骤如下： 登录DLI管理控制台，单击“作业管理 >
之间的属性分隔符会被当做普通字符处理。 当引用符号为双引号时，请设置quote = "\u005c\u0022"进行转义。 当引用符号为单引号时，则设置quote = "'"。 说明： 目前仅适用于CSV格式。 设置引用符号后，必须保证每个字段中包含0个或者偶数个引用符号，否则会解析失败。
扩缩容策略参数说明 参数名称 参数说明 配置样例 优先级 当前弹性资源池中的优先级数字越大表示优先级越高。本例设置一条扩缩容策略，默认优先级为1。 1 时间段 首条扩缩容策略是默认策略，不能删除和修改时间段配置。 即设置00-24点的扩缩容策略。 00-24 最小CU 设置扩缩容策略支持的最小CU数。
参数说明 表1 参数说明 参数 描述 db_name 数据库名称，由字母、数字和下划线（_）组成。不能是纯数字，且不能以数字和下划线开头。 table_name 表名称。 days 多版本中备份数据保留的日期。默认为7天，建议设置在1到7天范围内。 注意事项 DLI数据多版本功能当前仅
格式的字段发生名称冲突。 默认情况下，前缀为空。如果定义了自定义前缀，则表架构和'key.fields'都将使用前缀名称。在构造密钥格式的数据类型时，将删除前缀，并在密钥格式中使用无前缀的名称。请注意，此选项要求'value.fields-include' 必须设置为'EXCEPT_KEY'。
'MySQLUsername', -- DEW服务中，名称为secretInfo，且版本号v1的的通用凭证，定义凭证值的键MySQLUsername，它的值为用户的敏感信息。 'password' = 'MySQLPassword', -- DEW服务中，名称为secretInfo，且版本号v1
求。例如：针对DLI服务，管理员能够控制IAM用户仅能对某一类云服务器资源进行指定的管理操作。 了解DLI SQL常用操作与系统策略的授权关系，请参考常用操作与系统权限关系。 表1 DLI系统权限 系统角色/策略名称 描述 类别 依赖关系 DLI FullAccess 数据湖探索所有权限。
避免出现作业结果混乱等问题。 DLI作业要由用户主账户统一设置及修改，子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则，定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改，否则可能会造成历史数据无法查找。 前提条件
在GaussDB(DWS) 控制台设置会话闲置超时时长session_timeout，在闲置会话超过所设定的时间后服务端将主动关闭连接。 session_timeout默认值为600秒，设置为0表示关闭超时限制，一般不建议设置为0。 session_timeout设置方法如下： 登录GaussDB(DWS)
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
