检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Python SDK环境配置 操作场景 在进行二次开发时，要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统，推荐Windows 7及以上版本。 安装Python Python版本建议使用2.7.10和3.4.0以上版本，需要配置Visual
查询分组资源列表（废弃） 功能介绍 该API用于查询某个project下的所有资源，其中包含Group。 当前接口已废弃，不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET /v2.0/{project_id}/resources 参数说明
创建DLI委托（废弃） 功能介绍 该API用于创建DLI用户委托。 当前接口已废弃，不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式： POST /v2/{project_id}/agency 参数说明 表1 URI参数 参数名称 是否必选 参数类型
每次写入请求缓存行的最大值。 它能提升写入HBase数据库的性能，但是也可能增加延迟。 设置为 "0" 关闭此选项。 sink.buffer-flush.max-rows 否 1000 Integer 每次写入请求缓存的最大行数。 它能提升写入HBase数据库的性能，但是也可能增加延迟。 设置为
*$。 特殊字符需要使用单引号（''）包围起来。 表名对大小写不敏感，即不区分大小写。 col_name 是 以逗号分隔的带数据类型的列名。 列名由字母、数字和下划线（_）组成。不能是纯数字，且至少包含一个字母。 列名为大小写不敏感，即不区分大小写。 col_type 是 列字段的数据类型。数据类型为原生类型。
上传分组资源（废弃） 功能介绍 该API用于上传分组资源到某个project下。该API对应控制台的创建程序包功能。 当前接口已废弃，不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式： POST /v2.0/{project_id}/resources
il fail：当请求失败且作业失败时抛出异常 ignore:忽略 retry-rejected:对于由于es节点的队列满时，会重新请求而不抛出失败。 custom:使用定制策略 connector.failure-handler-class 否 使用失败时的定制策略时所使用的自定义处理方式
单击“确定”，完成创建程序包。 创建UDAF函数。 登录登录DLI管理控制台，创建SQL队列和数据库。 登录DLI管理控制台，单击“SQL编辑器”，执行引擎选择“spark”，选择已创建的SQL队列和数据库。 在SQL编辑区域输入下列命令创建UDAF函数，单击“执行”提交创建。 如果该客户
offset:300'。 scan.startup.timestamp-millis 否 无 Long 在使用 'timestamp' 启动模式时指定启动的时间戳（单位毫秒）。 scan.topic-partition-discovery.interval 否 无 Duration Consumer
每次写入请求缓存行的最大值。 它能提升写入HBase数据库的性能，但是也可能增加延迟。 设置为 "0" 关闭此选项。 sink.buffer-flush.max-rows 否 1000 Integer 每次写入请求缓存的最大行数。 它能提升写入HBase数据库的性能，但是也可能增加延迟。 设置为
支持基于作业优先级动态调整作业的使用资源。 仅支持YARN集群。 上下游数据连接 除了开源connector之外，还提供开箱即用的connector，包括数据库（RDS、GaussDB）、消息队列（DMS）、数据仓库（DWS）、对象存储（OBS） 相比开源connector有较多易用性和稳定性提升。
创建DLI的UDTF函数。 登录DLI管理控制台，单击“SQL编辑器”，执行引擎选择“spark”，选择已创建的SQL队列和数据库。 图12 选择队列和数据库 在SQL编辑区域输入实际上传Jar包的路径创建UDTF函数，单击“执行”提交创建。 CREATE FUNCTION mytestsplit
小文件过多：当一个表中的小文件过多时，可能会造成Driver内存FullGC。 登录DLI控制台，选择SQL编辑器，在SQL编辑器页面选择问题作业的队列和数据库。 执行以下语句，查看作业中表的文件数量。“表名”替换为具体问题作业中的表名称。 select count(distinct fn) FROM
消费INSERT消息。 在Elasticsearch结果表中，主键用于计算Elasticsearch的文档ID。文档ID为最多512个字节不包含空格的字符串。Elasticsearch结果表通过使用“document-id.key-delimiter”参数指定的键分隔符按照DDL
strategy 否 DISABLED String 指定在由于临时请求错误导致任何 flush 操作失败时如何执行重试。有效策略为： DISABLED：不执行重试，即第一次请求错误后失败。 CONSTANT：等待重试之间的回退延迟。 EXPONENTIAL：先等待回退延迟，然后在重试之间指数递增。
单击“控制台”页面上方“费用与成本”，在下拉菜单中选择“续费管理”。 进入“续费管理”页面。 自定义查询条件。 可在“手动续费项”、“自动续费项”、“到期转按需项”、“到期不续费项”页签查询全部待续费资源，对资源进行手动续费的操作。 图2 续费管理 所有需手动续费的资源都可归置到“手动续费项”页签，具体操作请参见如何恢复为手动续费。
[0-9]+$)[A-Za-z0-9_$]*$。如果特殊字符需要使用单引号（''）包围起来。 col_name 是 列字段名称。 列字段由字母、数字和下划线（_）组成。不能是纯数字，且至少包含一个字母。 列名为大小写不敏感，即不区分大小写。 col_type 是 列字段的数据类型。数据类型为原生类型。
已提交的作业运行状态。 图13 作业运行状态 步骤8：查看作业运行结果 在Spark作业管理界面显示已提交的作业运行状态。初始状态显示为“启动中”。 如果作业运行成功则作业状态显示为“已成功”，单击“操作”列“更多”下的“Driver日志”，显示当前作业运行的日志。 图14 diver日志
precombine字段值可以保证数据的准确性，老数据不会覆盖新数据，也就是幂等写入能力。该字段可用选择的类型包括：业务表中更新时间戳、数据库的提交时间戳等。precombine字段不能有null值和空值，可以参考以下示例设置precombine字段： SparkSQL: //通
责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击，华为云在遵从法律法规业界标准的基础上，以安全生态圈为护城河，依托华为独有的软硬件优势，构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任，如图1所示。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
