检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
与“cluster_name”参数两者不能同时存在。 cluster_name 否 String 用于指定队列,填写已创建DLI队列的队列名称。 说明: 推荐使用“queue”参数,“queue”参数与“cluster_name”参数两者不能同时存在。 args 否 Array of
varchar 描述:右填充字符串以使用padstring调整字符大小。如果size小于字符串的长度,则结果将被截断为size个字符。大小不能为负,并且填充字符串必须为非空。 select lpad('myk',5,'dog'); -- domyk luhn_check(string)
设置复合rowkey,即根据多个字段设置。 形如:rowkey1:3,rowkey2:3,… 其中3表示取该字段的前3个byte,该值不能大于该字段的字节大小,且该值不能小于1 示例 create table hbaseSink( rowkey string, name string
Boolean 请求执行是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 执行失败时,用于显示执行失败的原因。 sqls Array of Object 样例模板信息,具体参数说明请参见表3。 sqlCount Integer 样例模板个数。
队列,执行自动实时监控、告警和通知操作。用户可以实时掌握队列中的运行作业网络流入速率、网络流出速率、CPU使用率、内存使用率、磁盘利用率、失败作业率、等待作业数等信息。还可以通过云监控服务提供的管理控制台或API接口来检索数据湖探索服务产生的监控指标和告警信息。 关于DLI支持的
说明 CREATING 创建中 跨源连接正在创建中。 ACTIVE 已激活 跨源连接创建成功,与目的地址连接正常。 FAILED 已失败 跨源连接创建失败。 DELETED 已删除 跨源连接已被删除。 请求示例 无 响应示例 { "is_success": true,
行数为计算单元2倍为宜。 勾选“保存作业日志”,选择一个OBS桶。如果该桶未授权,需要单击“立即授权”进行授权。配置该参数,可以在作业异常失败后,将作业日志保存到用户的OBS桶下,方便用户定位故障原因。 图3 保存作业日志 勾选“作业异常告警”,选择1中创建的“SMN主题”。配置
数据保护技术 数据存储安全 为了确保您的个人敏感数据(例如用户名、密码、手机号码等)不被未经过认证、授权的实体或者个人获取,DLI对用户数据的存储和传输进行加密保护,以防止个人数据泄露,保证您的个人数据安全。 数据销毁机制 用户删除DLI队列后,存储在集群上的用户个人敏感数据会随之删除。
行数为计算单元2倍为宜。 勾选“保存作业日志”,选择一个OBS桶。如果该桶未授权,需要单击“立即授权”进行授权。配置该参数,可以在作业异常失败后,将作业日志保存到用户的OBS桶下,方便用户定位故障原因。 图3 保存作业日志 勾选“作业异常告警”,选择1中创建的“SMN主题”。配置
DMS Kafka 创建Kafka实例 注意: 创建DMS Kafka实例时,不能开启Kafka SASL_SSL。 CSS 创建CSS集群 MRS 创建MRS集群 绑定跨源的DLI队列网段和其他数据源子网网段不能重合。 系统default队列不支持创建跨源连接。 步骤1:获取外部数据源的内网IP、端口和安全组
BY进行分组,再在HAVING子句中进行过滤,HAVING子句支持算术运算,聚合函数等。 注意事项 如果过滤条件受GROUP BY的查询结果影响,则不能用WHERE子句进行过滤,而要用HAVING子句进行过滤。 示例 根据字段name对表student进行分组,再按组将score最大值大于95的记录筛选出来。
BY进行分组,再在HAVING子句中进行过滤,HAVING子句支持算术运算,聚合函数等。 注意事项 如果过滤条件受GROUP BY的查询结果影响,则不能用WHERE子句进行过滤,而要用HAVING子句进行过滤。 示例 根据字段name对表student进行分组,再按组将score最大值大于95的记录筛选出来。
BY进行分组,再在HAVING子句中进行过滤,HAVING子句支持算术运算,聚合函数等。 注意事项 如果过滤条件受GROUP BY的查询结果影响,则不能用WHERE子句进行过滤,而要用HAVING子句进行过滤。 示例 根据字段name对表student进行分组,再按组将score最大值大于95的记录筛选出来。
步骤5:提交Spark作业 创建Spark Jar作业分析数据。 准备工作 已注册华为账号并开通华为云,且在使用DLI前检查账号状态,账号不能处于欠费或冻结状态。 配置DLI委托访问授权 DLI使用过程中涉及到OBS、VPC、SMN等服务交互,首次使用DLI需要用户配置委托授权,允许访问这些依赖服务。
csv.ignore-parse-errors 否 false Boolean 当解析异常时,是跳过当前字段或行,还是抛出错误失败(默认为 false,即抛出错误失败)。如果忽略字段的解析异常,则会将该字段值设置为null。 csv.array-element-delimiter 否 ;
cimal精度(9 – 6 = 3位),导致double转decimal时overflow产生null值,而对应dws表字段为非空导致插入失败。 处理步骤 修改目的表所定义的decimal精度即可解决。 父主题: 增强型跨源连接类
择“按需计费”。 区域和项目:保持默认值即可。 名称:填写具体的队列名称。 新建的队列名称,名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。长度限制:1~128个字符。 队列名称不区分大小写,系统会自动转换为小写。 类型:队列类型选择“通用队列”。“按需计费”时需要勾选“专属资源模式”。
实际CUs的计算公式: 实际CUs=min{sum(队列maxCU),弹性资源池maxCU}。 计算结果需满足为16CUs的倍数,如果不能整除16CUs则向上取整。 实际CUs的分配示例: 如表1所示,弹性资源池实际CUs分配的计算过程如下: 计算队列maxCU之和:sum(队列maxCU)=
等式操作符,及IN,NOT IN操作符。 注意事项 所要查询的表必须是已经存在的表,否则会出错。 此处的sub_query与聚合函数的位置不能左右互换。 示例 对表student_info按字段name进行分组,计算每组中记录数,若其记录数等于子查询中表course_info的记
示例 创建一个名为web的schema: CREATE SCHEMA web; 在指定路径创建schema,路径必须是obs的并行桶,路径末尾不能加/,指定路径兼容写法示例: CREATE SCHEMA test_schema_5 LOCATION 'obs://${bucket}/user/hive';