检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
t相关的执行脚本、配置文件和依赖包。 进入配置文件conf目录,修改“client.properties”中的配置项,(具体配置项参考表1)。 表1 DLI 客户端工具配置参数 属性项 必须配置 默认值 描述 dliEndPont 否 - DLI服务的域名。 在地区和终端节点获取DLI对应区域的域名。
kafka_topic = "", encode = "json" ) 关键字 表1 关键字说明 参数 是否必选 说明 type 是 输出通道类型,"kafka"表示输出到Kafka中。 kafka_bootstrap_servers 是 Kafka的连接端口,
<separator>, array<string> <a>) 返回将参数中的所有字符串或ARRAY数组中的元素按照指定的分隔符连接在一起的结果。 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 separator 是 STRING STRING类型的分隔符。 str1、str2 是 STRING
(通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性 > 输入kafka或ecs的地址 > 测试)。如果能连通,则表示跨源已经绑定成功;否则表示未成功。 购买ecs集群,并下载5.5.2版本的confluent和jdk1.8.0_232,并上传到购买的ecs集群中,然
<separator>, array<string> <a>) 返回将参数中的所有字符串或ARRAY数组中的元素按照指定的分隔符连接在一起的结果。 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 separator 是 STRING STRING类型的分隔符。 str1、str2 是 STRING
弹性资源池CU时套餐包的额度按订购周期重置。 存储量套餐包 按照存储在DLI服务中的数据存储量(单位为“GB”)收取存储费用。 适用于在DLI 存储表数据的场景,例如时延敏感类的业务将表存储在DLI,使用存储量套餐包可以节省存储费用。 存储套餐的额度每个小时会重置。 按订购周期重置:如重置周期为月,且按订购
encode= "", field_delimiter= "" ); 关键字 表1 关键字说明 参数 是否必选 说明 type 是 输出通道类型,dis表示输出到数据接入服务。 region 是 数据所在的DIS所在区域。 ak 否 访问密钥ID(Access
encode= "", field_delimiter= "" ); 关键字 表1 关键字说明 参数 是否必选 说明 type 是 输出通道类型,dis表示输出到数据接入服务。 region 是 数据所在的DIS所在区域。 ak 否 访问密钥ID(Access
权限设置”可修改该用户的权限。 详细权限描述如表1和表2所示。 如果创建程序包时选择了分组,则修改的是对应程序包组的权限。 如果创建程序包时选择了不分组,则修改的是对应程序包的权限。 如果用户权限信息页面的“权限设置”选项为灰色时,表示您不具备修改此程序包组或程序包权限的权限。
在DLI控制台左侧导航栏中单击“全局配置 > 服务授权”。 在委托设置页面,按需选择以下场景的权限。 单击权限卡片上的可以查看包含的详细的权限策略。 委托说明如表1所示。 表1 dli_management_agency委托包含的权限 适用场景 委托名 权限说明 基础使用 IAM ReadOnlyAccess
truststore.jks 将生成的keystore和truststore文件上传到OBS桶中。 CSS安全集群参数配置 具体参数请参考表1,这里主要说明配置CSS安全集群连接参数时需要注意的内容。 .option("es.net.http.auth.user", "admin")
v2, ...) DOUBLE 返回列表中的最大值。 hex hex(BIGINT a) hex(STRING a) STRING 将整数或字符转换为十六进制格式。 least least(T v1, T v2, ...) DOUBLE 返回列表中的最小值。 ln ln(DOUBLE
conf”。 vi /opt/livy/conf/spark-defaults.conf 添加如下必选参数内容。配置项参数填写说明,详见表1。 # 以下参数均支持在提交作业时覆盖。 spark.yarn.isPython=true spark.pyspark.python=python3
v2, ...) DOUBLE 返回列表中的最大值。 hex hex(BIGINT a) hex(STRING a) STRING 将整数或字符转换为十六进制格式。 least least(T v1, T v2, ...) DOUBLE 返回列表中的最小值。 ln ln(DOUBLE
如您有任何问题,可随时通过工单或者服务热线(4000-955-988或950808)与我们联系。 DLI“包年/包月”和“按需计费”计费模式队列生命周期 表1 DLI“包年/包月”和“按需计费”计费模式队列生命周期 功能 状态 EOM时间 EOL时间 DLI“包年/包月”和“按需计费”计费模式队列功能
(Throwable e) { LOG.error(e.getMessage(), e); } } } 表1 参数说明 参数名 具体含义 举例 output.path 数据写入的OBS路径 obs://bucket/output checkpoint