检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
API接口返回的中文字符为乱码,如何解决? 当API接口返回的中文字符出现乱码时,通常是因为字符编码格式不匹配。 DLI接口返回的结果编码格式为“UTF-8”,在调用接口获取返回结果时需要对返回的信息编码转换为“UTF-8”。 例如,参考如下实现对返回的response.cont
可能原因 可能由于文件路径错误获文件不存在导致系统无法找指定文件路径或文件。 文件被占用。 解决措施 检查文件路径、文件名。 检查文件的路径是否正确,包括目录名称和文件名。 文件被占用 文件被占用导致的文件报错找不到,一般是读写冲突产生的,建议查询SQL查询报错表的时候,是否有作业正在覆盖写对应数据。
修改表 添加列 修改列注释 开启或关闭数据多版本 父主题: 表相关
怎样修改DLI上已经创建好的表的字段名称? DLI本身不支持直接修改表的字段名称,但您可以通过以下步骤来解决这个问题表数据迁移的方式来解决该问题: 创建新表:创建一个新表,并定义新的表字段名称。 迁移数据:使用INSERT INTO ... SELECT语句将旧表的数据迁移到新表中。
alse)、json(append为false)、avro_merge、parquet时,支持参数化。 file_prefix 否 输出文件名前缀。生成的文件会以file_prefix.x的方式命名,如file_prefix.1、 file_prefix.2,若没有设置,默认文件前缀为temp。
示例 1 ALTER TABLE t1 ADD COLUMNS (column2 int, column3 string); 父主题: 修改表
修改全局变量 功能介绍 该API用于修改全局变量。 调试 您可以在API Explorer中调试该接口。 URI URI格式 PUT /v1.0/{project_id}/variables/{var_name} 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明
ame")加载该文件。 ClassName”为需要访问该文件的类名。 userData为固定文件路径名,不支持修改或自定义其他路径名。 fileName为需要访问的文件名。 本节示例适用于Flink 1.12版本。Flink 1.15版本的Jar作业开发指导请参考Flink Jar写入数据到OBS开发指南。
列字段名称。col_name必须是已存在的列。 col_type 是 列数据类型。本语法不支持修改列数据类型,这里指定的是创建表时指定的列数据类型。 col_comment 是 修改后的列注释信息。注释内容为长度不超过1024字节的有效字符串。 示例 修改表t1中的c1列的注释信息为“the new comment”。
过128个字符。 修改组下的资源包拥有者,则该参数为必选参数。 “group_name”和“resource_name”可以单独使用,也可以组合使用。 修改组的拥有者:使用“group_name”。 修改资源包拥有者:使用“resource_name”。 修改组下的资源包的拥有者
列字段名称。col_name必须是已存在的列。 col_type 是 列数据类型。本语法不支持修改列数据类型,这里指定的是创建表时指定的列数据类型。 col_comment 是 修改后的列注释信息。注释内容为长度不超过1024字节的有效字符串。 示例 修改表t1中的c1列的注释信息为“the new comment”。
如何读取上传文件 Spark可以使用SparkFiles读取 –-file中提交上来的文件的本地路径,即:SparkFiles.get("上传的文件名")。 Driver中的文件路径与Executor中获取的路径位置是不一致的,所以不能将Driver中获取到的路径作为参数传给Executor去执行。
word2vec_path 是 word2vec模型存放在OBS上的完整路径。 示例 图片分类预测我们采用Mnist数据集作为流的输入,通过加载预训练的deeplearning4j模型或者keras模型,可以实时预测每张图片代表的数字。 1 2 3 4 5 6 CREATE SOURCE STREAM
修改表 添加列 修改列注释 开启或关闭数据多版本 父主题: Spark SQL语法参考(即将下线)
word2vec_path 是 word2vec模型存放在OBS上的完整路径。 示例 图片分类预测我们采用Mnist数据集作为流的输入,通过加载预训练的deeplearning4j模型或者keras模型,可以实时预测每张图片代表的数字。 1 2 3 4 5 6 CREATE SOURCE STREAM
修改主机信息 功能介绍 该API用于在跨源中修改数据源主机信息,仅支持全量覆盖。 调试 您可以在API Explorer中调试该接口。 URI URI格式 PUT /v2.0/{project_id}/datasource/enhanced-connections/{connection_id}
选项“FAIL”将在遇到带有空键的地图时抛出异常。选项“DROP”将删除地图数据的空键条目。选项“LITERAL”将替换空带字符串文字的键。字符串文字由 maxwell-json.map-null-key.literal 选项定义。 maxwell-json.map-null-key
修改作业模板 功能介绍 该API用于修改作业模板。 调试 您可以在API Explorer中调试该接口。 URI URI格式: PUT /v3/{project_id}/templates/{template_id} 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述
生命周期功能。 参数说明 表1 修改表的生命周期参数说明 参数名称 是否必选 参数说明 table_name 是 需要修改生命周期的表名。 dli.lifecycle.days 是 修改后的生命周期时间,只能为正整数,单位为天。 示例 示例1:修改表的生命周期,开启test_li
生命周期功能。 参数说明 表1 修改表的生命周期参数说明 参数名称 是否必选 参数说明 table_name 是 需要修改生命周期的表名。 dli.lifecycle.days 是 修改后的生命周期时间,只能为正整数,单位为天。 示例 示例1:修改表的生命周期,开启test_li