检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
public static void main(String[] args) { //create a SparkSession session sparkSession = SparkSession.builder().appName("datasource-opentsdb")
Source object DliTest { def main(args:Array[String]): Unit = { val spark = SparkSession.builder .appName("SparkTest") .getOrCreate()
Opensource SQL Elasticsearch结果表failure-handler参数填写retry_rejected导致提交失败 问题说明 Flink Opensource SQL Elasticsearch结果表failure-handler参数填写retry_rejected导致提交失败
202103251202020001 column=detail:order_channel, timestamp=2021-12-16T21:30:52.181, value=miniAppShop 202103251202020001 column=detail:order_time, tim
DIS failed java.lang.IllegalArgumentException: Access key cannot be null错误 问题现象 在DLI上提交Flink SQL作业，作业运行失败，在作业日志中有如下报错信息： connect to DIS failed
编写代码（可通过sql或者api两种方式实现）。 1） sql开发示例如下，具体sql语法参考“Delta Sql语法参考”。 public static void main( String[] args ) { SparkSession spark = SparkSession
202103251202020001 column=detail:order_channel, timestamp=2021-12-16T21:30:52.181, value=miniAppShop 202103251202020001 column=detail:order_time, tim
+0000] "GET /?p=1 HTTP/2.0" 200 5316 "https://domain.com/?p=1" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0
common.SqoopException: UQUERY_CONNECTOR_0001:Invoke DLI service api failed, failed reason is %s. at org.apache.sqoop.connector.uquery.intf.impl.UQueryWriter
表中只有一个列族detail，创建语句如下： create 'area_info', {NAME => 'detail'} 在HBase shell中执行下述语句，插入相应的维表数据： put 'area_info', '330106', 'detail:area_province_name'
表中只有一个列族detail，创建语句如下： create 'area_info', {NAME => 'detail'} 在HBase shell中执行下述语句，插入相应的维表数据： put 'area_info', '330106', 'detail:area_province_name'
IllegalArgumentException: requirement failed: Are you sure you would like to vacuum files with such a low retention period? 根因分析：RETAIN 保留期过短（少于168小时），需要确认是否
'orc'。 Orc 格式也支持来源于 Table properties 的表属性。 举个例子，您可以设置 orc.compress=SNAPPY 来允许spappy压缩。 数据类型映射 Orc 格式类型的映射和 Apache Hive 是兼容的。下面的表格列出了 Flink 类型的数据和 Orc
IP Address函数 contains(network, address) → boolean 当CIDR网络中包含address时返回true。 SELECT contains('10.0.0.0/8', IPADDRESS '10.255.255.255'); -- true
勾选该参数后，Flinkjar作业还需要选择“Checkpoint路径”。 “Checkpoint路径”：选择checkpoint保存路径。必须和应用程序中配置的Checkpoint地址相对应。且不同作业的路径不可一致，否则无法获取准确的Checkpoint。 父主题： 管理Flink作业
static void main(String[] args) { //create a SparkSession session SparkSession sparkSession = SparkSession.builder().appName("datasource-HBase-MRS")
sasl.mechanism' = 'GSSAPI或者PLAIN'； 'properties.sasl.jaas.config' = 'org.apache.kafka.common.security.plain.PlainLoginModule required username=\"xxx\"
需要配置为 snapshot（snapshot同时也是默认值，因此可以缺省）。 object HudiDemoScala { def main(args: Array[String]): Unit = { val spark = SparkSession .builder()
elasticsearch请求失败时的策略，默认为fail fail：当请求失败且作业失败时抛出异常 ignore:忽略 retry-rejected:对于由于es节点的队列满时，会重新请求而不抛出失败。 custom:使用定制策略 connector.failure-handler-class
sasl.mechanism' = 'GSSAPI或者PLAIN'、'properties.sasl.jaas.config' = 'org.apache.kafka.common.security.plain.PlainLoginModule required username=\"xxx\"
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
