无效的数据加载到亚马逊红移时的时间戳

学习如何解决一个无效的时间戳错误数据加载到AWS红移。

去年发表在:2022年5月31日

问题

当你使用spark-redshift写操作时间戳数据保存到亚马逊红移,就可能发生以下错误,如果时间戳数据包括时区信息。

错误(代码1206),数据加载到红移:“无效的时间戳格式或价值(YYYY-MM-DD HH24: MI: SSOF)”

红移表使用时间戳数据类型不存储时区信息。

包括选择.options (“extracopyoptions”、“TIMEFORMAT汽车”)如以下所示Scala代码:

% scala df。写.format (com.databricks.spark.redshift) .options (…) .options (“extracopyoptions”、“TIMEFORMAT汽车”).mode(“追加”).save ()

如果您指定汽车的论点DATEFORMAT或TIMEFORMAT亚马逊红移参数,自动识别和转换日期格式或时间格式在你的源数据。