in parquet_flask/io_logic/cdms_schema.py [0:0]
def __init__(self):
self.__json_to_pandas_data_type = {
'number': 'double',
'long': 'int64',
'string': 'object',
'platform': 'object',
}
self.__json_to_spark_data_types = {
'number': DoubleType(),
'long': LongType(),
'string': StringType(),
'platform': MapType(StringType(), StringType()),
}
self.__default_columns = [
StructField('time_obj', TimestampType(), True),
StructField('provider', StringType(), True),
StructField('project', StringType(), True),
StructField('platform_code', IntegerType(), True),
StructField('year', IntegerType(), True),
StructField('month', IntegerType(), True),
StructField('job_id', StringType(), True),
]
self.__non_observation_columns = [
'time_obj',
'time',
'provider',
'project',
'platform_code',
'platform',
'year',
'month',
'job_id',
'device',
'latitude',
'longitude',
'depth',
]