in ingestion/batch/configurationManager.js [237:260]
function setMetadataDefaults(dict) {
let meta = dict.metadata;
if (!meta) {
console.log("No metadata found");
meta = {};
}
if (!meta.sourceFormat) {
meta.sourceFormat = 'CSV';
}
if (meta.sourceFormat.toLowerCase() === 'csv' && !meta.skipLeadingRows) {
meta.skipLeadingRows = 1;
}
if (!meta.maxBadRecords) {
meta.maxBadRecords = 0;
}
if (process.env.VERBOSE_MODE) {
console.log(`Using metadata: ${JSON.stringify(meta)}`);
}
return meta;
}