locked
Any solution to error "Invalid CSV Header. Please make sure there are no duplicate field names." RRS feed

  • Question

  • Hi all,
    I'm really running out of ideas, can anyone please suggest why the following error : "Invalid CSV Header. Please make sure there are no duplicate field names."

    I'm sending a CSV format (; separated) Event content to my EventHub.
    AA;CAT;CS;FS;CA;DR;UM;ID;LAT;LON;NIC;NUCR_NACV;FL;AC;M;Q;GNSS;HAE;VSRC;VR;VRF;HAB;TT;HDG;AST;IAS;TAS;GS;MACH;MCP;RA;TR;MCP;FMS;QNH;FCU;PA;PS;ACAS;ALRT;SPI;GR;IC;SSC;IFR;TS;RI;CC;SL;ADSB;BDS40;BDS50;BDS60;BDS65;FMT30;BDS61;WDIR;WSPD;TEMP;AGE_0;AGE_4;AGE_5;AGE_11;AGE_16;AGE_17_0e;AGE_17_0o;AGE_17_1;AGE_17_5e;AGE_17_5o;AGE_17_19;AGE_17_28;AGE_17_30;AGE_17_31;AGE_20_20;AGE_20_40;AGE_20_50;AGE_20_60;AGE_21_20;AGE_21_40;AGE_21_50;AGE_21_60;TIMESTAMP;TIMEOUT;STATION_ID
    4CA6A4;A-;RYR96ST;0;5;0;1;1341;52.01852;4.3841552;8;0;F380;38000;0;0;600;0;0;0;0;0;263;260;0;243;436;423;768;0;0;0;380;0;1013;0;0;0;0;;0;0;0;0;0;0;3;0;7;17;1;1;1;0;0;0;202;26;-61;1;1;1;1;1;1;3;45;0;;3;0;;0;119;1;1;1;335;1;3;7;1444074159;60;RTL1090
    4CA25B;A-;RYR32MF;0;5;0;3;2015;52.17574;4.9699794;8;0;F380;38000;0;0;650;0;0;0;0;0;258;255;0;247;444;422;780;0;0;0;380;0;1013;0;0;0;0;;0;0;0;0;0;0;3;0;7;17;1;1;1;0;0;0;211;32;-60;81;17;63;9;97;69;41;69;0;;47;0;;0;83;19;63;63;193;79;63;121;1444074151;50;RTL1090
    4CA2AA;A-;RYR29GV;0;5;0;2;0771;51.80049;5.0615052;8;0;F220;22000;0;0;375;0;0;-1024;-10;0;228;226;0;246;348;331;560;0;0;0;170;0;1013;0;0;0;0;;0;0;0;0;0;0;3;0;7;17;1;1;1;0;0;0;192;21;-19;95;23;23;23;353;27;67;93;0;;69;0;;0;95;67;27;27;101;23;25;141;1444074137;36;RTL1090
    502CB5;A-;PRW628;0;5;0;3;5371;52.03455;6.2688773;8;0;F390;39000;0;0;725;0;0;0;0;0;50;0;0;0;0;473;0;;0;;0;;0;;0;0;0;;0;0;0;0;0;0;3;0;7;17;0;0;0;0;0;0;0;;0;73;61;99;15;97;113;103;183;0;;101;0;;0;133;0;;0;;0;;0;1444074145;44;RTL1090
    800739;A5;AIC114;0;5;0;3;3422;52.01985;6.6704559;8;2;F390;39000;0;0;950;0;0;0;0;0;101;104;0;265;484;484;848;1;0;0;390;0;1013;1;0;0;0;;0;0;0;0;0;1;3;0;7;17;1;1;1;1;0;0;193;25;-59;29;65;75;31;153;75;79;141;0;;65;0;;81;263;67;73;111;75;115;75;145;1444074131;30;RTL1090
    4CA914;A-;RYR62FH;0;5;0;3;2020;52.36047;5.1057434;8;0;F380;38000;0;0;650;0;0;0;0;0;251;248;0;247;444;422;780;0;0;0;380;0;1013;0;0;0;0;;0;0;0;0;0;0;3;0;7;17;1;1;1;0;0;0;204;32;-60;5;1;7;1;31;1;7;53;0;;1;0;;0;171;1;5;5;31;167;7;157;1444074159;60;RTL1090
    4CA4F8;A-;RYR98WN;0;5;0;3;2233;52.22248;5.8590872;8;0;F380;38000;0;0;675;0;0;-64;0;0;261;258;0;243;436;426;772;0;0;0;380;0;1013;0;0;0;0;;0;0;0;0;0;0;3;0;7;17;1;1;1;0;0;0;193;25;-63;21;1;3;1;69;5;3;39;0;;1;0;;0;19;1;1;17;3;19;3;23;1444074159;60;RTL1090
    8960E2;0;;0;5;0;1;3421;0;;8;1;F390;39000;0;0;-25;0;1;64;+0;0;103;107;0;269;0;493;860;0;0;;390;0;1013;0;0;0;0;;0;0;0;0;0;0;3;0;7;17;1;1;1;1;0;0;0;;0;37;19;11;19;0;;19;0;;0;39;0;;39;0;;37;19;0;11;0;;1444074149;60;RTL1090
    485021;0;;0;5;0;1;1051;0;;8;0;F228;22775;0;0;525;0;0;-1984;-19;0;22;24;0;273;398;411;632;0;0;0;100;0;1013;0;0;0;0;;0;0;0;0;0;0;3;0;7;17;1;1;1;0;0;0;156;19;-12;15;1;3;1;0;5;91;0;;0;5;0;;0;;11;5;13;0;75;3;0;1444074159;58;RTL1090
    4841A5;0;;0;5;0;1;7544;51.66088;3.9977264;7;0;F186;18650;0;0;200;0;0;-1024;-10;0;10;12;0;271;362;381;576;0;0;0;100;0;1013;0;0;0;0;;0;0;0;0;0;0;3;0;6;17;1;1;1;0;0;0;157;23;-13;77;29;29;27;0;29;27;0;;0;31;0;;0;;31;29;31;0;29;77;0;1444074133;32;RTL1090

    Following the general guidelines that I've read:
    * Always include headers
    * As many rows per event as long as header in place.
    * Trying to replace NULL for 0 (zero value).

    Any ideas are really welcome.
    Thanks.

    Monday, October 5, 2015 11:09 PM

All replies

  • Hey,

    I have not looked through your data, but what I would do in cases like this is:

    1. Send only one row - together with the header and see what happens.
    2. If that works add a couple of more rows, etc.
    3. If step one doesn't work cut down on number of columns, until you find the issue.

    Sorry for not being able to give more help, but please let us know what the outcome is.

    Niels


    http://www.nielsberglund.com | @nielsberglund

    Tuesday, October 6, 2015 4:43 AM
  • Hi Niels, thanks for your reply.

    I've applied the steps suggested and discovered that I can read the Events and their CSV messages. I tested this by only passing 2 columns and 1 row. After that, I've passed 2 rows and all of them came through.

    So I can only conclude that there is a value within my dataset that is causing the problem.  I'll keep on trying and come back soon.

    Fabian.

    Thursday, October 8, 2015 10:43 PM
  • Hi Fabian,

    Do I understand you correctly that when you passed two rows (from your reply above), you send all columns? If so, I wonder if a null value has "crept" in which causes issues with either delimiters or row endings. I'd guess row endings.

    Niels 


    http://www.nielsberglund.com | @nielsberglund

    Friday, October 9, 2015 3:40 AM
  • Did you ever find out what the problem was? I presume somewhere you had a col name that was duplicated?
    Friday, July 29, 2016 9:58 PM
  • Hi Ryan,

    Apologies for the very late reply. I did find a solution to my problem. At the end, I reduced the amount of columns and applied quality controls that ensure no data contain NULL and changed to Vertical Bar (|) separator.

    Thanks.

    Monday, October 16, 2017 1:26 PM