Skip to main content
  • 7,208 Posts
  • 26,533 Replies
7208 Posts
Universal Reader (FME 2015) vs. csv module (Python 2.7) to read & process data stored in big *.csv files.

Dear community,I have a hypothesis which states that using the csv module and Python 2.7 to perform a simple processing task using the data stored into a big *.csv is going to have a significant positive impact in the time needed to perform the task in contrast to using  the FME tools to perform the same task. I have assigned both software the following simple task into a "startup python script" in an empty workspace with one published parameter ('OSG_SDTF') which is used to acquire the path of the *.csv to be used in the task.(A) Read a big *.csv file (i.e. 17,977,400 records with the values found in 19 columns which are stored within a single 2 GB comma-delimited *.csv file).(B) Return a set (i.e. not duplicates are allowed) of the values found within one column of the big *.csv ('col0').(C) Print the result into the 'Translation Log' in the FME workbench.The code that I used is following:### USING FME TOOLS ###import fmeobje

Badge Winners

Show all badges

Community Stats

32,319
Posts
123,118
Replies
40,328
Members