Skip to main content
  • 3,386 Posts
  • 13,845 Replies
3386 Posts
Slow bulk insert CSV to MSSQL

This question contains a few moving pieces - all in the hope of improving bulk insert operations.  Background: FME Desktop is on a dedicated workstation with 16gb ram and 2.1gb latent memory usage (ie 14gb physical ram is almost always available for FME to use.)I'm attempting to use FeatureReader to read/write a 1.5gb CSV (10m rows, 15 columns) to a MSSQL server. The writer is Microsoft SQL Server Non-Spatial. The SQL Server writer has Bulk Insert set to Yes, and I've tried Features per Transaction from 500 to 5000 rows. The SQL server has more than enough free space in it's current *.mdf that it is not trying to increase size, the table is set to truncate on insert, and there are no indexes, constraints, or keys at the time of insert. The SQL server has almost no load on it at all (extremely underutilised!), but in any case is on a large machine (20gb ram, 8 core), and the database itself has virtually no usage.  The insert

Badge Winners

Show all badges

Community Stats

32,397
Posts
123,141
Replies
40,505
Members