Skip to main content
  • 3,396 Posts
  • 13,884 Replies
3396 Posts
Write results during parallel processing

The scenario is :  An httpCaller inside a costum with parellism active to send requests in parallel.Im trying to find if there is a way to have a featureWriter or any other writing solution inside a parallel costum so that it writes the results/ httpCaller responses as they get processed by each parallel child fmeworker.As far as i understand FME queues all results of each child fmeworker into an internal buffer and when all its done it outputs results out of the costum to proceed on the pipeline.Happens that, sometimes parallism crashes with ERROR like below not beeing able to keep track of what was done previously .I tried to wrap a featureWriter inside the parallel costum transf hopping that it would write the results in realtime during the parallel process into a database, but it looks like it stills writing only at the end of all child processes end sucessfully. im using FME 2018.1 Build 18547 - WIN64  

Badge Winners

Show all badges

Community Stats

32,475
Posts
123,362
Replies
40,648
Members