Hello there @dsign-world​, are you able to review the suggestions mentioned under the 'Optimizing Memory Usage' section of the Performance Tuning in FME: Memory Management article and see if you can tweak anything? If none of the listed suggestions help resolve the memory issue, please feel free to reach out with an update! A few other things you can try: disable feature caching (article), or purge temporary files (doc). Happy to help, Kailin

I had to load a big table in FME and I required all of its columns, so there was no way to optimize that (other than not using FME and using SQL instead). I reduced the amount of data as soon as possible inside the workspace.

The question is, why does FME start optimizing memory usage when most of my RAM is free? The FME Memory Management article says that FME starts optimizing memory usage once it reaches the upper limit mentioned in the log. But I didn't save the complete log unfortunately.

System Status: 64.00 GB of physical memory available
System Status: 256.00 GB of virtual memory available
FME Configuration: Start freeing memory when the process exceeds 192.00 GB or address space exceeds 16777216.00 TB
FME Configuration: Stop freeing memory when the process is below 144.00 GB and address space is below 16777216.00 TB

But it seems like FME usually has a much larger amount of memory available before it is supposed to start optimizing memory usage.

System Status: 64.00 GB of physical memory available
System Status: 256.00 GB of virtual memory available
FME Configuration: Start freeing memory when the process exceeds 192.00 GB or address space exceeds 16777216.00 TB
FME Configuration: Stop freeing memory when the process is below 144.00 GB and address space is below 16777216.00 TB

Hello @dsign-world​, thanks for replying! I got some additional information on how memory management works in FME, hopefully this will help answer some of your questions. Unfortunately the initial memory limit logged is not necessarily always accurate when we start optimizing memory. FME will start freeing memory when that limit is reached, but we may also start freeing memory before that limit is reached if we detect that the system is potentially in a low memory state. Are you using a Windows machine by chance?

On Windows, FME Form will check for a low memory state based on how close the system commit total is compared to the system commit limit (this page has a short description of these values).

Before requesting a workspace for testing, it might be helpful if you can save and share a complete logfile with FME_DEBUG enabled. You can enable FME Debug Logging under Tools > FME Options > Translation > Log Message Filter. This will tell FME Form to log additional debug messages regarding what decisions it's making around memory. 

If you feel like FME is not being aggressive enough with memory, you could potentially try adjusting it's approach with the FME_ENGINE_MEMORY_REDLINE setting (as described in this article), though that's not something we generally recommend (it also may not actually help, as changing that setting doesn't impact the "low memory state" check that we may be hitting). I know there is a lot of information here, so no rush getting back to me! All the best, Kailin. 

I have been having a very similar issue. Did you have your problem solved? How did you make FME Flow use your memory resources better?

Have you tried to turn off FeatureCaching?

Yes, I did. But this is happening into FME server which is supposed to have its own caching memory. What I did to solve it was changing the folder FME_TEMP to a bigger drive. This seem to solve this issue.