How can I properly use an anaconda python environment in PythonCaller?

I am trying to implement some python code that uses geopandas library, which I have installed in a local python environment on anaconda. I have made a few attempts to run it directly from PythonCaller transformer with no sucess: 

• On fme desktop tools, I configured the fme python interpreter to get the .dll from the environment.
• I also set the PYTHONHOME to the folder of the environment.

However, those configuration didn't work and I kept getting the error: No module named: "geopandas".

So, I also included this lines at the beginning of the code in PythonCaller:

import sys
sys.path.append(r"C:\Users\[username]\anaconda3\envs\[environment-name]\Lib\site-packages")

After that, I get a new error:

Python Exception <ModuleNotFoundError>: No module named 'pyproj._network'

I check on the "site-packages" folder and I have the pyproj package installed, so I don't know what could be causing this error,  in my anaconda environment the code runs without errors. 

Do you know what could be causing it?