How to access arcgispro-py3 on ArcGIS Enterprise from FME Server?

My problem:

I have a FME Server engine running on our ArcGIS Enterprise server (10.6.1).

I have a workspace which needs some ArcPy methods only availible in ArcPy-pro

Setting the Python Compatibility in Workbench to Esri ArcGIS Pro 2.1/2.2/2.3 does not work (can't find...)

My attempt to fix:

On the Enterprise server, an 3.6 environment lives in

C:\ArcGIS\Server\framework\runtime\ArcGIS\bin\Python\envs\arcgispro-py3

Hidden, to be used in services published with ArcGIS Pro.

I set my custom-python variables to

Python:
        Custom Python Home 64: C:\ArcGIS\Server\framework\runtime\ArcGIS\bin\Python\envs\arcgispro-py3\
        Python Interpreter 64: C:\ArcGIS\Server\framework\runtime\ArcGIS\bin\Python\envs\arcgispro-py3\python36.dll
        Use Custom Python 64: true

Now, when I choose 'Python 3.6+', this python is used. I do reorder my python-path, so the ESRI stuff comes before the FME stuff.

Import arcpy yields a complex error, (something with numpy and the version of python 3.6 against which numpy was compiled).

Probably because I do not properly activate the conda environment using this route. I expect this to be magically done in the normal ArcGIS Pro situation, when choosing this as python compatibility setting, but not in my case.

Does anyone have a suggestion for me to try, or better still, a solution?