If your looking to make a connection with JDBC Reader and you need to specify JAVA_OPTS you can do the following:

1) ADD a new multi-parameter System Environment Variable called JAVA_TOOL_OPTIONS and specify your paramters.

JAVA_TOOL_OPTIONS = -Djava.security.login.config=C:\folder\some.config -Djava=anothervalue

2) Restart FME