You can create an attribute using feature.setAttribute(). Documentation can be found here: fmeobjects.FMEFeature.setAttribute — Python FME API FME 2021.2 b21812 documentation (safe.com)

I am able to setAttributes on features that are entering the PythonCaller, but I'm specifically looking to run something like this and have any errors print out in the attribute from the logging module. Is that possible?

if State_List.size > 0:
    logging.info('Invalid State Value(s):')
    logging.info(State_List)
    print('Incorrect States')
    sys.exit(2)
if Pay_List.size > 0:
    logging.info('Invalid PayType Value(s):')
    logging.info(Pay_List)
    print('Incorrect Paytype')
    sys.exit(3)
if countexp > 0:
    logging.info('Negative EXP Checks:')
    logging.info(countexp)
    print('Negative Exp and Paytype Check')
    sys.exit(4)

if State_List.size > 0:
    logging.info('Invalid State Value(s):')
    logging.info(State_List)
    print('Incorrect States')
    sys.exit(2)
if Pay_List.size > 0:
    logging.info('Invalid PayType Value(s):')
    logging.info(Pay_List)
    print('Incorrect Paytype')
    sys.exit(3)
if countexp > 0:
    logging.info('Negative EXP Checks:')
    logging.info(countexp)
    print('Negative Exp and Paytype Check')
    sys.exit(4)

I've never done anything like it, but it might be possible to write a custom log handler that does it for you.

Generally speaking, the use of sys.exit() in the code above will complicate your goal, you may want to rewrite the logic to avoid it.