离婚协议孩子归男方，但一直由女方抚养的处理方式如下：
离婚后，如果孩子归男方，但实际上一直由女方抚养，男方应当根据离婚协议书或判决书的规定向女方支付抚养费。根据《民法典》规定，离婚后子女由一方直接抚养的，另一方应当负担部分或全部抚养费；具体费用的数额和支付期限由双方协商确定，协商不成的，由人民法院判决。此外，子女在必要时有权向父母任何一方提出超过协议或判决原定数额的合理要求。
抚养权变更的法律程序：
1、提交抚养权变更申请：需要向法院提交抚养权变更的申请，附上相关证明材料；
2、法院受理申请：法院会对提交的申请进行审查，确定是否符合受理条件；
3、调查取证：法院可能会进行调查，以确定变更抚养权是否符合孩子的最佳利益；
4、庭审：法院会举行庭审，听取双方的意见和孩子的意愿；
5、判决：根据调查和庭审情况，法院会作出是否变更抚养权的判决。
综上所述，离婚协议规定孩子归男方，但实际上由女方抚养的情况下，男方应根据协议或判决向女方支付抚养费。根据《民法典》规定，离婚后子女由一方直接抚养，另一方应负担部分或全部抚养费，具体费用和支付期限由双方协商或法院判决。此外，子女有权在必要时向父母提出超过协议或判决原定数额的合理要求。
【法律依据】：
《中华人民共和国民法典》
第一千零八十五条
离婚后，子女由一方直接抚养的，另一方应当负担部分或者全部抚养费。负担费用的多少和期限的长短，由双方协议；协议不成的，由人民法院判决。前款规定的协议或者判决，不妨碍子女在必要时向父母任何一方提出超过协议或者判决原定数额的合理要求。