Ο Κωνσταντίνος Ζαρογουλίδης ολοκλήρωσε τις ιατρικές σπουδές του στο Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης με μετεκπαίδευση σε πανεπιστημιακά ιδρύματα της Αγγλίας και της Αμερίκης. Αφού ειδικεύθηκε στην πνευμονολογία εργάστηκε στο ΕΣΥ οργανώνοντας διαγνωστικό πενυμονολογικό κέντρο.
Μετά την εκλογή του ως λέκτορας και εργαζόμενος στο Γενικό Νοσοκομείο Γ. Παπανικολάου της Θεσσαλονίκης, ιδρυσε το τμήμα έρευνας του καρκίνου του πνεύμονα. Το 2008 ορίστηκε Καθηγητής πνευμονολογίας και από το 2010 είναι διευθυντής της Πνευμονολογικής Κλινικής της Ιατρικής Σχολής του Αριστοτέλειου Πανεπιστήμιου Θεσσαλονίκης.
Έχει συμμετάσχει σε πλήθος διεθνών ιατρικών ερευνών, είναι μέλος πολλών διεθνών οργανισμών και έχει δημοσιεύσει 133 εργασίες.