Karume aliongoza nchi baada ya mapinduzi yaliyomwangusha Sultani aliyekuwa akitawala Zanzibar hadi mwanzoni mwa mwaka 1964.
Baada ya miezi mitatu Zanzibar iliungana na Tanganyika iliyokuwa ikiongozwa na Mwalimu Nyerere. Baada ya muungano wa nchi hizi mbili uliozaa Tanzania, Karume alikuwa makamu wa rais wa kwanza wa Jamhuri ya Muungano wa Tanzania.
