Gradualmente, los holandeses se impusieron a los khoikhoi arrebatándoles sus arroyos, tierras y ganado. Incorporaron a los locales como mano de obra agrícola o miembros de las milicias. La estructura política de los khoikhoi no era suficientemente fuerte como para resistir.

La Compañía tenía tal necesidad de mano de obra que en la primera década de asentamiento trajo esclavos de su imperio oriental y de regiones a ambos lados de Africa. El esclavo no tenía derecho legal alguno, y a diferencia de los esclavos de América, muy pocas posibilidades de alcanzar la libertad mediante su conversión al cristianismo.

En el Cabo, la liberación obligatoria de los conversos sirvió de impedimento a la conversión al cristianismo y volvió más atractiva la conversión al islamismo por razones no solo religiosas sino también políticas. Los esclavos de la Compañía o los residentes en los pueblos tenían cierta posibilidad de practicar oficios. Los esclavos de los granjeros estaban bajo un control más estricto. Las esclavas no tenían la opción del matrimonio, pero sí era frecuente el concubinato con hombres blancos.

El Cabo se convirtió en una sociedad dividida en grupos claramente definidos desiguales ante la ley, y los negros libres nunca fueron lo suficientemente numerosos o fuertes como para romper las barreras. Los empleados de la Compañía y los granjeros blancos establecieron un predominio defendido por la ley y reforzado por la libre inmigración. Los blancos mantendrían su predominio por más de tres siglos y medio, pese a varios intentos de emancipación.

En 1807 y 1838 se produjeron intentos parcialmente exitosos por liberar a los esclavos. Los británicos habían tomado ya posesión del Cabo durante las guerras revolucionarias francesas, manteniéndola como colonia a partir de 1795, con un breve período de dominación holandesa entre 1803 y 1806. La dominación británica fue inicialmente casi tan autoritaria como la holandesa. Pero los nuevos colonos que llegaron a partir de los 1820 traían su experiencia en las luchas políticas inglesas, y en la colonia lucharon por alcanzar libertad política, primero con una exitosa campaña en favor de la libertad de prensa, y luego en 1853 con el establecimiento de un gobierno representativo en unas elecciones increíblemente limitadas y daltónicas.

Otro tipo de campaña lanzaron grupos de presión en Gran Bretaña con respaldo de los misioneros locales para liberar a los siervos y esclavos. Aunque se trataba de un intento por equilibrar la libertad con la necesidad de mantener a los emancipados como mano de obra asalariada, no recibió mucho apoyo por parte de los empleadores locales. De ahí que aunqie los khoikhoi obtuvieron una "carta de libertad" en 1828, y en 1838 los esclavos fueron puestos en libertad al cabo de cuatro años en calidad de "aprendices", las presiones de los empleadores en los tribunales frustraron en gran medida la eficacia de ambas medidas.