Sainte-Hélène comptait des esclaves noirs, chinois, malais et indiens qui travaillaient dans des conditions matérielles identiques, mais alors que les "nègres" étaient la propriété de la Compagnie des Indes ou des colons blancs, les Chinois étaient des travailleurs libres qui ne manquaient jamais, quand ils avaient amassé un pécule suffisant, de reprendre le chemin de leur pays.
Le nombre de Noirs est relativement élevé car, au moment de l'émancipation, la Compagnie employait 97 esclaves (53 hommes et 44 femmes), dont l'âge variait entre 12 et 65 ans.
Ils servaient en qualité de domestiques, bergers, jardiniers ou hommes de peine et les femmes s'occupaient de la lingerie, de la blanchisserie et des enfants des maîtres.
Mais la Compagnie n'était pas le plus riche propriétaire de main-d'oeuvre, noire ou jaune, puisque le recensement de 1820 fait ressortir un total de 1061 esclaves : 461 Chinois, 613 esclaves libérés et 33 lascars.
Le plus connu des esclaves de l'île est Toby, un Malais appartenant aux Briars, acheté par les Balcombe à un capitaine anglais : il régnait sur le potager et Napoléon lui adressait parfois une parole bienveillante ou encore lui faisait remettre une pièce d'or.
Betsy s'enhardit un jour et exposa à celui qu'elle considérait comme un oncle-gâteau un projet qui lui était cher, la liération de Toby, jusqu'ici refusée par William Balcombe.
Napoléon assura que dès le lendemain il ferait racheter Toby et le ferait rapatrier par les soins de l'amiral. C'était sans compter sur Lowe, lequel lança à O'Meara, venu en émissaire :
- Vous ne savez pas l'importance de ce que vous me demandez ; ce n'est pas Toby que le général Buonaparte veut libérer pour plaire à Miss Balcombe, ce sont tous les nèges de l'île dont il veut gagner la reconnaissance. Il veut faire ici comme à Saint-Domingue. Pour rien au monde, je n'accorderai ce que vous me demandez.
L'esclave Toby ne recouvra donc pas la liberté, mais il eut au moins la consolation, bien mince à vrai dire pour un esclave malais, d'inspirer de larmoyantes estampes de l'époque romantique et ces tableaux "Napoléon et l'esclave Toby", qui eurent leur heure de vogue.