Avant la construction de la Maison du gouverneur, les officiers de la CBH habitaient dans la résidence principale d’Upper Fort Garry, qui avait été construite dans les années 1830. Ce bâtiment est graduellement tombé en ruines, en particulier à la suite de l’énorme inondation de 1852 et de la négligence d’entretien de la part d’officiers militaires tels que John Crofton et William Caldwell, qui l’occupaient entre 1846 et 1854. Par conséquent, la nouvelle maison de deux niveaux et demi faisant 48 par 28 pieds, avec toit à quatre pans et pignons, a été construite en 1854.
À son arrivée le 2 septembre 1870, le premier lieutenant-gouverneur du Manitoba, Adams Archibald, a séjourné dans cette maison comme invité de Donald A. Smith, officier en chef de la CBH. Bien qu’il ait brièvement emménagé à St. James, le lieutenant-gouverneur a décidé que c’était trop compliqué de se déplacer vers la colonie grandissante de Winnipeg pour mener ses activités. Il a donc négocié avec la Compagnie pour pouvoir habiter comme locataire dans la Maison du gouverneur, qui devait devenir sa résidence officielle pour les douze années suivantes.
La Maison du gouverneur n’a jamais donné entièrement satisfaction comme résidence officielle. Le successeur d’Archibald, Alexander Morris, portait plainte dans une note écrite au gouvernement fédéral en 1873 : « Vous pouvez vous imaginer l’état de la maison quand je vous dis qu’il y avait cinq pieds d’eau dans la cave jusqu’au milieu de juillet, et jusqu’au milieu d’août, l’année précédente [1872]. À ce propos, j’ai demandé à la CBH d’installer un drain adéquat. »
De nombreuses modifications ont été apportées au bâtiment au cours de ses quarante ans. Parmi les plus importantes, mentionnons l’ajout d’une aile ouest. À un moment donné, un troisième niveau – d’une construction à ossature en bois plus légère – a été ajouté au bâtiment d’origine dont la charpente était à poutres et poteaux. Ironiquement, ce nouvel étage supérieur a été abandonné en 1885. Le bâtiment était toujours là en 1887, bien qu’il s’effondrait pratiquement.
