Il est plus probable qu’il consommait ses sandwiches à son bureau, où il passait le plus clair de son temps, en particulier en 1765 où il occupait des fonctions gouvernementales qui ne lui laissaient guère de temps pour jouer. Il aurait pu mettre au point ces repas pour lui permettre de manger sans interrompre son travail.
L’homme connut une autre fortune que son nom. Au moment de la guerre d'indépendance des États-Unis d'Amérique, il fut jugé responsable de la défaite des Britanniques et fut, par ailleurs, accusé de corruption peut-être injustement.
L'explorateur James Cook donna son nom à deux archipels : les îles Sandwich (archipel d’Hawaï) et les îles Sandwich du Sud (Océan Atlantique sud).
Il fut inhumé dans le chœur de l’église All Saints, seul vestige conservé, à la demande de sa famille pour préserver sa tombe, d’un édifice beaucoup plus important démoli en 1821. Ainsi, au nom du lieu d'origine fut-il rajouté celui du vestige ("chancel" signifiant "chœur").