In het jaar 1943 overleed zijn tweede vrouw, Annie. Charles heeft haar dood nooit verwerkt.
Twaalf jaar na de dood van zijn tweede vrouw werd hij uitgenodigd om zijn ervaringen met de Titanic te beschrijven in een boek van Walter Lord: ‘A Night to Remember’.
Kort daarna ging zijn gezondheid snel achteruit.
Op 9 november 1956 overleed Charles op 78-jarige leeftijd in het Paterson-ziekenhuis aan een longontsteking.
Charles werd samen met zijn vrouw begraven op de Ceder Lawn Cemetry in Paterson, New Jersey.