Ernst ist verheiratet und hat fünf Söhne. Nach der Landwirtschaftlichen Winterschule und der Meisterprüfung bewirtschaftete er 30 Jahre lang den von seinen Eltern übernommenen Betrieb bis zur Übergabe an Sohn Andres. Er war auch politisch engagiert und 15 Jahre lang Berater für eine nachhaltige Landwirtschaft in Afrika.