1961 stirbt der Gründer der Goldbäckerei Grote. So erlebt er den nächsten Schicksalsschlag für die Familie und den Betrieb nicht mehr. Im Juni des Jahres brennt der Dachstuhl der Bäckerei und ein Teil des Wohnhauses ab.
Dieses Gebäude wieder aufzubauen war die erste schwere Aufgabe, die auf den neuen Inhaber Karl-Heinz Grote zukam. Er meisterte diese Aufgabe sehr gut und erwies sich auch in der weiteren Zeit als guter Geschäftsmann. Er baute den Betrieb weiter aus. Nach wie vor war es ein Familienbetrieb, denn auch die fünf Kinder von Karl-Heinz und Elisabeth Grote halfen im Geschäft und im Café mit. Außerdem zeichnete sich ab, dass die Bäckerei einen Nachfolger hatte.