Zumindest die Adressbücher liegen wohl nur verschlüsselt bei der Signal-Foundation.
Mit den passenden Schlüsseln und nötigen Algorithmen zur Entschlüsselung. Ich frage mich viel eher, was das Telefonbuch der User auf den Servern eines Messengerbetreibers verloren hat.