Кеш легко очистить. Сообщения,
контакты и чаты это не затронет: удалены будут только фото, видео, файлы и служебные данные.
При этом они не исчезнут бесследно, а сотрутся только из памяти устройства.
Если через время захотите просмотреть какой-либо контент, он автоматически подгрузится с серверов Telegram.