Дворцом Воздержания (Чжайгун - Zhaigong - Palace of Abstinence) называют живописную постройку, которая возвышается рядом с западными воротами Храма Неба. Дворец возвели в 1420 году, во время правления императора Юнлэ из династии Мин.
В основу здания, занимающего пространство 40 000 кв.м, положена форма квадрата. Вход обращен к востоку. При династиях Мин и Цин здание использовалось императорами и министрами для трехдневных постов в преддверии религиозных обрядов.
Вокруг дворцовых построек выстроено два ряда стен. Внутренний ряд носит название Пурпурной Стены, внешний — Кирпичного Города. По верху Кирпичного Города выставляли многочисленную охрану. Чтобы обеспечить императору максимальную безопасность, по периметру Дворца прорыли ров и наполнили водой. Вторым рвом окружили Пурпурную Стену. В обоих рядах стен по периметру дворцового комплекса красуются арочные ворота, выходящие на север, юг и восток. Ворота во внешней стене соединены с основным пространством комплекса с помощью мраморных мостов.