Khuynh cái hạ mã, 4 chữ thường được người xưa dựng bia ở những nơi linh thiêng, nhất là trước các Văn Miếu, Văn Thánh. Đây là chỉ dấu cho những ai đi qua nơi đó phải “nghiêng lọng xuống ngựa” để tỏ lòng tôn kính những bậc hiền tài, những vị thầy đáng kính có công lao dạy dỗ học trò.

Vào thời nhà Nguyễn ở những địa điểm quan trọng như Đại Nội, Phu Văn Lâu, Lăng Vua Gia Long… đều đặt bia đá với nội dung "Khuynh cái hạ mã" để nhắc nhở người dân bày tỏ sự tôn kính khi đi qua những địa điểm này. Khi các vị Vua triều Nguyễn đang còn trị vì, những ai cưỡi ngựa đi qua Ngọ Môn đều phải xuống ngựa dắt bộ qua để bày tỏ sự cung kính đối với những bậc Đế vương. Năm 1821, ngay cạnh Phu Văn Lâu ở kinh thành Huế, vua nhà Nguyễn cho dựng bia đá “khuynh cái hạ mã”, bởi danh sách các khoa danh tiến sĩ được niêm yết tại đây sau khi truyền lô.