Tương truyền đền Bạch Mã được xây dựng trong thời Bắc thuộc để thờ thần Long Đỗ (Rốn Rồng) – vị thần bản địa của các làng cổ Hà Nội. Tới thế kỷ IX, Cao Biền sang làm thứ sử Giao Châu, đóng quân ở La Thành. Biền tuy là một thầy phù thủy cao tay ấn nhưng không trấn yểm nổi đất này, đành phải chịu phụng thờ thần Long Đỗ.
Vua Lý Thái Tổ dời đô từ Hoa Lư (Ninh Bình) ra Đại La vào năm Canh Tuất 1010, định xây kinh thành mới nhưng nhiều lần đắp lên lại bị sụp đổ. Vua sai người tới đền cầu đảo, liền thấy một con ngựa trắng từ trong đền đi ra, đi đến đâu để vết chân đến đấy, xong xuôi ngựa quay về đền rồi… biến mất. Vua cứ y theo dấu vó ngựa mà xây thì đắp luỹ thành công. Do đó, vua kính cẩn gọi đền bằng hiệu Bạch Mã và tôn thần Long Đỗ làm Quốc Đô Định Bang Thành Hoàng Đại Vương, trấn giữ phía Đông Hoàng thành Thăng Long. Các đời vua sau cũng liên tục ban sắc phong tương tự.
Văn bia hiện còn ở đền cho biết, đền Bạch Mã được đại tu vào thời Lê trung hưng, niên hiệu Chính Hòa (1680 – 1705), đến thời Nguyễn năm Minh Mệnh thứ 20 (1839) lại được sửa sang thêm: tôn tạo đền cũ, dựng riêng văn chỉ, xây phương đình, qui mô toàn thể được mở rộng hơn.
Với phong cảnh hữu tình ở gần bến Hà Khẩu trên sông Tô Lịch, lại được quan dân bốn mùa cúng tế tôn nghiêm, đền Bạch Mã trở nên một trong những chốn đất thiêng nổi tiếng bậc nhất của Hà thành. Cuối thế kỷ 19, khi thực dân Pháp sang mở mang phố xá cũng không dám đụng vào những phần đã xây. Do đó dáng dấp ngôi đền còn lưu lại đến nay chủ yếu mang phong cách nghệ thuật của thời Nguyễn.
Ngôi đền mở cửa theo hướng Nam, từ trước đến sau gồm có nghi môn, phương đình, đại bái, thiêu hương, cung cấm và nhà hội đồng. Các hạng mục này được bố trí theo chiều dọc, trong một không gian khép kín. Du khách vào phương đình sẽ thấy bên trái có một am nhỏ với khám thờ tượng Quan Âm, bên phải có bức phù điêu Long Vân và hòn non bộ, còn trước mặt là tòa đại bái 3 gian 2 dĩ, cửa bức bàn.
Chính điện thờ tượng Bạch Mã, đầu hồi thờ Tam tòa Thánh Mẫu. Trong cung cấm có khám thờ thần Long Đỗ, màn gấm che gần kín, hai bên bày lỗ bộ và ngai kiệu. Kết cấu của ngôi đền gồm toàn bộ khung nhà gỗ với hệ thống cột gỗ lim lớn, các bộ vì đỡ mái được làm kiểu “giá chiêng chồng rường con nhị”. Đặc biệt, “hệ củng ba phương” tại nhà phương đình vừa có tác dụng chịu lực, vừa là tác phẩm nghệ thuật, được sử dụng để treo đèn trong các ngày lễ hội và kết cấu “vòm vỏ cua” đỡ mái hiên nhà thiêu hương.
Hai bên phương đình và bên trong nhà đại bái, thiêu hương, cung cấm đều đặt các ban thờ trang trọng được chế tác tinh xảo với những tương phản đỏ - vàng và trắng - đen là sắc màu chủ đạo. Trên các cốn gỗ, xà nách, xà ngang, các vì chồng rường lại có nhiều mảng trang trí với các đề tài phong phú và nét chạm chắc, khỏe.
Hiện nay tại đây còn lưu giữ rất nhiều cổ vật có giá trị như: bia đá, sắc phong, chuông đồng, kiệu rước, hương án, hạc thờ, độc bình, đôi phỗng… Với hơn một nghìn năm lịch sử, đền Bạch Mã là một trong những di sản tiêu biểu của Thủ đô Hà Nội. Đền Bạch Mã đã được xếp hạng Di tích lịch sử kiến trúc nghệ thuật quốc gia năm 1986.