Tương truyền, Tần Thủy Hoàng có một mối tình khắc cốt ghi tâm với một mỹ nhân tên là A Phòng. Khi quân đội nước Tần chiến đấu với những bộ lạc ở phía Nam, thật không may, quân Tần lúc này lại mắc phải dịch hạch - 1 căn bệnh cực kỳ nguy hiểm. Thủ lĩnh của những bộ lạc ở phía Nam bèn đưa một cô gái địa phương hái Thu*c trà trộn vào doanh trại của quân Tần để do thám tình hình. Nàng chính là A Phòng.
Khi gặp A Phòng, Tần Thủy Hoàng rất ngạc nhiên vì vàng rất giống 1 nữ nhân ông quen từ nhỏ. Sau này, dưới bàn tay chăm sóc ân cần của A Phòng, Tần Thủy Hoàng đã có cảm tình với nàng. Ông đã bày tỏ tình cảm của mình với nàng và hứa hẹn cho nàng danh phận khi hoàn thành tham vọng thống nhất Trung Hoa. Chỉ tiếc rằng, khi sự đã thành thì A Phòng đã qua đời.
Theo sử sách, mẫu thân của Tần Thủy Hoàng là Triệu Cơ - vốn có nhiều hành động không hề mẫu mực. Bà từng là tiểu thiếp của Lã Bất Vi, sau được hắn dâng cho Trang Tương Vương. Sau khi Trang Tương Vương qua đời, Triệu Cơ dù đã trở thành Thái hậu nhưng thường xuyên tư thông với Lã Bất Vi. Những việc làm trái với luân thường này của TRiệu Cơ đã làm ảnh hưởng không nhỏ đến danh tiếng của Tần Thủy Hoàng. Thậm chí còn trở thành một bóng đen tâm lý ngay từ thủa thiếu thời. Từ đó trở thành rào cản trong hôn nhân, khiến ông nhất quyết không lập hậu.
Tần THủy Hoàng vốn đa nghi và khắc nghiệt, thậm chí còn có tham vọng rất lớn. Vì vậy, Tần Thủy Hoàng xem việc lập hậu là một rào cản cho mình, cản trở ông thực hiện những lý tưởng cao xa hơn. Không lập hậu giúp ông không đắm chìm trong nữ sắc, loại trừ tận gốc nguy cơ bị ngoại thích chuyên quyền, bảo toàn được tuyệt đối quyền lực tối cao.