Quê gốc của Hoàng Cầm ở xã Song Hồ, huyện Thuận Thành, tỉnh Bắc Ninh. Ông xuất thân trong gia đình nhà nho lâu đời. Thân sinh ông thi không đỗ, về dạy chữ Hán và làm thuốc bắc ở Bắc Giang. Tên ông được đặt ghép từ địa danh quê hương: Phúc Tằng và Việt Yên. Thuở nhỏ, ông học tiểu học, trung học đều ở Bắc Giang và Bắc Ninh; đến năm 1938, ra Hà Nội học trường Thăng Long. Năm 1940, ông đỗ tú tài toàn phần và bước vào nghề văn, dịch sách cho Tân dân xã của Vũ Đình Long. Từ đó, ông lấy bút danh là tên một vị thuốc đắng trong thuốc bắc: Hoàng Cầm.