Phạm Khôi sinh năm nào không rõ, chỉ biết ông mất năm Tự Đức thứ mười hai, Kỉ Mùi (1859), sau hơn ba chục năm làm quan, trải thờ ba đời vua là Minh Mạng (1820 - 1840). Thiệu Trị (1841 - 1847) và Tự Đức (1848 - 1883). Sách Đại Nam chính biên liệt truyện (Nhị tập, quyển 29) cho hay, ông người huyện Võ Giàng, nay thuộc huyện Quế Võ, tỉnh Bắc Ninh. Năm Minh Mạng thứ mười (1829), Phạm Khôi đỗ Tiến sĩ và bắt dầu ra làm quan kể từ đó.

Sinh thời, Phạm Khôi là người cương trực và sống thanh liêm, giản dị. Sử cũ ca ngợi rằng, ông trải hơn ba chục năm làm quan mà chưa từng tậu ruộng hoặc xây nhà, chỉ chuyên răn bảo con giữ nếp thanh bạch.

Vì cương trực, Phạm Khôi từng bị cách chức, nhưng điều ấy vẫn không làm ông nản. Sách trên đã chép lời ông can vua Thiệu Trị như sau:

“Năm (Thiệu Trị) thứ bảy (tức năm 1847 - NKT). Vua sai xây dựng Xương Lăng (tức lăng Thiệu Trị. Các vua nhà Nguyễn đều lo xây lăng cho mình ngay khi đang sống - NKT), bàn định nên xây thêm lầu và gác cùng với thành bao bọc ở phía ngoài. Công trình nặng nhọc và to lớn, nhưng không ai dám nói gì cả. (Phạm) Khôi dâng sớ, đại lược nói rằng: Truyện "Việt Sử Giai Thoại " được copy từ diễn đàn Lương Sơn Bạc (LuongSonBac.com)

- Thuở xưa, lăng tẩm của các bậc đế vương đều làm theo chế độ giản lược. Không phải vì (các đế vương xưa) sợ khó nhọc, cũng chẳng phải vì sợ hao tốn tiền của, mà tất cả chỉ vì muốn sao cho xứng đáng với lễ đó thôi. Đạo hiếu lấy sự hợp lễ làm quý. (Những việc như) đào huyệt để chôn, đắp đường dưới đất, xây thêm thành chung quanh, làm đền thờ ở mộ, dựng nhà để bia… đều là đúng với lễ. Còn những việc như xây thành cho rộng rãi, làm lầu gác cho nguy nga, nhiều đến bao nhiêu cũng chẳng thể nói là phong lưu, ít đến bao nhiêu cũng chẳng thể nói là kiệm ước, cho nên thuở xưa, Hán Văn Đế dựng Bá Lăng, Đường Thái Tông xây Hiếu Lăng mà (các quan như) Trương Thích Chi và Ngu Thế Nam đều can nên kiệm ước, và hai vua ấy đều nghe theo, để tiếng thơm khen ngợi đến ngàn đời. Lại nói, Hán Quang Võ làm Nguyên Lăng, xuống chiếu làm theo lối giản tiện, sau, (Hán) Minh Đế muốn tăng thêm chút ít, thế mà người đời sau am tường việc lễ còn có lời nghị luận khen chê. Xem vậy cũng đủ biết, các đế vương được coi là đại hiếu đều là kiệm ước chứ không phải xa hoa. Cúi mong nhà vua hãy theo kiệm ước. Huyệt chôn và đường đất xin theo quy chế của Hiếu Lăng. Điện thờ, sân vườn, non bộ… nên theo người xưa mà châm chước. Việc xây cất cốt sao để tỏ được cái ý bớt xa xỉ và năng cần kiệm của nhà vua đối với đời sau. Truyện "Việt Sử Giai Thoại " được copy từ diễn đàn Lương Sơn Bạc (LuongSonBac.com)

Sớ ấy dâng lên, Vua dụ rằng:

- Bớt xa xỉ, theo kiệm ước vẫn là mối lo nghĩ lớn của các bậc đế vương, nhưng không phải vì thế mà tiết kiệm của cải cả nước với vua là bậc cha mẹ của dân.

Nói rồi, (Nhà vua) giao cho đình thần bàn nghị, việc gì cần xem xét lại, cứ việc thẳng thắn tâu bày, cốt sao cho thỏa đáng thì thôi, đừng thấy ý Vua như vậy rồi không dám nói. (Nhà vua) còn đem lời tâu của Phạm Khôi cho đình thần xem xét, bàn luận đúng sai ra sao rồi cứ việc tâu lên."

Lời bàn: Dẫu nhiều lần bị cách chức nhưng trước sau Phạm Khôi vẫn giữ lòng cương trực, kính thay! Sống mà chỉ cốt lấy lòng các đấng trưởng thượng, ta bất quá chỉ là bản sao vụng về của người khác mà thôi. Truyện "Việt Sử Giai Thoại " được copy từ diễn đàn Lương Sơn Bạc (LuongSonBac.com)

Phạm Khôi khẳng khái can vua, ý nảy sinh từ đức độ của mình và cũng là đại đạo của muôn thuở, lời gắn chặt với điển lễ tôn kính của ngàn xưa và cũng là của lòng dân đương thời, đấng vương giả dẫu chẳng vui cũng khó mà bắt lỗi, đáng phục thay!

Bấy giờ, cũng có kẻ can vua nhưng thực là nịnh vua, họ nói lời can ngăn chẳng qua để lấy tiếng chớ không phải để nghiêm giữ kỉ cương phép nước, rốt cuộc chỉ khiến chính sự thêm rối bời mà thôi. Phạm Khôi thì khác hẳn, ông can vua vì thực lòng mong cho xã tắc có đấng minh quân. Nỗi mong chân thành và mãnh liệt ấy đã khiến ông dám nói những lời mà bá quan không ai dám nói. Mới hay, quan trong triều lúc ấy thì đông mà có dũng khí như ông lại quá ít.

Phạm Khôi nói sao làm vậy. Hơn ba mươi năm làm quan mà chưa từng tậu ruộng hoặc xây nhà, việc ngỡ như bình thường này, nếu chẳng phải là bậc thanh liêm, giàu đức độ, bản lĩnh và dũng khí quyết không thể làm được. Giếng nước trong giữa vùng sa mạc là đấy chăng!