Là Giám mục người Việt thứ hai, và Giám mục đầu tiên người Việt tại Giáo phận Bùi Chu. Ông vốn tên là Hồ Ngọc Ca, sinh ngày 3/12/1876 tại xứ đạo Ba Châu ở làng Vĩnh Lưu (nay thuộc xã Phú Lương, huyện Phú Vang, tỉnh Thừa Thiên Huế). Thân phụ là Hồ Ngọc Thi đã rời quê làng Cổ Thành, Quảng Trị vào lập nghiệp và cải đạo ở đây. Do cha mất sớm, mẹ là Nguyễn Thị Đào đã đem ông và em trai về sống ở Phường Đúc, xứ đạo Trường An. Năm 1889, ông học ở Tiểu chủng viện An Ninh ở Cửa Tùng, được linh mục Joseph Allys nhận làm con nuôi. Năm 1896, ông vào học Đại chủng viện Phú Xuân (Huế), sau đó đổi tên là Hồ Ngọc Cẩn. Năm 26 tuổi được thụ phong linh mục (1902), sau đó làm phó giáo xứ Kẻ Văn (nay thuộc xã Hải Tân, huyện Hải Lăng, Quảng Trị), từ năm 1907 là linh mục chánh xứ Kẻ Hạc (nay thuộc xã Vạn Trạch, huyện Bố Trạch, Quảng Bình). Năm 1910, ông được cử làm giáo sư tại Tiểu chủng viện An Ninh, dạy các môn Latin, Pháp, Toán, Việt ngữ. Năm 1923, ông được cử làm Cha sở họ đạo Trường An, cùng với giám mục Joseph Allys xây dựng Dòng Thánh Tâm tại họ đạo này. Năm 1935, Giáo hoàng Pi-ô XI ký sắc phong ông làm Giám mục phó Giáo phận tông tòa Bùi Chu. Sau khi thụ phong, ông lấy tên thánh là Giuse. Ngày 27/11/1948, ông qua đời sau 13 năm cai quản giáo phận, hưởng thọ 72 tuổi, được an táng ở nhà thờ chánh tòa Bùi Chu.

Trong thời gian là Bề trên của dòng Thánh Tâm, ông đã cho mở bốn trường tiểu học bổ túc do các sư huynh trong giáo đoàn đảm nhận giảng dạy tại Trường An, Kim Long, Phủ Cam và Lại Ân cho các chủng sinh trước khi vào chủng viện. Ông cũng cho mở nhà in “Thánh Tâm” để in sách báo, tài liệu của Giáo phận Huế.