Nằm ở vùng rừng núi hiểm trở, cách xa miền xuôi, Nhà tù Sơn La được thực dân Pháp xây dựng từ rất sớm nhằm phục vụ mục đích giam giữ và đàn áp. Trước những năm 1900, nơi đây mới chỉ là Đề lao của Đạo quan binh 2. Đến đầu năm 1908, nhà tù tỉnh Sơn La chính thức được xây dựng trên đồi Khau Cả với quy mô tương đối rộng, đánh dấu sự hình thành một cơ sở giam cầm lớn ở khu vực miền núi Tây Bắc.

Sơ đồ tổng thể các công trình trực thuộc Sở Cảnh sát Sơn La được dự kiến xây dựng tại tỉnh Vạn Bú, trong đó có Nhà tù tỉnh do Lichtenfelder, kiến trúc sư - Chánh Sở Kiến trúc trung ương lập ngày 22/10/1907, nguồn: TTLTQGI

Sơ đồ tổng thể Nhà tù Sơn La mới, lập vào khoảng năm 1940-1941, nguồn: TTLTQGI

Trong giai đoạn từ năm 1915 đến năm 1944, thực dân Pháp đã nhiều lần tiến hành mở rộng và cải tạo Nhà tù Sơn La. Diện tích nhà tù không ngừng tăng lên, từ khoảng 500m² vào năm 1908, lên 2.170m² năm 1940 và đạt tới 3.900m² vào năm 1941. Cùng với việc mở rộng về không gian là bộ máy cai ngục hà khắc, biến Nhà tù Sơn La trở thành một trong những nơi giam giữ và đày ải vô cùng tàn khốc. Trong thư gửi Thống sứ Bắc Kỳ năm 1932, Công sứ Sơn La Saint Poulof đã viết: “Xin ngài cứ tiếp tục gửi chính trị phạm lên Sơn La. Bọn này nếu ở Hỏa Lò, là những hạng hung hăng khó trị, thì rồi đây tới đất Sơn La, chỉ trong vòng 6 tháng thôi vi trùng sốt rét sẽ làm chúng trở nên hiền lành. Chúng sẽ tự định đoạt lấy cuộc sống của chúng”[1].

Bản vẽ mặt bằng tầng 2 và các mặt tháp canh tại Nhà tù Sơn La mới,

 lập năm 1940-1941, nguồn: TTLTQGI

Chính vì vậy, từ thập niên 30 của thế kỷ 20, hàng ngàn tù chính trị đã bị đày lên Sơn La, trong đó có nhiều đảng viên, nhà yêu nước, nhà lãnh đạo cấp cao của Đảng như các đồng chí Lê Duẩn, Trường Chinh, Lê Thanh Nghị…

Công điện của Công sứ Sơn La cung cấp danh sách tù chính trị bị giam giữ tại Sơn La, trong đó có Đặng Xuân Khu (Trường Chinh), số 439,

nguồn: RST 82913, TTLTQGI

Phiếu nhận dạng tù nhân Lê Duẩn, số 268, bị giam giữ tại Nhà tù Sơn La,

nguồn: RST 82857, TTLTQGI

Ngoài việc bị xiềng gông, roi vọt, giam cầm trong các xà lim, hầm tối, người tù còn phải chịu sự tàn bạo, tham lam, mánh khóe bịp bợm của bọn lính gác, cai ngục. Trong Công văn mật số 17 ngày 20/9/1909 của quyền Thống sứ Bắc Kỳ gửi các tỉnh trưởng ở Bắc Kỳ và tư lệnh đạo quan binh có đoạn viết: “Theo nguồn tin đáng tin cậy, tại một số nhà tù cấp tỉnh, một số lính gác trưởng hoặc lính cơ có hành vi lạm quyền. Những người này cực kỳ nghiêm khắc, thậm chí hành xử thô bạo đối với những tù nhân không có tiền, không thỏa mãn yêu cầu của họ. Ngược lại, họ tỏ ra quan tâm đối với những tù nhân có của nả, chiều theo những đòi hỏi của họ. Những tù nhân này không bị giám sát chặt chẽ, họ có thể nhận được lương thực, thuốc phiện từ bên ngoài và không phải làm các công việc nặng nhọc như những người khác….”[2].

Trong điều kiện sống gian khổ, cực nhọc, bệnh tật và âm mưu thâm độc của kẻ thù nhưng những người tù chính trị bị giam cầm tại Nhà tù Sơn La không hề nao núng, nhụt chí mà đã vượt lên trên mọi gian khổ, thiếu thốn, giữ vững niềm tin vào cách mạng, vào sự sáng suốt của Đảng. Họ không ngừng sáng tạo, mềm dẻo trong đấu tranh để tồn tại, chiến đấu và thắng lợi trước mọi âm mưu của kẻ thù.

Nhằm lãnh đạo cuộc đấu tranh trong tù và tuyên truyền, giác ngộ quần chúng, xây dựng cơ sở cách mạng, tháng 12/1939, Chi bộ Đảng Cộng sản được thành lập tại Nhà tù Sơn La. Từ đó đến năm 1945, Chi bộ nhà tù Sơn La đã tích cực hoạt động, góp phần tuyên truyền chủ trương đấu tranh giải phóng dân tộc của Đảng, thúc đẩy phong trào đấu tranh của nhân dân, đưa đến thắng lợi của cuộc tổng khởi nghĩa giành chính quyền ở Sơn La ngày 26/8/1945. Năm 2021, Ban Chấp hành Đảng bộ tỉnh Sơn La đã chọn sự kiện thành lập Chi bộ Nhà tù Sơn La (12/1939) là dấu mốc xác định và quyết nghị: Lấy ngày 26/12/1939 là Ngày truyền thống của Đảng bộ tỉnh Sơn La[3].