Su apodo aliado era "Nate", aunque se le llama "Abdul" en el teatro China-Birmania-India (CBI) por muchas fuentes de posguerra; LA inteligencia aliada había reservado ese nombre para el inexistente caza Mitsubishi Tipo 97, que se esperaba que fuera el sucesor del Tipo 96 (Mitsubishi A5M) con tren de aterrizaje retráctil y cabina cerrada.
En 1935, el Ejército Imperial Japonés celebró una competición entre Nakajima, Mitsubishi y Kawasaki por un monoplano de ala baja para reemplazar al biplano Kawasaki Ki-10 (Caza Tipo 95 del Ejército). El nuevo caza también iba a tener un mejor rendimiento que el Mitsubishi Ki-18 experimental.
Cuando los funcionarios japoneses consideraron demasiado compleja la propuesta del Nakajima Ki-12 con un motor refrigerado por líquido y un tren de aterrizaje retráctil, Koyama Yasushi diseñó el Ki-27 para tener un motor radial refrigerado por aire y un tren de aterrizaje fijo. El avión tenía el ala típica de Nakajima, con un borde de ataque recto y un borde de fuga cónico que reaparecería nuevamente en el Ki-43, Ki-44 y Ki-84.
El Ki-27 realizó su primer vuelo el 15 de octubre de 1936. Aunque era más lento oy tenía peor rendimiento de ascenso que sus competidores, el Ejército eligió el diseño Nakajima por su sobresaliente capacidad de giro. otorgada por su carga alar notablemente baja. El Ejército ordenó 10 aviones de pre-serie (Ki-27a) para más pruebas, que incluían una cabina cerrada con dosel deslizante y alas más grandes.
El avión fue aceptado oficialmente en servicio en 1937 como el Caza Tipo 97 del Ejército. Además de Nakajima, el Ki-27 también fue fabricado por Tachikawa y Manshukoku, con un total de 3368 construidos antes de que terminara la producción en 1942.
El Ki-27 fue el principal caza de la Fuerza Aérea del Ejército Imperial Japonés hasta el comienzo de la Segunda Guerra Mundial. Cuando entró en servicio sobre el norte de China en marzo de 1938, el Ki-27 disfrutó de superioridad aérea hasta la introducción de los cazas Polikarpov I-16, más rápidos, por parte de los chinos.