Tras su puesta en servicio, el I-72 fue asignado a la División Submarina 20 en el Distrito Naval de Kure. Mientras operaba en la superficie con visibilidad limitada el 5 de mayo de 1938, chocó alrededor de las 10:00 con el Hachiyo Maru (60 t) en el mar Interior de Seto, al oeste de Kurahashi-jima, Japón. El I-72 sufrió daños menores, pero el Hachiyo Maru se hundió unos dos minutos después de la colisión.
En preparación para el inminente conflicto en el Pacífico, el I-72 partió de Seaki, Japón, junto con los I-68, I-69, I-70, I-71 e I-73. Llegó al atolón de Kwajalein el 20 de noviembre de 1941. El 23 de noviembre partió de Kwajalein para comenzar su primera patrulla. Llegó a las islas hawaianas el 5 de diciembre y realizó un reconocimiento del canal Kalohi entre Lānaʻi y Molokaʻi. Luego investigó Lahaina Roads frente a Maui para determinar si la flota estadounidense estaba anclada allí, y el 6 comunicó por radio a la Fuerza de Ataque jJaponesade que no había buques de guerra estadounidenses en Lahaina Roads.
El 7 el I-72 tomó posiciones en Pearl Harbor entre el I-70 y el I-73. En la noche del 16 emergió en la bahía de Hilo, Hawai, y la bombardeó con su cañón de 119 mm. El 19 torpedeó al mercante estadounidense Prusa (5.113 toneladas) a 150 millas náuticas (278 km) al sur de Oahu, y que navegaba de Honolulu, Hawái, a Baltimore, Maryland, y se hundió nueve minutos más tarde. El I-72 salió a la superficie para identificar la Prusa e iluminó los botes salvavidas de Prusa con su reflector, luego se sumergió y continuó su patrulla. Regresó a Kwajalein el 28.
El 12 de enero de 1942 partió de Kwajalein con los I-71 e I-73 para su segunda patrulla, también en aguas de Hawai, donde relevaron a los I-18, I-22 e I-24. El I-72 llegó a su área de patrulla el 21. El 23 se encontró con el petrlero SS Neches (AO-5), de 7.383 toneladas, que se dirigía sin escolta a reunirse con la TF 11. El primer torpedo del I-72, disparado a las 03:10, alcanzó al Neches en el centro pero no detonó. El segundo impactó a popa por estribor, destruyendo su sala de máquinas. El tercero le alcanzó a babor. Cuando el I-72 salió a la superficie para acabar con el Neches con su cañón, éste abrió fuego con cañones de 76,2 mm y 127 mm y obligó al submarino a sumergirse de nuevo. A continuación, el petrolero se escoró a estribor y se hundió por la proa. Su hundimiento impidió que la Task Force 11, centrada en el USS Lexington (CV-2), repostara, lo que obligó a cancelar un ataque aéreo planeado contra las fuerzas japonesas en Wake y regresar a Pearl Harbor.
El 16 de febrero el I-72 regresó a Kwajalein. Partió el 18 con el I-71 para patrullar en Rabaul, al que se acercaba la TF 11 para lanzar ataques aéreos contra las fuerzas y bases japonesas allí. Sin embargo, después de que la TF 11 perdió el elemento sorpresa, se retiró y los dos submarinos fueron desviados a patrullar al este de Wake. Después de una patrulla sin incidentes, el I-72 se dirigió a Japón, donde llegó el 5 de marzo para reparaciones en Kure. Partió el 15 de abril y visitó Yokosuka del 3 al 10 de mayo, regresando a Kure el 12 para recibir más reparaciones. Mientras estuvo allí, fue redesignado I-172 el 20. Con sus reparaciones completas, partió el 22 y se dirigió a Truk, donde llegó el 28. Zarpó de Truk el 30 para realizar un reconocimiento en la zona de Guadalcanal. Regresó a Truk el 30 de septiembre.
Con el comandante de la División de Submarinos 12 a bordo, el I-172 partió de Truk el 12 de octubre para su cuarta patrull para apoyar un ataque de submarinos enanos Tipo A contra los barcos aliados frente a la Punta Lunga de Guadalcanal. El 14, sin embargo, se le ordenó que se uniera al I-26 al sur de San Cristóbal para recargar las baterías de los submarinos enanos Tipo a bordo del portahidroaviones Chiyoda. Sus órdenes cambiaron nuevamente el 15, cuando se le ordenó unirse a los I-1, I-2, I-3, I-4, I-5, I-7, I-17, I-22 y I-31 - colectivamente designado "Grupo A" - en la formación de un piquete al sureste de Guadalcanal. Permaneció allí hasta el final de la batalla de las Islas Santa Cruz (25 al 27 de octubre). El Grupo A se disolvió el 28 y luego el I-172 operó en San Cristóbal con órdenes de atacar a la navegación aliada que abastecía a las fuerzas estadounidenses en Guadalcanal.
Todas las fuentes coinciden en que el I-172 se hundió mientras operaba al suroeste de San Cristóbal, pero no están de acuerdo con la fecha y la causa. Un documento del Mando de Historia y Patrimonio Naval titulado "Apéndice 3: Submarinos hundidos por escuadrones de patrulla durante la Segunda Guerra Mundial" señala que el destructor dragaminas USS Southard (DMS-10) recibió el crédito oficial por hundir al I-172 el 10 de noviembre de 1942, pero agrega que los registros japoneses indican que el Southard realmente hundió al I-15. El documento afirma que la Armada Imperial declaró desaparecido al I-172 después del 28 de octubre y atribuye su hundimiento a un PBY-5 Catalina del VP-11 que avistó un submarino japonés en 29 y arrojó dos cargas de profundidad de 295 kg después de una inmersión repentina. Una gran cantidad de aceite apareció en la superficie y todavía era visible al día siguiente.
Según mixedfleet.com el 3 de noviembre el I-172 avistó un convoy de transportes estadounidenses al suroeste de San Cristóbal con destino a Lunga Point, en Guadalcanal. Transmitió su último mensaje, un informe de avistamiento de 7 transportes navegando a 12 nudos (22 km/h) con rumbo de 300 grados, a las 04:10. Uno de los escoltas del convoy, el USS Helena (CL-50), detectó un objetivo de superficie en el radar con rumbo 046 a una distancia 14.600 m y el USS McCalla (DD-488) salió del convoy a las 05:20 para investigar, avistando a un submarino casi estacionario con rumbo 090 a 1,830 m y aceleró con la intención de embestirlo. El submarino se sumergió a las 05:32 y giró bruscamente hacia el McCalla, que avistó un periscopio desde su proa de babor a una distancia de 90 a 180 m y comenzó un ataque de cargas de profundidad a las 05:37, lanzando seis de 272 kg y cinco de 136 kg programadas para explotar a una profundidad de 15 a 30 m. Treinta segundos después de la explosión de la última carga de profundidad, la tripulación del McCalla escuchó otra explosión bajo el agua, luego una segunda explosión 30 segundos después de eso, y finalmente una tercera explosión después de otros tres minutos. Después de la tercera explosión, el McCalla perdió el contacto del sonar en el submarino y su tripulación notó un fuerte olor a aceite.
El Dictionary of American Naval Fighting Ships señala que el McCalla llevó a cabo un ataque de cargas de profundidad el 2 de noviembre, pero no menciona que hundiera un submarino. Afirma que temprano en la mañana del 10, mientras pasaba entre San Cristóbal y Guadalcanal en ruta a la bahía de Aola en Guadalcanal, el USS Southard (DMS-10) encontró al I-172 en la superficie. El Southard inmediatamente redujo la velocidad a 10 nudos (19 km/h) y abrió fuego. El I-172 se sumergió y el Southard atacó con cargas de profundidad. El Southard perdió contacto con el I-172 y no lo recuperó hasta las 06:07, casi tres horas y media después. Durante las siguientes tres horas, el Southard realizó cinco ataques más. Después del último vio petróleo en la superficie, pero no pudo encontrar más evidencia de daños, y siguió navegando a través de la mancha. Cuando llegó a un punto a unos 1,830 m en el otro lado de la mancha, el submarino emergió casi verticalmente. Luego se hundió rápidamente por la popa. Aunque nunca se recibió la confirmación absoluta de un hundimiento, todas las pruebas indicaron que el submarino se había hundido. Combinedfleet.com afirma que "aunque al USS Southard (DMS-10) a menudo se le atribuye el hundimiento del I-172, su objetivo era más probable que fuera el I-15.
El 27 de noviembre de 1942, la Armada Imperial Japonesa declaró qque el-172 se perdió frente a Guadalcanal junto con sus 91 tripulantes. Fue eliminado de la Lista de la Marina el 15 de diciembre.