Pavelić ocupó el cargo de secretario del Partido de los Derechos hasta 1929 con el comienzo de la dictadura del 6 de enero. Según el historiador croata Hrvoje Matković, después de que el rey declarara su dictadura, la casa de Pavelić estuvo bajo constante vigilancia policial.En ese momento, Pavelić comenzó a organizar la Ustasha (Ustaša - Hrvatski revolucionarni pokret) como una organización con principios militares y conspirativa. Su fundación oficial tivo lugar el 7 de enero de 1929. El movimiento Ustaša fue "fundado en los principios del racismo y la intolerancia".
Debido a la amenaza de arresto, Pavelić escapó durante un lapso de vigilancia y fue a Austria en la noche del 19 al 20 de enero de 1929. Según Tomasevich, Pavelić se fue a Viena para "buscar ayuda médica". Allí se puso en contacto con otros emigrantes croatas, principalmente emigrados políticos, ex oficiales austrohúngaros, que se reunieron alrededor de Stjepan Sarkotić y se negaron a regresar a Yugoslavia. Tras una breve estancia en Austria, junto a Gustav Perčec, Pavelić se trasladó a Budapest.
En marzo de 1929, los ustashas iniciaron una campaña terrorista en Yugoslavia con el asesinato de Toni Schlegel en Zagreb. Schlegel era un editor pro-yugoslavo del periódico Novosti, y también era un confidente cercano del rey Alejandro. Después de establecer contacto con la Organización Revolucionaria Macedonia Interna en abril de 1929, él y Perčec fueron a Sofía en Bulgaria. El 29 de abril de 1929, Pavelić e Ivan Mihailov firmaron la Declaración de Sofía en la que formalizaron la cooperación entre sus movimientos. En la declaración, se comprometieron a separar a Croacia y Macedonia de Yugoslavia. Yugoslavia protestó ante Bulgaria. Pavelić fue declarado culpable de alta traición y condenado a muerte en ausencia junto con Perčec el 17 de agosto de 1929.
Debido al veredicto yugoslavo, el 25 de septiembre de 1929 Pavelić fue arrestado en Viena y expulsado a Alemania. La estancia de Pavelić en Alemania se vio limitada por la oposición del embajador alemán en Yugoslavia, Adolf Köster, partidario de Yugoslavia. Amigo del rey Alejandro, hizo todo lo posible para evitar la actividad nacionalista croata en Yugoslavia. Pavelić salió de Alemania con un pasaporte falso y se fue a Italia, donde ya vivía su familia.En Italia, cambiaba de ubicación con frecuencia y vivía con nombres falsos, la mayoría de las veces como "Antonio Serdar". Dado que había estado en contacto con las autoridades italianas desde 1927, facilmente estableció relaciones con los fascistas. En otoño de 1929 estableció contactos con periodistas italianos y con el hermano de Mussolini, Arnaldo, que apoyaba la independencia croata sin ninguna concesión territorial. Pavelić creó simpatía y comprensión de los croatas entre los italianos.
Ese otoño Pavelić publicó un folleto titulado Establecimiento del Estado croata: paz duradera en los Balcanes, que resumía importantes acontecimientos de la historia croata. Las autoridades italianas no querían apoyar formalmente ni a los ustashas o a Pavelić, para proteger su reputación; sin embargo, el grupo recibió el apoyo de Mussolini, quien los vio como un medio para ayudar a destruir Yugoslavia y expandir la influencia italiana en el Adriático. Mussolini permitió que Pavelić viviera en el exilio en Roma y entrenara a sus paramilitares para la guerra con Yugoslavia. En la organización Ustaša de 1929-1930, los socios más cercanos de Pavelić fueron Gustav Perčec, Branimir Jelić, Ivan Perčević y más tarde Mladen Lorković y Mile Budak.
El movimiento ustasha comenzó con la creación de formaciones militares entrenadas para el sabotaje y el terrorismo. Con la ayuda financiera de Mussolini, en 1931 Pavelić estableció campos de entrenamiento para terroristas primero en Bovegno, en la región de Brescia, y alentó la fundación de tales campos en toda Italia. Se fundaron campamentos en Borgotaro, Lepari y Janka-Puszta, en Hungría. Los ustashas tomaron parte en el contrabando de armas y propaganda a Yugoslavia desde sus campamentos en Italia y Hungría. A petición de las autoridades italianas, los campos se trasladaron a menudo. La sede principal ustasha estuvo al principio en Torino y luego en Bolonia.
Por iniciativa de Pavelić, sus asociados establecieron asociaciones ustasha en Bélgica, Países Bajos, Francia, Alemania, Argentina, Uruguay, Bolivia, Brasil y América del Norte. Pavelić también alentó la publicación de revistas en varios países. Los atentados terroristas ustashas en Yugoslavia conllevaron una severa represión de la actividad política cuando el estado se enfrentó el terror con más terror. Los campesinos croatas empobrecidos fueron los más afectados por la lucha contra el terrorismo, generalmente aplicada por policías serbios.
En 1932 fundó un periódico llamado "Ustaša - -Heraldo de los revolucionarios croatas" (en croata: Ustaša - vijesnik hrvatskih revolucionaraca). Desde su primera publicación, Pavelić anunció que el uso de la violencia era fundamental para los ustashas: "La daga, el revólver, la ametralladora y la bomba de tiempo; estas son las campanas que anunciarán el amanecer y la resurrección del Estado Independiente de Croacia".
Según Ivo Goldstein, al principio no hubo casos de antisemitismo en el periódico. Goldstein sugiere que hubo tres razones para esto; el enfoque total de los ustashas en el gobierno de Belgrado, la falta de la capacidad intelectual necesaria dentro del primer movimiento Ustaše para desarrollar adecuadamente su ideología y la participación activa de judíos con los ustashas. Goldstein señala que a medida que la ideología ustasha se desarrolló en años posteriores, se volvió más antisemita.
En una reunión celebrada en Spittal en Austria en 1932, Pavelić, Perčec y Vjekoslav Servatzy decidieron iniciar un pequeño levantamiento. Comenzó a la medianoche del 6 de septiembre de 1932 y fue conocido como el levantamiento de Velebit. Dirigido por Andrija Artuković, involucró a unos 20 ustashas armados con equipo italiano. Atacaron una comisaría y media hora más tarde retrocedieron hasta Velebit sin víctimas. Este levantamiento fue para asustar a las autoridades yugoslavas. A pesar de la pequeña escala de la insurreción, las autoridades yugoslavas estaban desconcertadas porque se desconocía el poder de Ustaše. Como resultado, se introdujeron importantes medidas de seguridad. Esta acción apareció en la prensa extranjera, especialmente en Italia y Hungría.