这个决定对蒋介石而言并不轻松，早在1935年，受聘于中国政府的德国军事顾问团总顾问法肯豪森，关于抗日的战略和策略问题向蒋介石提出的建议中，就有利用江河阻敌的论点。保存在中国第二历史档案馆的这份建议书中文译稿上，有蒋介石对于"最后的战线为黄河，宜做有计划之人工泛滥，以增厚其防御力"一段的五字眉批:"最后的抵抗线"。1936年7月，法肯豪森第二次提出了决黄河以阻敌的建议。两年后，最终迫使蒋介石不得不做出这一艰难抉择的，是豫东战场节节失利的战况。
6月9日这一天，蒋介石在武汉对外国记者谈目前抗战形式的时候，这样说明:"现在的战局关键，不在一城一地之能否据守，最要紧的是一方面选择有利地区，以击破敌人主力，一方面在其他地区以及敌军后方，尽量消耗敌人的力量，……今后战事，即将转入山地与湖沼地域。"这似乎更像是一个关于决堤的信号。
花园口:三易其址的最终选择
6月9日的决堤放水，终于让花园口这个郑州北郊的偏僻地带，成为抗战史上抹不去的符号，但仔细追溯起来，当蒋介石定下"以水代兵"的决堤策略之后，首选却并非花园口，而是中牟县城北边25公里的赵口，东西距离开封、郑州均不到百里。最初的决堤行动由第53军的万福麟部执行，限定6月5日夜12点之前放水。
之所以选择在赵口决堤，曾专注于花园口决堤事件研究的学者渠长根向记者分析，"一是预计到决堤后河水将沿1843年(道光23年)决堤的旧路流动，顺贾鲁河道，经过河南中牟、尉氏、扶沟、西华、太康、鹿邑和安徽太和、阜阳、颍上、霍邱、亳州等县，十天左右到达周家口，会合沙河东流入淮。二是因为这一带地势较低，出水会比较顺利。更重要的是因为由此而下的这条水路基本上符合当前的军事形势，日军大部盘踞在这一带，黄水一旦放出，会把日军滞留在这片土地上。"
但赵口的决堤行动进行得非常不顺利，渠长根分析这是因为"事先对黄河的水势估计过大和对黄河堤质估计过松，同时决口开始的宽度太小"。后来在第一次决口以东30米处，作第二道决口，"起初水势迅猛，而后堤身在水力的涌动下不断颓塌阻塞，虽然多次悬赏，激励官兵加紧疏通，但是都没有奏效，又告失败。"
