民國以前，東北地區根本無艦隊可言。辛亥革命爆發以後，東北地區逐漸被張作霖奉系所掌控，作為起於草莽的陸軍軍官，張作霖對海軍建設長期沒有任何概念，直到第一次直奉戰爭中遭到直系軍閥艦隊的攻擊才開始萌生籌建東北海軍的想法。
第一次直奉戰爭慘敗，下決心整軍經武
1922年4月，直系、奉系為爭奪地盤和北京政府的控制權，矛盾不斷激化，終於兵戎相見。短短6天時間內，奉系大敗，傷亡慘重,「 士兵死於炮火之下者約 2 萬人，戰傷及逃亡者約 1 萬以上」,「其被圍繳械者竟近 4 萬人 」，此後直系軍閥獨自控制了北京政權。而張作霖幹脆於5月12日以奉軍總司令的名義宣布東三省「獨立」，並將東三省巡閱使署與奉天督軍署合並，組成東三省保安司令部，與北京政權分庭抗禮。
盡管奉系軍閥「聯省自治」的割據局面形成，但其在第一次直奉戰爭中的慘敗場景，讓張作霖深刻認識到，綠林式的奉軍舊式武裝,官兵愚昧無知,缺乏訓練，必須進行整頓和重建。於是，張作霖於1922年7月22日在奉天設立東三省陸軍整理處，作為「整軍經武」的最高執行機關，對東三省部隊進行全面整訓，裁汰出身草莽的舊軍官，大量起用東北講武堂等正規軍校畢業的年輕軍官，嚴格訓練、補充裝備，使得奉軍戰鬥力大大增強。
秦皇島遭遇艦炮轟擊，決心建立東北海軍
昔日奉軍慘敗之時，張作霖攜高級將領乘火車倉皇撤退, 途徑秦皇島時，直系海軍艦隊「 堵截奉系歸路 」，遭到「 海籌、海容等艦的猛烈炮擊 」，雖然張作霖僥幸逃回了山海關內，但京奉路山海關內外的奉軍,卻完全暴露在直軍艦艇大炮的射程之下，被動挨打，進退為谷,毫無還擊之力。當時，張作霖深感無海軍之苦，後悔當初未把海軍放在眼裏，以致遭此慘敗。
同時，東北地方治安混亂，黑龍江、松花江常有水匪岀 沒，「專在海面上劫奪輪船上的行旅、船貨」。東北江防雖有吉黑江防艦隊在江面上巡邏和防衛，但艦隊船只破舊，配備殘缺，武器裝備落後,只能勉強維持，故此根本無法保障商船的安全。同時，北面的蘇俄剛剛經歷內戰，大批白匪被紅軍追擊下湧入了中國東北地區，在黑龍江、烏蘇裏江、松花江流域騷擾劫掠，為禍甚烈,為了整治江上治安，防俄剿匪，張作霖決定借此番整軍經武，建立自己的海軍，控制海上主動權,也增強與直系軍閥較量時的對抗實力。
從無到有，東北海軍成為民國時期第一
1922年8月，成立東三省航警處，作為直屬於東三省保安總司令部 的八大處之一，下設總務、海事、軍需等科，以陸海軍人員聯合組成,籌建海軍事宜。1923年1月，奉系「在奉天省錦翠玉瓜島創設航警學校，專門訓練初級海軍軍官和士兵。1923年7月，奉系於奉天省城設江海防總指揮部，開始購買軍艦,始建海防艦隊。
東北海軍在初創時期只有江防艦隊，而且勢力遠不及其他軍閥。當時「直系占35艘軍艦，孫（傳芳）系11艘，段（祺瑞）系5艘，奉系4艘」。可見奉系當時僅有收歸後的幾艘江防艦艇，其海軍實力薄弱。 但東北海軍發展卻迅速,在不到4年的時間裏，就已「擁有大小船只21艘,約32200余噸，戰當時全國海軍總噸位的7/10,成為當時全國最為強大的海軍，其實力在軍閥中占有絕對的優勢。
