海林市历史悠久，自旧石器晚期起，就有人类生息繁衍，商周时期就是中原版图国，向中原纳贡。有资料和文献记载，商周时，曾向中原进贡石弩、貂皮、海东青等名贵物品。汉晋以来，虽多以土著民族自治，但多受中原册封，汉时设郡，唐宋袭承汉制，明代设卫和司，明朝中叶以后设都督，皆是中原王朝封爵。清代满族入主中原，这里便设昂邦章京，宁古塔将军等衙门，成为东北长白山以北，黑龙江流域及库页岛一带大片疆域的军政中心。

海林市原名海林县，系由新海、五林二县合并时，各取原县名称的后一个字而得名。清代，属宁古塔副都统辖区。清末民初，先后隶属宁安府和宁安县管辖。1945年“九三”抗日战争胜利后，1946年8月15日，将宁安县北部新安镇、海林、横道河子、山市等地区划出，设置新海县，县政府驻海林。初隶绥宁省，后改隶牡丹江专区、牡丹江省，再改隶松江省。1948年10月4日，松江省政府决定，将五林县与新海县合并为海林县，县政府驻牡丹江市内，由松江省直辖。1954年8月，松、黑两省合并后，由黑龙江省直辖。

1956年3月6日，国务院决定，撤销海林县，将原海林县所属区域分别划归宁安县、林口县和牡丹江市。1962年10月20日，国务院决定，恢复海林县，将原海林县划给宁安县的海林、横道河子、长汀、海南、石河、新安、旧街7个乡镇和原海林县划给林口县的柴河、二道河子、三道河子3个乡镇划为海林县的行政区域。县人民委员会驻海林镇，隶属牡丹江专区管辖。1983年9月3日，牡丹江地区撤销后，划归牡丹江市领导。1992年7月28日，国务院批准，撤销海林县，设立海林市（县级）。由牡丹江市代管。

1992年末，海林市位于黑龙江省东南部，张广才岭主脉东侧。是黑龙江省主要林业基地之一。市境西以张广才岭主脉与五常县、尚志市分界，北与方正县、林口县毗连，东与林口县、牡丹江市接壤，南与宁安县为邻，西南与吉林省敦化市以分水岭为界。全市总面积9570平方千米。总人口44.6万人，其中非农业人口23.6万人，占总人口的52.9%；满、朝鲜、回族等少数民族人口3.9万人，占总人口的12.2%。辖7镇、5乡。市政府驻地海林镇。（以上摘自《黑龙江省志•地名录》，有改动）

1996年，海林市面积9877.8平方千米，人口约43.5万人。辖7镇、5乡：海林镇、长汀镇、柴河镇、横道河子镇、山市镇、二道河子镇、新安朝鲜族镇、旧街乡、石河乡、新合乡、三道河子乡、海南朝鲜族乡。市政府驻海林镇。

2000年第五次人口普查，海林市总人口435677人，其中：海林镇103511人，长汀镇16118人，横道河子镇18980人，山市镇19932人，柴河镇26281人，二道河镇14285人，新安朝鲜族镇18909人，三道河子镇10666人，旧街乡16424人，石河乡12954人，新合乡27767人，海南朝鲜族乡18792人，海林农场7742人，山市种奶牛场6868人，大海林林业局43479人，海林林业局17873人，柴河林业局55096人。

2001年乡镇区域化调整，旧街乡合并到长汀镇。

2005年，海林市辖8个镇、1个乡：海林镇、长汀镇、横道镇、山市镇、柴河镇、二道镇、新安朝鲜族镇、三道镇、海南朝鲜族乡。境内还有大海林林业局、海林林业局、柴河林业局等。

2009年，《黑龙江省民政厅关于调整牡丹江市部分行政区划的批复》（黑民区[2009]121号）：同意将海林市所辖的海南朝鲜族乡整建制划归牡丹江市西安区管辖（2010年5月19日正式实施）。