关于吴俊升，东北民间至今还流传着一个说法：说此人是“黑熊转世”。传闻他十几岁时给一户李姓财主当“半拉子”长工，夏天干完活躺在大板车上睡觉。某夜财主出来解手，天黑看不真切，恍惚间见一头大黑熊趴在车上，吓得屁滚尿流拔腿就跑。
这事一传开， 当地人都说这小子是黑熊精下凡，后来传的更邪乎，说吴俊升打仗，子弹打在身上纷纷落地，抖抖衣裳哗啦啦掉一地弹头。
有人说，这个“黑熊转世”的传说，恰好道出了吴俊升在奉系军阀中安身立命的全部秘密：一副憨厚粗鲁的皮囊底下，藏着东北乱世里最实用的生存法则。

吴俊升，1863年生于奉天昌图一个贫苦农家，祖籍山东历城。幼年嘴部冻伤，说话吐字不清，人送外号“吴大舌头”。17岁入辽源捕盗营，从伙夫、马夫干起，20岁编入骑兵。凭着一股不要命的狠劲，到1908年已官至奉天后路巡防队统领、候补总兵，与张作霖、冯德麟、马龙潭并称“奉天四大军事重要人物”。
1907年，张作霖与马龙潭、冯德麟、吴俊升、孙烈臣、张景惠、汤玉麟、张作相八人互换兰谱结为兄弟。吴俊升排行老二，比排行第七的张作霖年长十二岁。谁也没想到，结拜时的誓言“不能同生，但愿同死”，这句江湖切口后来竟一语成谶。

辛亥革命后，张作霖一路升任奉天陆军27师中将师长，吴俊升却只做到洮辽镇守使。1916年张作霖升任奉天督军兼省长后，两人的差距进一步拉大。也就是从这个时候起，吴俊升开始“死心塌地追随张作霖”，这话翻译过来就是：他认清了形势，知道谁才是东北这盘棋上真正的操盘手。
1917年，张作霖将后路巡防营与骑兵第二旅合并为奉天陆军第29师，任命吴俊升为师长。1921年3月，又提拔他为黑龙江省督军兼省长。从此吴俊升成为奉系在黑龙江的封疆大吏，坐镇黑龙江七年之久。
在奉系内部的座次上，吴俊升通常被认为是仅次于张作霖、冯德麟的第三号人物。但这个排名需要细看——冯德麟后来与张作霖交恶，实际上被边缘化，而吴俊升始终稳居张作霖核心圈层。真正能和张作霖称得上“铁杆”的，吴俊升算一个，张作相算一个。

吴俊升对张作霖的价值，在两次关键时刻体现得淋漓尽致。
第一次是1922年第一次直奉战争奉系战败后，北京政府企图分裂奉军，任命吴俊升为奉天督军。这是取代张作霖名正言顺的机会——论资历、论实力，吴俊升都当之无愧。但他拒绝了，不仅如此，他还和张作霖一起宣布东三省独立，拥戴张作霖为东三省保安司令。
第二次是1925年郭松龄反奉。郭松龄率军直逼奉天，张作霖一度准备下野。关键时刻，吴俊升从黑龙江出兵，被委任为讨逆军总司令。他率骑兵直扑郭军司令部驻地白旗堡，先烧了郭军军械弹药和粮秣仓库，使郭军力穷势绌而溃败。可以说，没有吴俊升这支援军，张作霖能不能坐稳东北王的位置，要打个大大的问号。
但这并不意味着吴俊升对张作霖毫无保留地俯首帖耳。有一个细节很能说明问题：有一年吴俊升到帅府拜年，要给张作霖的儿女们每人一千元压岁钱。张作霖当场翻脸大骂：“扯他妈拉巴子这个干什么？有这精神头儿，把黑龙江的事儿整好，比什么都强。”吴俊升挨了骂，立即磕头认错，乖乖退了出去。
这场面看上去是吴俊升被训得服服帖帖，但仔细想——一个真正被完全掌控的下属，需要大帅用当众辱骂的方式来敲打吗？张作霖骂得越狠，恰恰说明吴俊升在黑龙江的势力已经大到让他必须时不时敲打一下的程度。吴俊升表面恭顺，实则精明，他那副“吴大舌头”的憨厚模样，未尝不是最好的保护色。

吴俊升的贪婪在当时是出了名的。他在东北各地大肆购置田产房产，资产之巨，甚至超过张作霖，民间一度有“吴俊升是东北首富”的说法。他曾放话：“有我在，张作霖还当不了东北首富！”
1928年5月，奉军被北伐军击败，张作霖决定撤军出关。6月3日，张作霖乘专车离京。吴俊升闻讯，亲自远迎至山海关，随后二人同乘一节车厢返回奉天。6月4日清晨5时30分许，列车行至皇姑屯附近的京奉、南满铁路交叉处三洞桥时，日本关东军引爆了预埋的120公斤TNT炸药，吴俊升被铁路道钉穿入脑部，当场丧命，时年65岁。张作霖被炸成重伤，抬回帅府后于上午9时30分不治身亡。
吴俊升之死，在奉系内部一度引发了权力真空的恐慌。他死后，黑龙江军务督办和省长两个职位同时空缺，黑龙江形势一度混乱。由于吴俊升在黑龙江经营多年，势力根深蒂固，继任者只能在吴氏亲族和部属中产生——这说明吴俊升在黑龙江已经建立起了一套独立于张作霖嫡系之外的人事体系。

民国各界对吴俊升的评价，毁誉参半。
正面看，他两次率兵平定叛乱——1912年击溃日军偷运军火、挫败日本策动的第一次“满蒙独立”运动，以及平定蒙古札萨克图王乌泰叛乱——客观上打击了日俄帝国主义分裂中国的阴谋，在维护国家统一这一点上，史志给出了肯定。
但更多的评价集中在他的残暴与贪婪上。他素以“残暴、愚昧”受人诟病，一生“暴虐无道”，“貌似憨厚，实则狡黠”——这大概是对他最准确的概括。