大业十三年七月二十二日，李渊发布命令，建太原将军府，自任大将军，命李世民为右军大都督，统领前军，李建成为左军大都督，统领后军，刘文静为行军先锋，五万大军打着保民的旗号南下长安。李元吉被任命为中军大都督，坐镇晋阳，段举为晋阳守备，武显扬为晋阳副守备，独孤士极为晋阳长史，协助李元吉守城。

段举此前与李元吉打过不少交道，觉得他任侠仗义、勇武果断，与李世民颇为相像，只是李世民沉稳，元吉有些冲动张扬。李元吉早就发觉段举人才难得，多次找他喝酒打猎，想拉拢私交。段举处事很有分寸，既然已经心许李世民，自然不与李元吉过从太密，李元吉见收不住他，也不勉强，现在二人奉命留守晋阳城，皆一心一意合力保护城池。

李渊与突厥达成了协议，但突厥骑兵只有部分返回了漠南草原，沙钵略大可汗的牙帐依然扎在白石谷，李元吉十分紧张。原驻晋阳的兵力大部随李渊南下，城中只剩下不到三千守兵，李元吉按照李渊的嘱托，命马邑和楼烦的守军携家眷迁入晋阳，周围三郡百姓愿意入城的，全部放进城中安置，棋盘山的盗匪被窦琮招降，也弃了营寨进入城中，李元吉在入城的男丁中募兵训练，一时之间凑足一万人马。段举提出把棋盘山的队伍编入旧军，以老兵带新兵，实北虚南，加高北面的城墙，增厚箭垛，防备突厥袭城，李元吉全部采纳，他自己亲自训练兵丁，命段举全权督工加高城墙。

李元吉此刻最担心的，是城中多了三四万兵民，但粮草将尽。太原天凉地薄，作物一年只有一熟，又不断受突厥袭扰，百姓辛勤耕种一季，所获仅够自家糊口，无力养活过多军兵，太原守军的粮草多是从关中、河东等地运来，兵乱后粮路被断，已经四个月没有粮草接济。好在秋粮将熟，城北的庄稼都被突厥的马队蹋倒，绝了收成，东西两面和南面受的损失较小，百姓可出城收割，但每到秋熟，也正是突厥人成群结伙来抢粮的时候，李元吉派出精兵护卫百姓收割，命晋阳兵备副使武显扬带队护卫东门抢收，他亲自带一千军兵巡查西门，每天辰时开城，申时闭城，庄稼在割下后连着秸秆运进城中，七成归百姓，三成归官府。

段举负责修城，每天忙得没空回家，这天，加固城墙的工程收了工，他终于能抽身回家看看夫人和孩子。夫人见他回家，忙下厨准备吃的，儿子忠恕刚刚两岁，见到父亲，高兴得扑到他怀里，段举使劲亲着儿子的小脸，胡子扎得忠恕直叫。

父子俩正在亲昵，守备府的随营校尉周大泽急匆匆闯了进来，段举见他神色慌急，忙问出了什么事，周大泽从怀里掏出一片熟制过的羊皮，说是从一个突厥细作身上搜出来的。段举接过，只见羊皮上写着一种古怪的文字，自左向右横着写的，像是突厥文，但一个也不认识。

周大泽说细作是巡城的官兵在昨天下午抓到的，他打扮成汉人，混在收粮回城的百姓中，官兵觉得他神色可疑，就截住盘问，周围的百姓无一识得此人，就把他带往守备府盘问，那人说自己是马邑城里的百姓，想进入晋阳城避难，这些都无从查证，守卫暂且把他关了起来，准备今天再审，早晨却发现这人被杀死在囚屋中，脖颈被人一刀砍断，守卫搜索了整个守备府，也没抓到刺客，周大泽觉得事情不简单，又重新搜细作的身，发觉这一张羊皮被缝制在贴身的衣服衬里，立刻持来报告段举。

段举一听觉得事态严重，已可断定那人是突厥的细作，潜入晋阳要传达消息，偶然被截了下来，城内与突厥勾结的人怕细作招认，连夜刺死了他，可能由于夜黑，没有发现这张羊皮。突厥在城内布有探子并不奇怪，没探子反而不正常，可怕的是细作在戒备森严的守备府里被杀了，杀人者能悄无声息地在守备府作案，绝非寻常人等，很可能就是守备府里的官员，还可能并非独自一人，须尽快把这些人探明铲除。

段举问周大泽，还有多少人知道此事，周大泽回答说守备府里的人都知道了。段举心中暗暗责备周大泽不慎重，刺客多半就隐藏在守备府里，现在一举一动都被他们掌握，只怕查不出什么来，眼下只有尽快知晓这张羊皮上写了什么，也许会有刺客的信息。

段举对周大泽道“你立刻派人去东门，请武副使回守备府，你亲自去西门面见李都督，就说有要事，请他回城。”李都督就是李元吉，他正亲自在西门护粮，周大泽领命去了。段举又叫府里的老家人去请守备府的许师爷，太原三郡会说突厥话的人不少，但认识突厥文的，除了城外大云寺的智方和尚，就是这个许师爷。忠恕偎在父亲怀里，见他对着一片羊皮沉思，也不敢吭声。

段举心里焦急，正在猜想暗通突厥的会是谁，忽然听到一人在府门外大叫“老段，老段，快快出来迎接”段举大喜，把羊皮揣到怀中，抱着忠恕就迎了出去，来人二十来岁，面目英俊，一身武生打扮，见到段举，扑上来捣了他一拳，又抢过忠恕举到头顶“这肯定是儿子了，先看看儿子像我不，啧啧，长得真英俊，像我小时模样。”段举骂道“一来就胡说八道，你嫂子在后面，听到会不高兴。”那人笑道“什么我嫂子我嫂子就是你嫂子，咱们说过福祸共享的，我有好嫂子你也跟着沾光。”段举求饶道“士极，口下留德，请您老先进屋去。”