当了上大夫以后，始终保持着爱民思想，他勤勉政事，劳累不坐车，酷暑炎热不打伞，走遍国中，不用随从的车辆，不带武装防卫，深得秦国人民的信赖。
对内，则提倡教化，开启民智，也就是精神文明，按照周朝的官制和朝仪，百里奚改变了秦国落后的国体；对外，搞好与邻国的关系，不兴战事，使秦国短期内大治。
有一次，百里奚的相府觥筹交错，宾主笑语频频，非常热闹。百里奚交待歌舞者奏乐演唱举办堂会，来款待客人。在相府内一个洗衣服的女佣听到乐器声后，主动要求为上大夫百里奚演奏一曲，百里奚欣然表示同意。那老妇人走到大庭广众之下，落落大方地援琴抚弦，自弹自唱道：
百里奚，五羊皮。忆别时，烹伏雌，炊扊扅，今日富贵忘我为。百里奚，初娶我时五羊皮。临当别时烹乳鸡，今适富贵忘我为。百里奚，百里奚，母已死，葬南溪。坟以瓦，覆以柴，舂黄黎。搤伏鸡。西入秦，五羖皮，今日富贵捐我为。
听着这委婉幽怨，耐人寻味，字字真切的歌声，百里奚大为惊讶，就上前去询问，方才知道原来是自己的结发妻子杜氏千里寻夫来到了眼前。
百里奚妻杜氏自丈夫离别之后，几十年杳无音讯。家境贫困，又逢上灾荒年景，就带上儿子外出逃荒。杜氏讨饭到秦国，打听到百里奚已经在秦国当了大夫。为了能接近百里奚，她设法到百里奚府中当了洗衣的佣人。
相堂之上相认后，夫妻两人抱头痛哭起来。秦国人知道这件事情以后，很为百里奚的品质所感动。秦穆公还派人送来了许多财宝馈赠，以示祝贺。
在百里奚辅佐治理下，秦国逐渐强大起来。而作为秦晋之好的友邦晋国却经历了几次大的国内动荡。
公元前651年，晋献公去世，晋献公的妃子郦姬想让自己的儿子奚齐继位，不久就被大臣里克杀死。国君也没有了继承者。晋献公病逝后，晋国的嗣位成为保持大周时局稳定的大问题。百里奚在搞好自己的国内政治前提下，带兵护送公子夷吾归国继位，称为晋惠公。
夷吾荒淫无道，还对外无信义，不兑现将河西八城割给秦国的许诺，秦晋两国关系出现裂痕。
公元前648年，晋国遭受了严重自然灾害，百里奚说：“福祸各有轮替，再说，秦国借粮给晋国，也不是给夷吾一人，而是为了晋国的黎民。”于是，秦穆公同意通过水道运了大量粟米给晋。这次人道主义的义举，征服了晋国的人心，史称“泛舟之役”。
到了公元前646年，秦国也发生饥荒，晋国却不仅不给秦国粮食救灾，反而出兵攻秦。第二年，秦晋两国在韩原展开决战，经过数日激烈较量，双方死伤惨重，秦军最终胜利，并生俘晋惠公。
为了给秦国发展争取好的外部环境，百里奚主张不杀晋惠公，保持秦晋友好关系。在穆姬以死相威胁的情况下，秦穆公同意放晋惠公归国。
公元前637年，晋惠公死后。百里奚又辅佐秦穆公设法从楚国把晋国公子重耳接到秦国，并将重耳送回国，驱逐晋惠公的儿子子圉，立重耳为君，史称晋文公。
在百里奚辅佐秦穆公争霸的过程中，还经历了周王室之乱。公元前636年，周的京都洛阳发生战乱，周襄王避难到竹川。百里奚劝秦穆公把周襄王接到秦国，乘机称霸。由于秦穆公担心夹在中间的晋国阻拦，半途而废，拱手让给了晋文公。
晋文公称霸以后，百里奚继续着手修复秦晋之间的友好关系，开始共同征伐附近与楚国结盟的小国曹国、卫国和郑国。公元前632年，秦晋军队在城濮打败了进犯中原的楚国军队，使楚国领兵的最高军政长官令尹子玉自杀。秦国成为继晋国以后，北方最具实力的强国。