因商业欺诈被贸易伙伴告上法庭，得以解脱后，他已不能在土耳其发展，于是去了希腊。
扎哈罗夫在雅典待了将近4年，靠做各种零工为生。
其间，扎哈罗夫意外结识希腊政治家艾蒂内?斯科洛迪斯，后者对扎哈罗夫的能言善辩非常欣赏。
最后，人脉很广的斯科洛迪斯把扎哈罗夫介绍给瑞典枪械大师诺登菲尔德，充当其军火销售代理人。
扎哈罗夫得知这一消息后，激动得涕泪横流——他终于有机会施展自己的才能了。
1877年10月14日，扎哈罗夫正式就任诺登菲尔德自动武器公司贸易代表，开始了他最辉煌的职业生涯，尽管最初他的薪资为每周5英镑。这时，扎哈罗夫刚满28岁。
当时，俄国正联手罗马尼亚痛击土耳其，迫使土耳其苏丹承认保加利亚独立，所有巴尔干国家都看到土耳其帝国的崩溃指日可待，于是纷纷加强军备，以期攫取尽可能多的地盘。
1885年，扎哈罗夫将诺登菲尔德公司的蒸汽动力潜艇推销给希腊政府，然后又跑到希腊的敌人土耳其那里，危言耸听地让对方相信希腊潜艇正威胁他们，结果土耳其买了两艘。这不算完，扎哈罗夫又去告诉俄国人，土耳其的新潜艇会威胁俄国黑海舰队，于是俄国人也买了两艘。
不过，扎哈罗夫最大的传奇是和绰号“死亡镰刀”的马克沁机枪联系在一起的。19世纪80年代，马克沁开始与诺登菲尔德竞争自动武器市场，扎哈罗夫采取一系列手段加以阻挠，令马克沁机枪在国际招标市场上几次铩羽而归。
在领教了扎哈罗夫的厉害后，马克沁以可观的代价与诺登菲尔德合并。
在这一过程中，扎哈罗夫成功地同欧洲军工部门以及上层社交圈有影响力的人士建立关系，并成为新公司具有主导地位的推销员。
逐渐地，诺登菲尔德退出军火领域，扎哈罗夫取而代之，成为马克沁的合作伙伴。
尽管19世纪末频繁爆发的大战，如中日战争、美西战争、布尔战争等给军火商们提供了赚钱良机，扎哈罗夫最看重的却是俄国的订单，这主要是因为俄国军队规模是当时欧洲最大的，而且沙皇为军队花钱毫不吝惜。