先秦时期，连接中国东西方交流的通道已经存在，丝绸正式西传始于西汉通西域，丝绸之路真正形成始于西汉张骞凿空。这个时期，丝绸的传播源、传播的目的地、传播的路线都非常清楚，有史可依，有据可查，传播的数量也非常大，东西方是有计划、甚至是有组织的进行丝绸贸易，所以丝绸之路真正开辟于西汉武帝时期。

西汉时，阳关和玉门关以西即今新疆乃至更远的地方，称作西域。西汉初期，联络东西方的通道被匈奴所阻。汉武帝时，中原始与西域相通，开始加强对西域的经略。西域本三十六个国，后来至五十多个，都位于匈奴之西，乌孙之南。

汉武帝听说被匈奴侵犯西迁的大月氏有报复匈奴之意，就派人出使大月氏，联络他们东西夹攻匈奴。陕西汉中人张骞以郎应募。建元二年（前139年），张骞率领100余人向西域进发，途中被匈奴俘获，滞留了10年，终于寻机逃脱，西行数十日到达大宛。

这时大月氏已不想攻打匈奴而继续西迁，张骞没有达到目的，在西域待了一年多东返，途中又被匈奴扣留了一年多，后适逢匈奴单于死，国内大乱，元朔三年（前126年），张骞趁机回到大汉，受到汉武帝的热情接待，被封为太中大夫。此次西行前后达10余年，虽未达到目的，但获得了大量西域的资料，史学家司马迁称张骞此行为“凿空”。

张骞归国后，汉武帝曾遣使探求通过罗马开辟一条不经匈奴而到大夏的交通线，但是没有成功。后来汉军击败匈奴，取得了河西走廊地区，打通了西汉与西域之间的通道。霍去病在祁连山大破匈奴后，张骞建议联络西域强国乌孙，以断匈奴右臂。

元狩四年（前119年），张骞再次出使西域，目的是招引乌孙回河西故地，并与西域各国联系。张骞到乌孙，未达目的，于元鼎二年（前115年）偕同乌孙使者返抵长安，被张骞派往西域其他国家的副使也陆续回国。乌孙使者见大汉人众富厚，回国归报后乌孙渐渐与大汉交往密切，其后数年，张骞通使大夏，从此，西汉与西北诸国开始联系频繁起来，张骞凿空西域，丝绸之路正式开通，汉武帝以军功封其为博望侯。

但是，西域诸国仍未完全摆脱匈奴的控制，楼兰、车师等国在匈奴的策动下，经常劫掠西汉派往西域的使臣和商队。为了确保西域通道，元封三年（前108年），汉将王恢率骑兵击破楼兰，赵破奴率军击破车师。元封六年（前105年），西汉又与乌孙王和亲，联合挟制匈奴。

同时为了打破匈奴对大宛的控制并取得大宛的优秀马种汗血马，汉武帝派李广利领兵数次进攻大宛（今乌兹别克斯坦），在付出沉重代价后，攻破大宛都城，使西汉在西域的声威大振，确保了西域通道的安全。通往西域的“丝绸之路”，至此畅通。

汉武帝太初四年（前101年），汉武帝在轮台（今轮台县东南）和渠犁（今库尔勒县西南）设立了使者校尉，管理西域的屯田事务。这是西汉政府在西域第一次设置的官吏。此后，西汉政府就在西域建立了根据地。

汉宣帝神爵二年（前60年），匈奴日逐王先贤掸率众投降，西汉政府取得了对匈奴战争的最终胜利，设置了西域都护府，这是中央王朝在葱岭以东，今巴尔喀什湖以南广大地区正式设置行政机构的开端。

从此，今新疆地区开始隶属中央的管辖，成为中国不可分割的一部分。西汉政府在西域设置常驻官员，派士卒屯田，设校尉统领保护，使汉族同新疆少数民族交往更加密切。汉朝在西域设立西域都护府为标志，丝绸之路这条东西从西汉方交流之路开始进入繁荣时代。

佛教第一次传入中国，也始于丝绸之路。汉哀帝元寿元年（前2年），西域大月氏使臣伊存来朝，在帝都长安向中国博士景卢口授《浮屠经》。从此佛教正式开始传入中国，史称这一佛教初传历史标志为“伊存授经”。1998年正因为如此，经过中央有关部门的批准，中国佛教协会和中国宗教学会举行了各种形式的“中国佛教两千年纪念活动”。

天凤三年（16年），西域诸国断绝了与新莽政权的联系，丝绸之路中断。