縄文時代の遺跡は、北部山間地域から市中央部の複合沖積原低湿地にかけて散在的に分布する。とくに黒平・御岳・猪狩など荒川上流の奥深い山間地域では、遺跡は約8500年前の早期から始まり、中期に極盛期を迎え、約4500年前の後期初頭を最後に消滅した状況が確認されている。
いずれの遺跡も小規模で短期間に営まれており、居住本拠地から離れて一時的な採集・狩猟活動を行うための拠点と考えられている。低湿地の遺跡も中期に増加し、後期初頭から急激に減少するが、上石田遺跡では遺物散布地が広範囲に及び、時期的に連続した遺物が大量に発掘されたことから、生活の本拠地として定住生活が行われたことがわかる。この遺跡では漁網の錘も出土し、河川での漁労活動が想定される。また後期中葉の上阿原町の塚越遺跡は後背低地に立地しており、湿地を利用した生業活動の開始を示唆している。弥生時代の遺跡発見例は少なく、荒川などの自然堤防や氾濫原の微高地上に立地している。増坪遺跡からは炭化米が出土しているが、水田跡は発見されていない。千塚の榎田遺跡では後期の住居跡三軒が検出され、朝気遺跡からはガラス小玉を副葬した土器棺墓が出土した。後者は集落内での階層分化を示している。
なお市域からは長野方面と東海地方の文化的影響を受けた土器が混在して発見されており、弥生文化の流入に二つの経路があったことがわかる。
四世紀には甲府盆地で古墳の築造が始まるが、榎田・桜井畑の両遺跡では弥生時代の墓制である方形周溝墓の造営が続けられている。市域では古墳時代前期にさかのぼる確実な古頃は確認されていないが、和戸町内にかつて存在した琵琶塚古墳・太神さん古墳は全長三五メートル前後の前方後円墳と推定され、前期古墳の可能性が高い。六世紀中頃には超大型横穴式石室をもった万寿森古墳・加牟那塚古墳が湯村山周辺に造られ、甲府盆地でも一、二を争う政治勢力の台頭がうかがわれる。市域では220基を超える古墳が知られているが、大部分は六世紀後半から七世紀前半の築造で、東部の里垣・甲運地区と西部の湯村・干塚地区に集中する。とくに甲運地区の山麓部に分布する横根・桜井積石塚古墳群は142基を数え、標石塚古墳群としては全国二位の規模を誇る。
（この古墳は風化と崩壊が進んでいて、原形を留めるものは少ない。）
同地区には土師器の生産で名高い大坪遺跡や古代寺院に瓦を供給した川田瓦窯跡・上土器遺跡、白鳳時代の小金銅仏を出土した東畑遺跡が存在することから、工人や渡来人の集住が推定されている。積石塚古墳群はこうした特殊な集団の墓とも考えられる。