連邦参議院は州の代表機関であり、連邦議会にならぶ一種の第二院である。連邦参議院はすべての連邦法を審議しなくてはならない。州の議院である連邦参議院は、他の連邦国家では上院と呼ばれることの多い第二院と同じ機能を有する。連邦参議院には各州政府の代表だけが所属する。各州の表決権の配分は州の人口に応じて決められるが、厳格に比例するわけではなく、すべての州が少なくとも３票をもち、人口の多い州は最高６票までを持つ。

連邦参議院は連邦法の成立に参画する。その点で他の連邦国家の第二院とは異なる。基本法は２種類の参画を規定している。州に新たな行政費用を発生させる連邦法、あるいは既存の州法に代わる連邦法の制定には、連邦参議院の同意が義務づけられており、連邦議会の法決議が効力を持つためには、連邦参議院の同意が必要である。この点で連邦参議院は連邦議会と同等の立法機関として位置づけられている。現在ではすべての法決議のほぼ半数に参議院の同意が義務づけられている。基本的に連邦法は州の行政により執行されているため、最も重要な、また財政負担の大きな法律は各州の行政主権に関わるのである。連邦参議院の同意を要するこれらの法律と、連邦参議院が「異議を申し立てることができる法律」とは別のものである。連邦参議院は後者の法律を拒否できるが、連邦議会はこの異議申し立てを連邦参議院と同じ多数、つまり単純多数、あるいは３分の２の多数、後者の場合すくなくとも連邦議会総数の過半数（絶対多数）で、却下できるのである。

2006年9月以降、連邦制改革によって、連邦と各州の管轄範囲が改められている。この改革は、連邦と各州の行動力と決定力を改善し、政治責任を明確にすることを目指したものである。