化学において「二つの物質を完全に反応させる」とあると、どちらかが先になくなったりすることなく、二つとも余りなくちょうど反応するということですか？

どちらとも言えません。
何も条件設定していない化学反応式ならば、反応物はすべて使いきり余りません。

しかし、本来はどれか反応物がなくなった時点で反応しなくなるため、理論通りに反応物を用意しない限り余り物ができます。その場合、化学反応式の係数を参考に、余り物がどれくらいあるか引き算をします。
化学反応式は、係数が反応比になります。
反応物がなくなるまで反応し、反応物と同じ係数なら同じ物質量の生成物ができます。