Mariotaku 大神已经帮我解决了这个问题。根据他写的思路我整理了一下：

首先我把一个撑满整个屏幕的 RelativeLayout 的 gravity 设为 center，然后整个 card 放在里面自然居中。Card 里面放三个 View，分别是 header，中间的 ScrollView 和 footer。

Card 部分自己实现，且称之为 CardLayout：

class CardLayout extends ViewGroup {

    @Override
    protected void onMeasure(int widthMeasureSpec, int heightMeasureSpec) {

        int w = MeasureSpec.getSize(widthMeasureSpec);
        int h = MeasureSpec.getSize(heightMeasureSpec);

        // measure 一下 card header
        measureChild(getChildAt(0), widthMeasureSpec, heightMeasureSpec);
        // measure 一下 card footer
        measureChild(getChildAt(2), widthMeasureSpec, heightMeasureSpec);

        // 计算 card content 部分最大可占用的高度
        int cardMaxHeight = h - getChildAt(0).getMeasuredHeight() - getChildAt(2).getMeasuredHeight();

        // measure 一下 card content
        measureChild(getChildAt(1), getChildMeasureSpec(widthMeasureSpec, 0, w), getChildMeasureSpec(MeasureSpec.makeMeasureSpec(cardMaxHeight, MeasureSpec.AT_MOST), 0, cardMaxHeight));

        // 整个 card 的高度
        setMeasuredDimension(w, getChildAt(0).getMeasuredHeight() + getChildAt(1).getMeasuredHeight() + getChildAt(2).getMeasuredHeight());

    }

    @Override
    protected void onLayout(boolean changed, int l, int t, int r, int b) {
        // 将三个 child 分别 layout
        getChildAt(0).layout(0, 0, getChildAt(0).getMeasuredWidth(), getChildAt(0).getMeasuredHeight());
        getChildAt(1).layout(0, getChildAt(0).getBottom(), getChildAt(1).getMeasuredWidth(), getChildAt(0).getBottom() + getChildAt(1).getMeasuredHeight());
        getChildAt(2).layout(0, getChildAt(1).getBottom(), getChildAt(2).getMeasuredWidth(), getChildAt(1).getBottom() + getChildAt(2).getMeasuredHeight());
    }
        
}

厉害，过来膜拜一下了