在c#中使用排序字典从优先级队列中取出队列

我有一个排序字典的形式:

SortedDictionary<PriorityType, List<T>> dictionary;

其中priitytype是一个enum类。

现在我正试图使优先队列方法，但我有关于我的Dequeue方法是否会工作的忧虑。

public T Dequeue()
    {
        if (IsEmpty())
        {
            throw new Exception("The Priority Queue is empty! Dequeuing is not possible!");
        }
        var highestPriorityList = dictionary[dictionary.Keys.First()];
        var topElement = highestPriorityList.FirstOrDefault();
        if (highestPriorityList.Count == 0)
        {
            dictionary.Remove(dictionary.Keys.First());
        }
        highestPriorityList.RemoveAt(0);
        return topElement;
    }

请帮我改进一下这个方法!

注意:Dequeue()方法应该移除并返回优先级最高的对象，并且在具有相同优先级的其他元素之前。

public T Dequeue()
    {
        var highestPriorityList = dictionary[dictionary.Keys.First()];
        if (highestPriorityList.Count == 0)
        {
            dictionary.Remove(dictionary.Keys.First());
        }
        var topElement = highestPriorityList.First();
        highestPriorityList.Remove(topElement);
        return topElement;
    }