O efeito de máscara é aplicado de forma semelhante ao efeito de linha guia. Você cria uma camada sobre outra, e faz a camada de cima modificar a de baixo.
No caso da máscara, não importa muito o que você vai fazer na camada de baixo. Pode ser uma animação, um cenário parado, um movie clip. Tanto faz. A camada de cima, que contém a máscara, vai (obviamente) mascarar o conteúdo da camada de baixo.
Só que tem um detalhe: uma máscara costuma esconder o que está por trás dela. No Flash é ao contrário: a máscara revela só o que está por trás dela.
Vamos à prática.
Primeiro faça qualquer desenho. Não é necessário animá-lo. Procure ocupar toda a tela com seu desenho.
A seguir, crie uma camada acima da inicial. Esta será a camada da máscara. Desenhe algo na camada da máscara. Este desenho deve ter a forma que você quer dar à máscara, isto é, deve funcionar como um filtro em relação à camada de baixo.
Agora clique com o botão direito sobre a camada da máscara e escolha máscara. Você vai ver que parte do conteúdo da camada de baixo sumiu.
Este é efeito da máscara.
Agora podemos sofisticar um pouco a coisa. Repare que aparecem uns cadeados sobre as camadas.

Para editar as camadas depois de aplicada a máscara, você deve clicar sobre os cadeados, de forma a liberar as camadas para edição.
Agora você pode, por exemplo, animar a camada da máscara, procedendo exatamente como mostra a Guia de transição de movimento: isto é, transformando o objeto em símbolo, inserindo um quadro chave no futuro, e fazendo a transição. Sua linha do tempo vai ficar assim:
Agora estenda a presença do desenho da camada de baixo até o quadro 20, para que a máscara continue funcionando. Para isso, clique no quadro 20, na camada desenho, e insira um quadro (frame). Para isso, você pode teclar F5.
Sua linha do tempo agora ficou assim:
Para testar o efeito, tecle CTRL+ENTER e veja o resultado.
Você pode sofisticar um pouco mais a sua animação com efeito de máscara se quiser animar também a camada do desenho. Sua linha do tempo ficaria com uma animação em cada camada:
Lembre-se que teclar somente o ENTER não mostra o resultado da máscara. Você tem que teclar CTRL+ENTER para ver se o efeito deu certo.
Você pode mesmo fazer a animação da máscara dentro de um movie clip e colocá-lo na camada com a máscara. Aliás, se quiser combinar os efeitos de máscara e linha guia, terá que fazer isso: a animação da máscara terá quer ser feita numa linha de tempo separada, isto é, dentro de um movie clip.
Tente fazer isso, e tire suas dúvidas com o professor.