The effect of reinforcement and time on choice

Abstract

In natural environments, most animals survive because they learn to respond appropriately to cues that signal the availability of food, a mate, or a predator. Sometimes there is more than one cue signaling the same outcome, and oftentimes these cues can change and become less reliable. In the laboratory, discrimination reversal tasks are good tests of behavioral adaptability to regularly changing environments. In this series of studies, we explore the determinants and the dynamics of behavior when time and the outcome of the previous response simultaneously signal the availability of a potential reinforcer. Hence, we analyzed the performance of rats and pigeons in different versions of the midsession reversal task. The traditional task consists of a simple simultaneous discrimination where responses to one stimulus are reinforced and responses to the other stimulus are not and, once throughout the session, contingencies reverse and the previously reinforced stimulus is now extinguished and vice versa. We used this task because it allows the independent manipulation of time and response outcomes as cues for future reinforcement: We manipulated the reliability of the outcomes by providing either continuous or partial reinforcement for each response alternative and manipulated the reliability of time by fixing the moment of reversal or making it unpredictable. Results suggest that behavioral control alternates between outcomes and time according to the relative reliability of each cue. Simple mathematical model simulations show that outcomes and time may jointly determine behavior, and that momentary reinforcement rate may determine their relative influence. We offer a general account of how animals may adapt to regularly changing environments.

Em seu ambiente natural, a maioria dos animais consegue sobreviver porque aprende a responder de maneira adequada a dicas que sinalizam a disponibilidade de comida, a possibilidade de acasalamento ou a presença de predadores. Às vezes, mais de uma dica sinaliza a mesma consequência e, frequentemente, essas dicas podem mudar e se tornar menos confiáveis. No laboratório, tarefas de inversão de discriminação são bons testes da adaptabilidade comportamental a ambientes que mudam regularmente. Nesta série de estudos, exploramos os determinantes e as dinâmicas do comportamento quando tempo e a consequência da resposta indicam simultaneamente a disponibilidade de um reforçador em potencial. Assim, analisamos o desempenho de ratos e pombos em diferentes versões da tarefa de inversão ao meio da sessão (midsession reversal task). A tarefa tradicional consiste em uma discriminação simples simultânea em que respostas a um estímulo são reforçadas e respostas ao outro estímulo não são e, uma vez durante a sessão, as contingências são invertidas e o estímulo que sinalizava reforço agora sinaliza extinção e vice-versa. Utilizamos essa tarefa porque permite a manipulação independente do tempo e das consequências das respostas como dicas para o reforçamento futuro: Manipulamos a confiabilidade das consequências ao disponibilizar reforçamento contínuo ou parcial para cada alternativa e manipulamos a confiabilidade do tempo mantendo o momento de inversão fixo ou imprevisível. Os resultados sugerem que o controle comportamental varia entre as consequências e o tempo, de acordo com a relativa confiabilidade de cada dica. Simulações simples de modelos matemáticos mostram que as consequências e o tempo podem determinar o comportamento em conjunto, e que a taxa local de reforço pode determinar sua influência relativa. Oferecemos uma descrição geral de como animais se adaptam a ambientes que mudam regulamente.