Descrição

Para exibir os dados, primeiramente somamos as palavras em todos os textos e definimos um valor de corte, que representará a quantidade de palavras que serão exibidas nas análises realizadas no trabalho.

## Descritiva geral
ma <- as.matrix(dtm)
freqs <- sort(colSums(ma), decreasing = TRUE)
corte <- quantile(freqs, probs = 0.99)
corte

## 99% 
##  24

ou seja, definimos que apenas 0,01 % das palavras (já higienizadas) serão importantes para exprimir a informação contida no texto, isso significa que trabalharemos apenas com palavras, cuja a frequência seja superior à 24. Como veremos adiante essa percentagem é relevante quando se trabalha com texto. Abaixo temos as frequências das 13 palavras consideradas.

library(lattice)
library(latticeExtra)

barchart(co ~ seq_along(co),
         data = data.frame(co = freqs[freqs > corte]),
         axis = axis.grid,
         horizontal = FALSE,
         scales = list(
             x = list(rot = 45, labels = names(freqs)[freqs > corte])),
         panel = function(x, y, ...) {
             panel.barchart(x, y, ...)
             panel.text(x, y + 2, y)
         })

Nuvem de palavras

Como análise descritiva, mas que também serve para algumas tomadas de decisão temos a representação de nuvem de palavras, mas conhecida como wordcloud do inglês. Abaixo temos a nuvem gerada com os reviews do filme rei Leão.

## Nuvem de palavras
library(wordcloud)
paleta <- brewer.pal(9, "Blues")[-(1:4)]
wordcloud(words = names(freqs),
          freq = freqs,
          min.freq = 5,
          random.order = F,
          colors = paleta,
          vfont = c("serif", "plain"))

Note que temos poucas palavras destacadas no centro da nuvem com cores mais escuras, ou seja, as que foram escritas mais vezes. Como dito anteriormente, em análise de textos são poucas as palavras que trazem informação relevante sobre o texto como um todo.

Associação de palavras

Outra ferramente muito útil para análise de texto é o estudo de palavras correlacionadas ou associadas. Isso é de extrema relevância por algumas palavras ganham outro sentido caso sejam precedidas ou sucedidas por outras. Suponha, por exemplo em português, que a palavra muito tenha sido destacada com uma frequência alta, se ela estiver fortemente relacionada com a palavra bom é um indicativo positivo do objeto em análise, mas caso esteja relacionada com a palavra curto a interpretação é diferente. A análise de associação das palavras nos reviews de Rei Leão é expressa na figura abaixo.

cols <- trellis.par.get("superpose.line")$col

## Associação de palavras
attrs <- list(
    node = list(
        fontsize = 18, fontcolor = cols[2], shape = "plaintext"))

library(Rgraphviz)
freq.terms <- findFreqTerms(dtm, lowfreq = corte)
plot(dtm, term = freq.terms, corThreshold = 0.4,
     weighting = TRUE, attrs = attrs)

Na figura a largura das linhas representa a intensidade da relação, mas somente as associações entre as sum(freqs > corte) palavras que tem frequência maior que 24 são exibidas. Note a forte correlação de king com lion, como sabemos que estas duas palavras se referem ao nome do filme poderíamos substituí-las por uma única palavra, lionking por exemplo, e refazer as análises. Nas demais palavras correlacionadas notamos que charact é relaciona no texto com disney, film, like, anim indicando que os espectadores do filme gostaram dos personagens do disney representados no filme.

Uma palavra interessante de se observar a relação com outras é like, assim conseguiremos observar de quais elementos do filme as pessoas que escreveram os reviews gostaram.

## Palavras associadas com `charact`
findAssocs(dtm, "like", 0.75)

## $like
##    spectacular          still           aint            ala         amount 
##           0.80           0.80           0.77           0.77           0.77 
##            amp     antichrist antiintellectu         anymor          appli 
##           0.77           0.77           0.77           0.77           0.77 
##        assault          banal           bent           bone            boy 
##           0.77           0.77           0.77           0.77           0.77 
##          brute     casablanca          catch         caught      cheaplook 
##           0.77           0.77           0.77           0.77           0.77 
##        citizen         clever           cloy        coarser      contribut 
##           0.77           0.77           0.77           0.77           0.77 
##        coolest          degre        deliber          digit         direct 
##           0.77           0.77           0.77           0.77           0.77 
##          earli         ethnic          excit           fair          fairi 
##           0.77           0.77           0.77           0.77           0.77 
##    fastforward          femal           form        forward         genius 
##           0.77           0.77           0.77           0.77           0.77 
##        godless           grow       guillaum           hatr           hood 
##           0.77           0.77           0.77           0.77           0.77 
##         impact         inevit    infantilist          initi     intellectu 
##           0.77           0.77           0.77           0.77           0.77 
##       intellig           issu           kane         matter        mention 
##           0.77           0.77           0.77           0.77           0.77 
##          newer     nobleheart         nobodi           none           oliv 
##           0.77           0.77           0.77           0.77           0.77 
##         overst      overwhelm           pace            pan          peter 
##           0.77           0.77           0.77           0.77           0.77 
##      pinocchio          pleas      pocahonta           post           pure 
##           0.77           0.77           0.77           0.77           0.77 
##         racial          react       reaction       reawaken          relat 
##           0.77           0.77           0.77           0.77           0.77 
##         result        rewatch         robert          robin         romanc 
##           0.77           0.77           0.77           0.77           0.77 
##         shaman          shape         shtick          smart       smartest 
##           0.77           0.77           0.77           0.77           0.77 
##          solid         sparkl        starter           step         strong 
##           0.77           0.77           0.77           0.77           0.77 
##         struck        suspect           tale         taylor  thomasmatthew 
##           0.77           0.77           0.77           0.77           0.77 
##          toler           took         tortur      treatment        triumph 
##           0.77           0.77           0.77           0.77           0.77 
##       underton          venal          weird     whitebread            wit 
##           0.77           0.77           0.77           0.77           0.77 
##            zip        tonight         actual          irrit 
##           0.77           0.76           0.75           0.75

Agrupamento de palavras

Complementar à associação de palavras podemos também tentar agrupar palavras. Esse agrupamento, feito por uma regra lógica adotado, informa sobre quais características são percebidas conjuntamente, assim espera-se que melhorando um aspecto do filme as características agrupadas a este serão alteradas.

No caso dos reviews realizou-se o agrupamento de palavras via método Ward que consiste na maximização da homogeneidade dentro dos grupos. O resultado é apresentado na figura abaixo.

## Agrupamento de palavras
k = 4 ## Decisão não automatizada, para agrupamento herárquico
mdist <- dist(scale(t(ma[, colSums(ma) > corte])))
agrup <- hclust(mdist, method = "ward.D")

library(dendextend)
dchart <- color_branches(as.dendrogram(agrup), k = k, col = cols[1:k])
dchart <- color_labels(dchart, k = k, col = cols[1:k])
plot(dchart)
rect.dendrogram(as.dendrogram(agrup), k = k, lty = 2,
                border = "gray30")

Um inconveniente dos métodos hierárquicos clássicos de agrupamente é que a formação de grupos não é automatizada, assim a cada nova inclusão de dados na base se faz necessária a intervenção humana para escolha do número de grupos. Há propostas que fazem a escolha do número de grupos de forma automática via cálculos feitos nas matrizes de distâncias.

Note que no agrupamento os grupos formados foram interessantes, por exemplo film e movi são palavras relevantes. Porém como aparecem sempre em contextos distintos tornan-se grupos de um só elemento. Já no grupo à esquerda temos os elementos disney, lion e king, ou seja, um agrupamento que não nos informa nada sobre a qualidade do filme. E por último o grupo com o maior número de elementos onde temos simba, like, charact e anim como alguns elementos.

Diante das análises realizadas podemos dizer que há evidências nos reviews que indicam a boa avaliação dos espectadores com relação ao filme. Ainda imagina-se que alguns elementos do filme que influenciaram na boa avaliação do público foram os personagens, como simba, e a animação em geral.