Explicación Pandas Python 2022¶

Archivos de películas¶

In [ ]:

import pandas as pd
import os

import pandas as pd import os

In [ ]:

path_files = "files"
path_arch = os.path.join(os.getcwd(), path_files)
movies = 'mymoviedb.csv'
peliculas = pd.read_csv((os.path.join(path_arch, movies)), encoding='utf-8' , lineterminator='\n')

path_files = "files" path_arch = os.path.join(os.getcwd(), path_files) movies = 'mymoviedb.csv' peliculas = pd.read_csv((os.path.join(path_arch, movies)), encoding='utf-8' , lineterminator='\n')

In [ ]:

peliculas

peliculas

Cuando leían el archivo con el módulo csv habías una película que la tomaba en varias líneas, con pandas eso no sucede por lo tanto no es necesario borrar líneas con Overview vacías

In [ ]:

peliculas.loc[1104:1120]

peliculas.loc[1104:1120]

In [ ]:

peliculas.columns

peliculas.columns

In [ ]:

type(peliculas)

type(peliculas)

Podemos aplicar una función a una columna en particular

In [ ]:

peliculas[peliculas.Original_Language.apply(lambda x: x.startswith('e') )]

peliculas[peliculas.Original_Language.apply(lambda x: x.startswith('e') )]

In [ ]:

peliculas.Title.unique()

peliculas.Title.unique()

In [ ]:

peliculas[peliculas.Original_Language.apply(lambda x: len(x)<=2 )]

peliculas[peliculas.Original_Language.apply(lambda x: len(x)<=2 )]

In [ ]:

!ls

!ls

Veamos algunas operaciones con el archivo de canciones de Spotify

In [ ]:

spotify = 'Spotify 2010 - 2019 Top 100.csv'
canciones = pd.read_csv(os.path.join(path_arch, spotify))

spotify = 'Spotify 2010 - 2019 Top 100.csv' canciones = pd.read_csv(os.path.join(path_arch, spotify))

In [ ]:

canciones.tail(10)

canciones.tail(10)

In [ ]:

canciones.columns

canciones.columns

Para verificar que no confentan datos nulos, podemos consultar con la isntrucción de Pandas isna

In [ ]:

canciones.isna().sum()

canciones.isna().sum()

In [ ]:

Eliminamos todas las filas que contenga estos valores nulos

Eliminamos todas las filas que contenga estos valores nulos

In [ ]:

canciones = canciones.dropna()

canciones = canciones.dropna()

In [ ]:

canciones.isna().sum()

canciones.isna().sum()

Poner en “title case” los géneros musicales excepto las siglas EDM, DFW, UK, R&B y LGBTQ+ que deben ir en mayúsculas. Por ejemplo “dfw rap” debe ser transformado a “DFW Rap”

In [ ]:

siglas = ["edm","dfw","uk","r&b","lgbtq+"]

siglas = ["edm","dfw","uk","r&b","lgbtq+"]

In [ ]:

canciones['top genre'].unique()

canciones['top genre'].unique()

Verificar que algunas de las siglas está dentro de la coluna 'top genre'

In [ ]:

canciones[canciones['top genre'].apply(lambda x: x.split(" ", 1)[0] in(siglas))]

canciones[canciones['top genre'].apply(lambda x: x.split(" ", 1)[0] in(siglas))]

En realidad lo que hace es verificar que estñen las siglas de forma exacta, no coincide en los casos en que el string es compuesto, veamos una opción para ejecutar varias operaciones en la misma instrucción

In [ ]:

canciones_upper = canciones.copy()

canciones_upper = canciones.copy()

In [ ]:

canciones_upper

canciones_upper

In [ ]:

canciones_upper['top genre'] = canciones['top genre'].apply(lambda x: x.upper() if x in siglas else x)

canciones_upper['top genre'] = canciones['top genre'].apply(lambda x: x.upper() if x in siglas else x)

In [ ]:

canciones_upper['top genre'].unique()

canciones_upper['top genre'].unique()

In [ ]:

def cambiar_formato_genero(genero):
    
    siglas_min = ["edm","dfw","uk","r&b","lgbtq+"]
    genero_separados = genero.split(" ",1)
    
    if(genero_separados[0] in siglas):
        genero_separados[0] = genero_separados[0].upper()
    genero_cambiado = " ".join(genero_separados)
    
    return genero_cambiado

def cambiar_formato_genero(genero): siglas_min = ["edm","dfw","uk","r&b","lgbtq+"] genero_separados = genero.split(" ",1) if(genero_separados[0] in siglas): genero_separados[0] = genero_separados[0].upper() genero_cambiado = " ".join(genero_separados) return genero_cambiado

In [ ]:

canciones_upper['top genre'] = canciones['top genre'].apply(lambda x: cambiar_formato_genero(x))

canciones_upper['top genre'] = canciones['top genre'].apply(lambda x: cambiar_formato_genero(x))

In [ ]:

canciones[canciones['top genre'].str.contains('dfw')]

canciones[canciones['top genre'].str.contains('dfw')]

In [ ]:

canciones_upper['top genre'].unique()

canciones_upper['top genre'].unique()

Operaciones y gráficos con el archivo de películas de Netflix

In [ ]:

import os

import os

In [ ]:

path_files = "files"
path_arch = os.path.join(os.getcwd(), path_files)

archivo_net = "netflix_titles.csv"

path_files = "files" path_arch = os.path.join(os.getcwd(), path_files) archivo_net = "netflix_titles.csv"

In [ ]:

d_netflix = pd.read_csv(os.path.join(path_arch, archivo_net))

d_netflix = pd.read_csv(os.path.join(path_arch, archivo_net))

In [ ]:

d_netflix.columns

d_netflix.columns

In [ ]:

d_netflix.dtypes

d_netflix.dtypes

In [ ]:

d_netflix.isnull().sum()

d_netflix.isnull().sum()

Algunos gráficos simples de realizar con matplotlib¶

Mostrar la cantidad de shows según el año de los útimos 10 a través de un gráfico de barras

• Ordenar los datos por año
• Contar la cantidad de cada año

In [ ]:

d_netflix['release_year'].sort_values()

d_netflix['release_year'].sort_values()

In [ ]:

d_netflix['release_year'].sort_values().value_counts()

d_netflix['release_year'].sort_values().value_counts()

Nos quedamos con los últimos 10 años

In [ ]:

d_netflix['release_year'].sort_values().value_counts()[:10]

d_netflix['release_year'].sort_values().value_counts()[:10]

In [ ]:

d_netflix['release_year'].sort_values().value_counts()[:10].plot(kind='bar')

d_netflix['release_year'].sort_values().value_counts()[:10].plot(kind='bar')

Fijensen que como ordena por cantidad de cada año, no muestra los últimos 10 años, sino los últimos 10 años que más shows tuvieron

In [ ]:

d_netflix.groupby(['release_year'])

d_netflix.groupby(['release_year'])

groupby agrupa en función de la columna que le indicamos, podemos quedarnos solo con los datos

In [ ]:

d_netflix.groupby(['release_year'])['release_year']

d_netflix.groupby(['release_year'])['release_year']

Al agrupar debemos indicar qué queremos hacer con los demás datos en función de esa columna, en nuestro caso queremos saber cuántos hay en cada agrupamiento

In [ ]:

d_netflix.groupby(['release_year'])['release_year'].count()

d_netflix.groupby(['release_year'])['release_year'].count()

In [ ]:

d_netflix.groupby(['release_year'])['release_year'].count().tail(10).plot(kind='bar')

d_netflix.groupby(['release_year'])['release_year'].count().tail(10).plot(kind='bar')

Comparar la cantidad de tipos de shows en los últimos x años.

In [ ]:

d_netflix['type']

d_netflix['type']

In [ ]:

d_netflix.type.unique()

d_netflix.type.unique()

In [ ]:

d_netflix.groupby(['release_year', 'type'])['release_year'].count().tail(20).unstack(0).plot.barh()

d_netflix.groupby(['release_year', 'type'])['release_year'].count().tail(20).unstack(0).plot.barh()

Archivo de eventos¶

Veamos las estadísticas

In [ ]:

import os

import os

In [ ]:

df_juego = pd.read_csv(os.path.join(path_files,'datos de prueba - datos.csv'))

df_juego = pd.read_csv(os.path.join(path_files,'datos de prueba - datos.csv'))

In [ ]:

df_juego

df_juego

In [ ]:

df_juego.columns

df_juego.columns

Nos podemos quedar con un partida en particular:

In [ ]:

df_juego[df_juego['Partida']==1]

df_juego[df_juego['Partida']==1]

O con filas en que el estado sea uno en particular

In [ ]:

df_juego[df_juego['Estado ']=='ok']

df_juego[df_juego['Estado ']=='ok']

Seleccionar filas donde el evento sea fin y quedarse con la columna usuarie -genero

In [ ]:

df_juego[df_juego['Nombre de evento']=='fin']['usuarie -genero'].value_counts()

df_juego[df_juego['Nombre de evento']=='fin']['usuarie -genero'].value_counts()

In [ ]:

df_juego.rename(columns={'Estado ':'Estado'}, inplace=True)

df_juego.rename(columns={'Estado ':'Estado'}, inplace=True)

In [ ]:

df_juego.columns

df_juego.columns

¿Cómo manejamos el tiempo?

In [ ]:

from datetime import datetime
import time

from datetime import datetime import time

In [ ]:

df_juego.Tiempo

df_juego.Tiempo

In [ ]:

time.time()

time.time()

In [ ]:

datetime.timestamp(datetime.now())

datetime.timestamp(datetime.now())

In [ ]:

evento_time = int(time.time())
evento_time

evento_time = int(time.time()) evento_time

Obtener el día de la semana en que se jugó

In [ ]:

datetime.fromtimestamp(evento_time).weekday()

datetime.fromtimestamp(evento_time).weekday()

In [ ]:

evento = int(datetime.timestamp(datetime.now()))

evento = int(datetime.timestamp(datetime.now()))

In [ ]:

Convertir el número entero en fecha y luego darle formato con string a través de patrones

Convertir el número entero en fecha y luego darle formato con string a través de patrones

In [ ]:

fecha = datetime.fromtimestamp(evento_time)

fecha = datetime.fromtimestamp(evento_time)

In [ ]:

fecha.strftime("%m/%d/%Y, %H:%M:%S")

fecha.strftime("%m/%d/%Y, %H:%M:%S")

In [ ]:

fecha.strftime("%d/%m/%Y, %H:%M:%S")

fecha.strftime("%d/%m/%Y, %H:%M:%S")

In [ ]:

fecha.strftime("%A %d/%m/%y, %H:%M:%S")

fecha.strftime("%A %d/%m/%y, %H:%M:%S")

In [ ]:

fecha.weekday()

fecha.weekday()

In [ ]:

fecha.hour

fecha.hour

Buscar los días de la semana en que se jugó aplicando la función de conversión de entero a fecha a cada fila de la columna Tiempo

In [ ]:

df_juego.Tiempo.apply(lambda x:datetime.fromtimestamp(x).weekday() ).unique()

df_juego.Tiempo.apply(lambda x:datetime.fromtimestamp(x).weekday() ).unique()

In [ ]:

df_juego.columns

df_juego.columns

In [ ]:

Obtener los ID únicos de las partidas

Obtener los ID únicos de las partidas

In [ ]:

list(df_juego.Partida.unique())

list(df_juego.Partida.unique())

In [ ]:

Calcular el tiempo entre el inicio y fin de una partida en particular

Calcular el tiempo entre el inicio y fin de una partida en particular

In [ ]:

ini_1 = df_juego[df_juego['Partida']==1].iloc[0].Tiempo

ini_1 = df_juego[df_juego['Partida']==1].iloc[0].Tiempo

In [ ]:

ini_2 =  df_juego[df_juego['Partida']==1].iloc[-1].Tiempo

ini_2 = df_juego[df_juego['Partida']==1].iloc[-1].Tiempo

In [ ]:

ini_1

ini_1

In [ ]:

segundos =(datetime.fromtimestamp(ini_2) - datetime.fromtimestamp(ini_1))

segundos =(datetime.fromtimestamp(ini_2) - datetime.fromtimestamp(ini_1))

In [ ]:

segundos.total_seconds()

segundos.total_seconds()

In [ ]: