Sommario

Shibata (2019) introduce un modello di Markov nascosto (HMM) per analizzare le dinamiche del mercato del lavoro, sfidando l'approccio standard basato su processi di Markov del primo ordine (FOM) tipicamente utilizzato nella letteratura economica del lavoro. Utilizzando dati del Current Population Survey (CPS), l'autore dimostra che l'HMM supera significativamente i modelli tradizionali nella previsione delle transizioni del mercato del lavoro su un orizzonte di 15 mesi.

L'innovazione chiave di questo studio consiste nell'introduzione di “stati di attaccamento al mercato del lavoro” non osservati che catturano sia l'eterogeneità (lavoratori diversi con lo stesso stato attuale della forza lavoro che hanno differenti probabilità di transizione) sia la dipendenza dalla durata (le probabilità di transizione dello stesso lavoratore che cambiano nel tempo). L'autore identifica nove stati di attaccamento distinti attraverso le categorie di occupazione, disoccupazione e non partecipazione.

L'HMM migliora l'approccio FOM standard riducendo la deviazione media assoluta delle probabilità di transizione di un fattore pari a 30, anche quando confrontato con modelli FOM estesi che includono categorie dettagliate di occupazione. Il paper dimostra che l'attaccamento non osservato al mercato del lavoro dei lavoratori è fortemente correlato con caratteristiche osservabili come i guadagni, le ragioni della disoccupazione e i tipi dettagliati di stato della forza lavoro, ma queste variabili osservabili da sole non possono catturare completamente l'eterogeneità nelle transizioni del mercato del lavoro.

Classificazione Metodologica

Questo paper può essere classificato come:

1. Innovazione metodologica nell'analisi del mercato del lavoro – Introduce un approccio statistico innovativo per modellare le transizioni del mercato del lavoro

2. Studio sulla complessità del mercato del lavoro – Esamina le interazioni complesse tra lo stato osservato della forza lavoro e le caratteristiche non osservate dei lavoratori

3. Utilizzo di modelli dinamici per catturare cambiamenti strutturali – Impiega un approccio di modellazione dinamica (HMM) per comprendere l'evoluzione delle transizioni del mercato del lavoro

Applicazioni e Risultati

Il paper dimostra il valore dell'HMM attraverso quattro applicazioni:

1. Conseguenze a lungo termine della separazione dal lavoro: Il modello stima le perdite occupazionali derivanti dalla separazione da un impiego stabile che si allineano con i risultati degli studi basati sui dati della Social Security, ma utilizzando solo panel CPS a breve termine.

2. Tendenze nella stabilità occupazionale: L'analisi rivela che mentre i tassi di occupazione maschile sono diminuiti dagli anni '70, la loro stabilità occupazionale (condizionata all'essere occupati) è rimasta sostanzialmente invariata. Per le donne, la stabilità occupazionale è migliorata fino alla metà degli anni '90, ma questo miglioramento si è concentrato tra le donne più istruite.

3. Confronto tra recessioni: La Grande Recessione del 2007-09 ha mostrato flussi più ampi e persistenti di lavoratori verso lo stato di disoccupazione più persistente (U2), lo stato occupazionale meno stabile (E2) e gli stati di non partecipazione associati alla disoccupazione (O2), spiegando la ripresa più lenta rispetto alla recessione del 1981.

4. Importanza dell'eterogeneità non osservata: Il paper dimostra che economie con distribuzioni identiche dello stato osservato della forza lavoro ma con diverse distribuzioni degli stati di attaccamento possono sperimentare traiettorie di disoccupazione future drasticamente differenti.

Contributo alla Letteratura di Riferimento

In una rassegna della letteratura sugli approcci avanzati alle dinamiche del mercato del lavoro, Shibata (2019) rappresenta un significativo avanzamento metodologico. A differenza dei modelli tradizionali che assegnano probabilità di transizione identiche a tutti i lavoratori nello stesso stato della forza lavoro, l'approccio Hidden Markov di questo paper cattura con successo la persistenza empiricamente osservata nelle transizioni del mercato del lavoro.

Il framework HMM colma il divario tra modelli teorici e realtà empirica nella ricerca sul mercato del lavoro, offrendo una comprensione più sfumata dell'eterogeneità nelle transizioni dei lavoratori. Questo approccio è particolarmente utile per studiare gli impatti differenziali degli shock economici tra gruppi demografici diversi e per comprendere perché alcuni lavoratori sperimentano disoccupazione persistente mentre altri no.

Riferimento Bibliografico

Shibata, I. (2019). Labor Market Dynamics: A Hidden Markov Approach. IMF Working Paper No. 19/282, International Monetary Fund.

Verifica la disponibilità on line

#code

codice in R su github

Giampaolo Montaletti

Orcid LinkedIn montaletti.com

Il codice è disponibile a questo link: https://github.com/gmontaletti/labour-complexity/blob/main/R/Labour_market_competition.R

#code

Scopi dello Script

Lo script R implementa computazionalmente il framework metodologico presentato nel lavoro di Liu, Pant e Sheng (2023) “Predicting Labor Market Competition: Leveraging Interfirm Network and Employee Skills”. Gli obiettivi principali dello script sono:

1. Riproduzione Metodologica

Replicare fedelmente l'approccio innovativo degli autori per la predizione della competizione nel mercato del lavoro attraverso l'integrazione di:

• Dati sulle competenze dei dipendenti (skill-based metrics)
• Reti di flusso del capitale umano tra aziende (Human Capital Flow networks)
• Caratteristiche economiche e strutturali delle imprese

2. Validazione Empirica

Dimostrare l'efficacia predittiva superiore delle metriche basate su network rispetto agli approcci tradizionali di classificazione industriale, confermando i risultati originali che mostrano miglioramenti dell'AUC del 18-34%.

3. Operazionalizzazione del Framework 2-D

Implementare il modello bidimensionale di analisi competitiva che combina sovrapposizione nel mercato del prodotto (product market overlap) e sovrapposizione nel mercato del lavoro (labor market overlap) per identificare diversi tipi di competitor.

Principali Funzionalità e Collegamento al Lavoro Originale

Generazione di Dati Sintetici

Funzione: generate_synthetic_data()

Collegamento teorico: Replica la struttura del dataset LinkedIn utilizzato dagli autori, contenente 89.000+ profili di dipendenti di 3.467 aziende pubbliche (2000-2014).

Componenti implementati:

• Aziende con codici SIC e caratteristiche economiche
• Dipendenti con profili di competenze
• Movimenti inter-aziendali che simulano i flussi di capitale umano
• Distribuzione probabilistica dei movimenti basata su prossimità settoriale

Costruzione delle Metriche di Sovrapposizione del Capitale Umano

Skill-Based Labor Overlap

Funzioni: create_firm_skill_matrix(), create_skill_term_similarity_matrix()

Collegamento teorico: Implementa le metriche di sovrapposizione delle competenze esplicite attraverso:

• Ponderazione SF-IFF (Skill Frequency – Inverse Firm Frequency)
• Calcolo della similarità del coseno tra vettori di competenze aziendali
• Rappresentazione delle knowledge bases aziendali come distribuzioni su spazi di competenze

Skill Topic Modeling

Funzioni: create_skill_topics(), create_skill_topic_similarity_matrix()

Collegamento teorico: Operazionalizza l'approccio di topic modeling degli autori per catturare competenze latenti e conoscenze tacite attraverso:

• Clustering di competenze basato su pattern di co-occorrenza
• Aggregazione delle distribuzioni di topic a livello aziendale
• Misurazione della similarità tra knowledge portfolios aziendali

Analisi delle Reti di Flusso del Capitale Umano (HCF Networks)

Costruzione della Rete

Funzioni: create_hcf_network(), calculate_upstream_similarity(), calculate_downstream_similarity()

Collegamento teorico: Replica l'innovativa metodologia di network analysis che distingue tra:

• Upstream similarity: Competizione per le stesse fonti di talento
• Downstream similarity: Competizione per gli stessi target di acquisizione
• Community detection: Identificazione di cluster competitivi attraverso algoritmi di Louvain

Proprietà Strutturali della Rete

Funzioni: detect_communities(), create_community_similarity_matrix()

Collegamento teorico: Conferma empiricamente le proprietà “small-world” identificate dagli autori:

• Weak industrial homophily nelle reti HCF
• Mobilità cross-industriale estesa che trascende le classificazioni SIC tradizionali
• Necessità di metriche basate su network per catturare pattern globali di competizione

Modellazione Predittiva Multi-Dimensionale

Architettura dei Feature Sets

Funzione: evaluate_feature_sets()

Collegamento teorico: Implementa la strategia di validazione incrementale degli autori attraverso quattro categorie di variabili:

1. Economic Features: Caratteristiche finanziarie e dimensionali delle aziende

2. Product Market Features: Similarità basata su codici SIC

3. Labor Market Features: Metriche di sovrapposizione delle competenze

4. Network Features: Similarità strutturali nelle reti HCF

Machine Learning Pipeline

Funzioni: train_and_evaluate_rf(), prepare_prediction_data()

Collegamento teorico: Replica l'approccio di machine learning degli autori:

• Random Forest con 500 alberi per gestire non-linearità e interazioni
• Validazione temporale (training: 2000-2012, test: 2013-2015)
• Metriche binarie di competizione (δ=1: tutti i competitor, δ=2: competitor forti)
• Valutazione attraverso AUC e identificazione di nuovi competitor

Framework di Analisi Competitiva 2-D

Funzione: plot_2d_competition()

Collegamento teorico: Operazionalizza il modello bidimensionale degli autori che classifica i competitor in quattro categorie:

1. Direct Competitors: Alta sovrapposizione sia nel prodotto che nel lavoro

2. Indirect Competitors: Alta sovrapposizione nel prodotto, bassa nel lavoro

3. Potential Competitors: Bassa sovrapposizione nel prodotto, alta nel lavoro

4. Weak Competitors: Bassa sovrapposizione in entrambe le dimensioni

Validazione dei Risultati Metodologici

Lo script conferma i principali findings empirici del paper originale:

• Superiorità predittiva delle metriche di network: Le variabili basate su HCF network mostrano utilità predittiva superiore, migliorando l'AUC del 18-34%
• Complementarità delle dimensioni competitive: L'integrazione di product market e labor market metrics fornisce una visione più completa della competizione
• Robustezza cross-industriale: Il framework mantiene efficacia predittiva attraverso diversi settori industriali

Implicazioni Teoriche e Metodologiche

Lo script dimostra computazionalmente come:

1. I confini tradizionali dell'industria siano inadeguati per catturare la competizione per il capitale umano

2. Le reti di mobilità del personale rivelino dimensioni competitive nascoste non catturate dalle classificazioni SIC

3. L'integrazione di conoscenze esplicite e tacite attraverso skill-based metrics e network analysis fornisca una rappresentazione più accurata delle capabilities aziendali

4. Il machine learning applicato a dati di network possa identificare pattern competitivi non evidenti attraverso approcci tradizionali

Struttura Computazionale

Lo script è organizzato in cinque moduli principali:

1. Data Generation: Simulazione di ecosistemi aziendali realistici

2. Metrics Construction: Calcolo delle metriche di sovrapposizione multi-dimensionali

3. Network Analysis: Costruzione e analisi delle reti HCF

4. Predictive Modeling: Implementazione del pipeline di machine learning

5. Results Visualization: Rappresentazione grafica dei risultati e validazione empirica

Questa architettura modulare consente la replicazione sistematica della metodologia originale.

Giampaolo Montaletti

Orcid LinkedIn montaletti.com

Mi servono per capire le logiche analitiche che sono state scelte, e confluiscono in alcuni miei progetti di analisi dei dati del mercato del lavoro.

Il repository si trova su Github: https://github.com/gmontaletti/labour-complexity

https://labourcomplexity.montaletti.com/le-relazioni-fra-competenze-e-professioni

https://github.com/gmontaletti/labour-complexity/blob/main/R/seif_consolidated-skill-calculation.r

#code