class: center, middle, title-slide .title[ # Aula 1 - Inteligência Competitiva, Big Data e Ciência de Dados ] .author[ ### Leonardo Mancini ] .date[ ### 2024 ] --- # Inteligência Competititva É um processo **sistemático** e **ininterrupto** de coleta de informações sobre o ambiente externo da empresa. Também é conhecida como _Business Intelligence_ (BI), _Business Analytics_ (BA), Inteligência econômica, Inteligência de mercado... .footnote[ **Fonte:** Gomes, Elisabeth; Braga, Fabiane. Inteligência Competitiva em Tempos de Big Data. ANO ] --- # Histórico Existe como ideia desde os anos 20, mas ganha força nos anos 80 e 90: - Surgimento de novas tecnologias - Em todos os setores. Comunicação se destaca, mas em processos, produtos, transporte, gestão... - Surgimento de novos negócios (customização, nichos, etc) - Globalização muda a natureza da concorrência - Aumento da concorência global - Necessidade de se entrar em mercados estrangeiros --- # Estratégia + Posicionamento estratégico: Conjunto de atividades únicas que dão vantagem competitiva + Reflexão a respeito da concorrência, de se encontrar maneiras de agir diferentes - únicas + Não é sinônimo de Eficácia Operacional – efetuar atividades similares aos concorrentes melhor + É fazer de maneira diferente, outros usos dos recursos, de maneira mais eficiente + Criar um posicionamento único é uma construção de longo prazo .footnote[ **Fonte:** Porter, M. E. (1996). O que é estratégia. Harvard Business Review, 74(6), 61-78. ] --- # Estratégia e inteligência .center[ <img src="./imagens/estrat_monitor.png" height="50%"> ] .footnote[ **Fonte:** Adaptado de PORTER, Michael. Estratégia Competitiva: Técnicas para Análise de Indústrias e da Concorrência. Editora Campus. Rio de Janeiro, 1986 ] ??? + Modelo de Forças de Porter: tem por objetivo analisar a concorrência e o ambiente externo da empresa. - Ameaças de novos entrantes - Poder de barganha dos fornecedores - Poder de barganha dos clientes - Ameaça de produtos substitutos --- # Inteligência Competitiva IC surge numa perspectiva sistemática e ética de coleta, análise e disseminação de informações úteis para a tomada de decisão. Racionalidade limitada pela quantidade e qualidade de informações disponíveis, aka "Dilema de Alice". Sabendo que sempre tomaremos decisão com base em informações incompletas, a IC busca: - Antecipar tendências - Identificar sinais fracos - Criar oportunidades - Identificar ameaças ??? --- # Inteligência Competitiva A IC vai se desenvolver a partir das forças concorrenciais e da estratégia competitiva num esforço **de prever cenários** - lógica de prospecção. <small style="font-size:45%;"> | **Áreas/Temas de Monitoramento** | **Presente / Passado** | **Previsão / Prospectivo** | |----------------------------------------------------|------------------------|----------------------------| | Competitivo | Concorrentes diretos | Potenciais entrantes | | Estratégico | Estratégia de curto prazo: alianças, fusões, aquisições | Estratégia de médio prazo: Diversificação, internacionalização | | Tecnológico | Produtos, tecnologias ou serviços dos concorrentes | Produtos, tecnologias ou serviços em desenvolvimento, produtos, tecnologias ou serviços substitutos | | Fornecedores | Fornecedores atuais | Fornecedores potenciais | | Clientes | Clientes atuais | Clientes potenciais | | Jurídico | Regulamentações nacionais e internacionais | Desregulamentação, Sobre-regulamentação | | Normativo | Normas em vigor | Normas em desenvolvimento | | Macroeconômico | Conjuntura econômica | Perspectiva econômica | | Geopolítico | Atualidades internacionais | Riscos por país | | Ambiente Social | Comportamentos dos consumidores | Evoluções intergeracionais | | Ambiental | Toxicidade e ecotoxicidade dos produtos | Fim de vida dos produtos, Destino de áreas industriais abandonadas | | Imagem | Risco de opinião | Evolução da sociedade civil | ??? Vai olhar para aquelas questões que têm a ver com o posicionamento estratégico, com o ambiente externo --- # Inteligência Competitiva .center[ <img src="./imagens/rotina_ic.png" width="80%"> ] ??? - A IC é um processo sistemático, ininterrupto, identificação, coleta, tratamento, análise e disseminação da informação estratégica para a empresa --- # Não é espionagem <small> | **Tipo de Informação** | **Definição ** | **Definição Yves-Michel Marti** | |------------------------|---------------------|---------------------------------| | Informação Livre | Informação facilmente e livremente acessível. | Publicada e, portanto, pública, seja em formato papel ou eletrônico, tendo um preço ou não. | | Informação Restrita | Informação livremente acessível, mas caracterizada por dificuldades na consciência de sua existência e acesso. | Obtida legalmente através de relações com clientes e fornecedores, subcontratados, concorrentes. | | Informação Ilegal | Informação com difusão restrita e cujo acesso ou uso é explicitamente protegido. | Obtida ilegalmente por furto ou pressão. | </small> .footnote[ **Fonte:** Martinet, B., Marti, Y. M., Pereira, S., & Silvestre, C. (2000). A Inteligência Econômica: os olhos e os ouvidos da empresa. ] --- # Big Data - Dataficação do mundo: fenômenos sociais, econômicos, políticos, culturais, etc, hoje podem ser medidos e quantificados - Tudo deixa rastro: - **Sentimentos e emoções**: redes sociais e mecanismos de buscas permitem registrar detalhes íntimos de bilhões de pessoas - **Relacionamentos**: SRS e celulares permitem rastrear contatos, relações e interações, pessoais ou profissionais - **Localização**: GPS, celulares, cartões de crédito, etc, permitem rastrear a localização de pessoas e objetos - **Comportamentos e identidade**: _wearables_ dão informações sobre os corpos; reconhecimento facial e de voz, sobre identidade - Mudança de paradigma, sobretudo nas ciências humanas. O desafio para a ciência social antes era a escassez, hoje é o excesso. --- class: inverse # Big Data .center[ <video src="./imagens/bar_img_detect.mp4" width="70%" controls><video> ] .footnote[ **Fonte:** https://twitter.com/Rainmaker1973/status/1753776570408333418 ] --- # Big Data Há diversas definições de Big Data, mas a mais comum envolve os 3 Vs: - **Volume**: a quantidade de dados disponíveis é muito maior do que antes - 2.5 quintilhões de bytes de dados são gerados todos os dias - **Velocidade**: os dados são gerados em tempo real - 500 milhões de tweets são enviados todos os dias, FB tem quase 3 bilhões de usuários. - **Variedade**: os dados são de diversos tipos e formatos - Há dados estruturados, mas a maior parte é não estruturada, ou seja, não segue um padrão nem estão organizados em tabelas Os parâmetros do que é grande vão mudando com o tempo. Um disco floppy tinha 1.44MB em 1986. .footnote[ **Fonte:** Colin Strong, Humazing Big Data - marketing at the meeting of data, social science and consumer insight. ] --- # Big Data Uma maneira mais simples de se compreender o que é Big Data é considerar que se a base pode ser tratada em um computador pessoal, então não é Big Data. - O que é um computador? - Big Data demanda infraestrutura de hardware e software específica, que permite o processamento de grandes volumes de dados em tempo real. - Bancos de dados de processamento paralelo massivo (MPP), - Mineração de dados, - Sistemas de arquivos distribuídos, - Bancos de dados distribuídos, - Plataformas de computação em nuvem, - A internet - Sistemas de armazenamento escaláveis. - Demanda profissionais técnicos em infraestrutura, como os Engenheiros de Dados (_Data Engineers_). --- # Modelos estatísticos A grande importância do Big Data é que ele permite modelar comportamentos humanos e prever eventos - Modelos estatísticos são manifestações matemáticas de fenômenos do mundo real. - Permitem que, através da teoria da probabilidade, utilizemos dados quantitativos para fazer suposições, esclarecer fenômenos e prever comportamentos. Exemplos: - um meteorologista pode empregar modelos estatísticos para prever o clima baseando-se em dados históricos e elementos observáveis de um determinado local. - com dados do IBGE, é possivel estimar a renda de determinado indivíduo baseando-se em suas características demográficas e geográficas. --- # Inteligência Artificial (IA) Grosso modo, IA é uma categoria de modelagem estatística. ChatGPT, por exemplo, utiliza um tipo de modelo estatístico (LLM - Large Language Model) para prever a próxima palavra de uma frase, baseando-se em um corpus de textos. Midjourney usa outra classe de modelos (GAN - Generative Adversarial Network) para gerar imagens. --- # Big Data e modelos preditivos O uso atual do termo "big data" geralmente se refere ao uso de análises preditivas, análises do comportamento do usuário ou outros métodos avançados de análise de dados > "Há pouca dúvida de que as quantidades de dados agora disponíveis são de fato grandes, mas essa não é a característica mais relevante desse novo ecossistema de dados." Possibilidades do BigData: - Prever trânsito (dados de deslocamento - GPS) - Estimar gosto musical (Spotify) - Prever comportamento de compra (Amazon) - Prever comportamento de eleitores (Cambridge Analytica) --- # Big Data e Negócios Empresas são grandes produtoras de dados. Se os processos forem bem estruturados, esses dados podem se tornar conhecimento útil para resolver os problemas da empresa. Há imensa quantidade de dados nas relações com clientes, com parceiros e com o mercado. - Exemplo: Wal-Mart e temporada de furacões - Exemplo 2: Como prever determinantes de retenção de clientes de uma empresa de telecom (AT&T)? Dois focos importantes: entender o presente e estimar o futuro. ??? - Nesses casos, a quantidade de água engarrafada vendida aumenta exponencialmente. Não precisamos de bigdata para isso. - Mas precisamos para saber a magnitude desse crescimento. - Conseguimos prever demandas pouco usuais. Como cerveja e doces (pop tart de morango) In the mid-Atlantic region, 20% of cell phone customers leave when their contracts expire, and it is getting increasingly difficult to acquire new customers. Since the cell phone market is now saturated, the huge growth in the wireless market has tapered off. --- # Limites do Big Data - Se olharmos para um conjunto de dados com atenção suficiente, sempre encontraremos padrões e relações. - Isso é um problema e pode levar a conclusões erradas e a decisões equivocadas. - _Overfitting_ significa que o modelo se ajusta tão perfeitamente aos dados de treinamento que falha em generalizar e performar bem em novos dados - Big Data oferece um pedaço do quebra-cabeças. - Conseguimos observar padrões e relações, mas não captura contexto, emoções, etc. --- # Desafios para as empresas - A maior parte das empresas não sabe o que fazer com os dados que tem. - Não tem processos de coleta, armazenamento e análise de dados - Não tem pessoal qualificado para lidar com dados - Não tem infraestrutura para lidar com dados - A maior parte dos dados é não estruturada, ou seja, não segue um padrão nem estão organizados - E a imensa maioria das empresas vai trabalhar com _small data_, não _big data_. - Etnografia, entrevistas, observação participante, enquetes, etc. - Bases de dados pequenas: pesquisas de mercado, dados de clientes... --- # Ciência de dados Campo interdisciplinar que envolve métodos científicos, processos e sistemas para compreender fenômenos a partir de dados quantitativos. - Como avaliar a eficácia de uma campanha de marketing? - Que parâmetros influenciam no resultado do processo seletivo? - Qual a taxa de evasão e qual a tendência de evolução? --- class: inverse # _Data-Driven decision making_ (DDD) .center[ <iframe width="640" height="380" src="https://www.youtube.com/embed/4TPnpr5mmD0" title="Why You Should Move to Data-Driven Decision Making | MIT Sloan" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe> ] --- # _Data-Driven decision making_ (DDD) .pull-left[ ![](./imagens/bg_decision.png) ] .pull-right[ <small> <ul> O cientista de dados pega dados brutos e os transforma em informações que podem ser utilizadas para tomada de decisão. - Reduz os riscos de decidir na intuição. - Aumenta a produtividade - Promove ganhos que, mesmo pequenos, em escalas massivas, podem ser significativos. - Aumenta a chace de se descobrir tendências e padrões - [Pague Menos](https://braziljournal.com/play/por-que-a-pague-menos-quer-mudar-a-imagem-da-farmacia/) ] .footnote[ **Fonte:** Foster Provost, Tom Fawcett - Data Science for Business_ What you need to know about data mining and data-analytic thinking-O'Reilly Media (2013) ] ??? Data-driven decision-making (DDD) refers to the practice of basing decisions on the analysis of data, rather than purely on intuition. For example, a marketer could select advertisements based purely on her long experience in the field and her eye for what will work. Or, she could base her selection on the analysis of data regarding how con‐ sumers react to different ads. She could also use a combination of these approaches. DDD is not an all-or-nothing practice, and different firms engage in DDD to greater or lesser degrees --- # Ciência de dados .center[ ![:scale 70%](https://livro.curso-r.com/assets/img/manipulacao/ciclo-ciencia-de-dados.png) ] .footnote[Fonte: [Ciência de dados em R - Hadley Wickham](https://livro.curso-r.com/7-manipulacao.html)] --- # Ser _data_driven_ pode causar problemas Dados são enviesados. - Exemplo: algoritmos de recrutamento que reproduzem preconceitos - Exemplo 2: algoritmos de crédito que reproduzem desigualdades sociais - Exemplo 3: algoritmos de recomendação que reproduzem preconceitos Dados não refletem a complexidade do mundo. - Target e as mulheres grávidas (2012) ??? n 2012, Walmart’s competitor Target was in the news for a data-driven decision-making case of its own, also a type 1 problem (Duhigg, 2012). Like most retailers, Target cares about consumers’ shopping habits, what drives them, and what can influence them. Consumers tend to have inertia in their habits and getting them to change is very dif‐ ficult. Decision makers at Target knew, however, that the arrival of a new baby in a family is one point where people do change their shopping habits significantly. In the Target analyst’s words, “As soon as we get them buying diapers from us, they’re going to start buying everything else too.” Most retailers know this and so they compete with each other trying to sell baby-related products to new parents. Since most birth records are public, retailers obtain information on births and send out special offers to the new parents. However, Target wanted to get a jump on their competition. They were interested in whether they could predict that people are expecting a baby. If they could, they would gain an advantage by making offers before their competitors. Using techniques of data science, Target analyzed historical data on customers who later were revealed to have been pregnant, and were able to extract information that could predict which consumers were pregnant. For example, pregnant mothers often change their diets, their ward‐ robes, their vitamin regimens, and so on --- # Pensamento orientado por dados (_data-analytic thinking_) - Capacidade de avaliar se e como os dados podem melhorar o desempenho. - Mesmo que você nunca se tornar um cientista de dados, é importante entender porque a análise de dados é crítica para a estratégia de negócios. - Se um consultor apresentar uma proposta para explorar um ativo de dados para melhorar seu negócio, você deve ser capaz de avaliar se a proposta faz sentido. - Se um concorrente anunciar uma nova parceria de dados, você deve reconhecer quando isso pode colocá-lo em desvantagem estratégica. - Do ponto de vista de empregabilidade, há uma grande vantagem profissional em ser capaz de interagir competente com e dentro dessas empresas. ??? No mínimo, você deve ser capaz de elaborar algumas perguntas investigativas para determinar se os argumentos de avaliação deles são plausíveis. Esse curso se concentra mais no pensamento e menos na tecnologia. --- # Resumindo: - Inteligência Competitiva: monitoramento de informações estratégicas para tomada de decisão no campo concorrencial - Big Data: técnicas e tecnologias que permitem tratar dados grandes demais. - Ciência de dados: conjunto de métodos científicos que permitem transformar dados quantitativos em informações para tomada de decisão Em outras palavras: - Processamento de dados massivos que não é necessariamente ciência de dados - precisa extrair conhecimento. - Tecnologias de processamento de dados são importantes, mas servem de suporte para a inteligência competitiva e a ciência de dados --- # Exercício e discussão - Como vocêds acham que Big Data, Inteligência Competitiva e Ciência de Dados podem ser utilizados nos seus contextos de trabalho? - Quais são os desafios para a implementação dessas técnicas e tecnologias? - Quais são as oportunidades? - Quais são os riscos? - Que questões do seu dia-a-dia poderiam ser respondidas com essas técnicas e tecnologias? Existem fontes de dados disponíveis para isso? Tempo: 30 minutos de discussão em grupo e depois compartilhamos as conclusões --- # Trabalho final Case que apresente uma questão envolvendo dados que seja relevante para o seu contexto de trabalho e um roteiro de como vocês pretendem abordar essa questão. Pode ser numa perspectiva mais de Inteligência Competitiva ou Ciência de Dados. Em dupla ou com todos os 4.