GUIA DO AVALIADOR DE PROPOSTAS
Diretrizes para a aplicação dos Critérios de Pontuação no Processo do Fundo Catalyst
Last updated
Diretrizes para a aplicação dos Critérios de Pontuação no Processo do Fundo Catalyst
Last updated
GUIA DO AVALIADOR DE PROPOSTAS
Link curto: https://bit.ly/CA-Guide
Diretrizes Gerais
Princípios Orientadores
Critérios de Pontuação - Desafios Regulares
1) Impacto
2) Viabilidade
3) Clareza/auditabilidade
Critérios de pontuação - Configuração do desafio da comunidade
Alinhamento
Viabilidade
Verificabilidade
Catalyst Fund9 Desafio Definindo Metas Estratégicas
Definições de uma avaliação de qualidade
Declarações de Avaliação Inadequadas:
Sem justificativa:
Apenas uma opinião pessoal dada:
Avaliação não construtiva:
Outros aspectos de uma avaliação inadequada:
Exemplos de avaliações de alta qualidade para inspiração e treinamento:
Exemplo de Avaliação 1
Exemplo de Avaliação 2
Exemplo de Avaliação 3
11 Avaliações de Melhores Práticas, altamente classificadas do Fundo7
Exemplos de avaliações inadequadas:
A avaliação foi concluída.
O que acontece depois?
Revisando o Processo de Avaliação
Envio da votação
Anonimato
Gratificação
Principais mudanças em relação aos fundos anteriores
Diretrizes Gerais
O Avaliador de Propostas (PA) é uma função auto-atribuída na Comunidade Catalyst do Projeto Cardano.
Nessa função, você avalia as propostas na fase de avaliação. Você deve determinar até que ponto cada proposta corresponde a cada um dos três critérios: impacto, viabilidade e clareza. A pontuação individual combinada nos três critérios dará uma pontuação geral para a proposta.
Como PA, você desempenha um papel importante no processo de financiamento do Catalyst, fornecendo orientação aos eleitores que o usarão para tomar suas decisões. Você também está oferecendo feedback aos proponentes por meio de sua Fundamentação .
Suas avaliações devem ser conduzidas independentemente de outros PA’s.
Importante: Você NÃO pode ser um PA em desafios em que esteja participando como proponente, implementador ou trabalhando ativamente com um proponente (por exemplo, mentoria recompensada). Apoiar e sugerir melhorias aos proponentes como PC é desejável e encorajado.
Por favor, considere cada um dos seguintes pontos ao realizar sua(s) avaliação(ões):
● Atribua para cada critério uma pontuação entre 1 e 5.
● Para cada um dos três critérios, uma pontuação e uma justificativa genuína devem ser fornecidas.
● Cada critério deve ser considerado e avaliado individualmente.
● Seu raciocínio deve explicar a pontuação que você deu e mostrar uma prova de pensamento crítico. Se uma justificativa não corresponder à pontuação dada, a avaliação será removida.
● Qualquer pontuação sem justificativa será filtrada na etapa de avaliação de qualidade realizada pelos avaliadores de propostas veteranos (vPAs) e você não será compensado.
● Cada parte de uma proposta deve ser levada em consideração, incluindo anexos, links e a seção de comentários abaixo da proposta (certifique-se de procurá-los)
● Sua fundamentação deve ajudar os eleitores a tomar sua decisão, portanto, certifique-se de que suas considerações, pontuações e justificativas sejam compreensíveis e realmente agreguem valor.
● Considere e comunique quais informações adicionais ou melhorias o proponente poderia incluir para obter uma pontuação mais alta em fundos futuros.
● O tempo é o bem mais precioso. Não desperdice o tempo do eleitor: seus raciocínios devem ser completos e concisos ao mesmo tempo.
● As avaliações enviadas podem ser editadas até que a janela de revisão seja fechada.
● Certifique-se de enviar sua avaliação corretamente. Se você os preparar em um documento separado e enviá-los no Ideascale, tome cuidado ao copiar e colar no Ideascale
● Considere a formatação. Incluir quebras de linha entre parágrafos facilita a leitura
● A ferramenta de PA (https://cardanocataly.st/ca-tool/#/ ) pode ajudar na elaboração e organização de avaliações (OBS: a ferramenta do PA não atualiza o ideascale). Use-o para acompanhar seu trabalho.
● O sistema de recompensas foi cuidadosamente projetado para recompensar mais os avaliadores que demonstram uma qualidade ou trabalho superior. Lembre-se disso o tempo todo ao escrever suas avaliações e pense a longo prazo enquanto constrói sua reputação como PA.
● Suas avaliações devem pré-digerir os projetos com seu pensamento crítico para que os eleitores possam entender a quintessência das propostas e tomar a decisão mais perspicaz.
● Se você acha que uma proposta está no desafio errado, verifique os comentários do Ideascale, pois essa conversa pode já ter acontecido. Entre em contato com o líder da equipe do desafio e/ou proponente para ver se a proposta foi aceita no desafio. Se você concluir que está no desafio errado, pontue e avalie adequadamente. Enquanto você está nisso, adicione comentários úteis adicionais sobre o conteúdo da proposta, isso pode ajudar o proponente na próxima vez.
● Lembre-se de que você trabalha para os eleitores (a comunidade), os proponentes e você mesmo nessa ordem.
Princípios Orientadores
Os princípios a seguir são projetados para PAs e devem ser seguidos para ajudar a comunidade a cumprir a intenção de ser um ambiente seguro e animado para explorar todo o potencial da colaboração humana.
● Tratar propostas e proponentes com respeito. Na fase de avaliação, você ainda pode entrar em contato com o proponente. Use esta oportunidade antes de fazer qualquer suposição. Os mal-entendidos são mais prováveis do que um comportamento maldoso. Embora seja fácil ter uma visão negativa de sugestões / mensagens / atividades que você não entende ou discorda, em vez de desperdiçar sua energia em argumentos, tente encontrar clareza e um terreno comum. Na maioria das vezes, é provável que você (ou o proponente, ou ambos) esteja simplesmente entendendo mal algo sobre o outro / a proposta / o desafio ou o contexto.
● Separe a ideia da forma como está escrita. Considerando a proposta como está escrita, ela expressa a ideia de forma adequada e fornece um caminho claro para o sucesso ou precisa de mais assistência/colaboração/recursos para atingir todo o seu potencial? Uma grande ideia mal comunicada pode parecer uma proposta ruim. Ofereça sua análise crítica das propostas de maneira respeitosa, discreta e não acusativa. Concentre-se no que é dito na proposta e não em quem está dizendo.
● Os Conselheiros da Comunidade oferecem conselhos. Ofereça seus melhores conselhos e feedback para ajudar os proponentes a redigir uma documentação melhor, explicar suas ideias com mais clareza, avaliar riscos ou construir equipes mais fortes. Esteja ciente de que, como PA, você não deve assumir a redação de uma proposta. Se você encontrar um projeto no qual deseja colaborar, terá que mudar seu próprio ponto de vista de PA para proponente. A integridade do sistema está nas mãos de cada um de nós e nas nossas decisões.
● Esteja atento ao seu tempo e conhecimento. Ninguém espera que você dedique mais tempo do que tem disponível. Portanto, avalie o máximo de propostas que puder e saiba que é o suficiente. Avaliar uma ou duas propostas já é uma ajuda fenomenal para este processo. Algumas propostas serão de natureza técnica, embora seja encorajado que os proponentes preparem suas propostas em um nível adequado para a maioria dos eleitores. Não se sinta obrigado a fornecer uma avaliação se uma proposta estiver além do seu conhecimento técnico. Mesmo que uma proposta exceda seu conhecimento técnico, você ainda pode ter habilidades e conhecimentos adequados para avaliar partes da proposta - nesse caso, sinta-se à vontade para fazê-lo. O Catalyst foi projetado para que a qualidade seja sempre mais recompensada do que a quantidade.
Critérios de Pontuação - Desafios Regulares
1) Impacto
A pontuação do impacto de uma proposta significa que você está avaliando se a proposta atende aos objetivos estabelecidos no desafio ou não. Como cada desafio tem seu próprio conjunto de objetivos, certifique-se de estar totalmente ciente deles ao realizar sua avaliação. Os objetivos podem ser encontrados no Ideascale sob o título "resumo da campanha" nas seções sobre como é o sucesso e as principais métricas a serem medidas. Como as configurações do desafio podem ser interpretadas de forma diferente por pessoas diferentes, é seu papel determinar e explicar ao eleitor por que a solução proposta se encaixa na categoria de desafio específica - com base no que o proponente comunicou e em seu próprio conhecimento. Não é possível avaliar efetivamente o impacto de uma proposta sem entender o desafio, então comece aprendendo primeiro sobre o desafio. É aconselhável trabalhar por desafio: concentre-se em um desafio de cada vez, mantendo o objetivo do desafio específico em mente enquanto avalia as propostas.
Características sugeridas de uma proposta impactante:
● A proposta identifica um problema dentro do desafio que precisa ser resolvido.
● A proposta articula claramente como agregará valor ao ecossistema Cardano.
● As principais métricas e objetivos da proposta se alinham com as configurações de desafio descritas.
● A proposta pode ser dimensionada para enfrentar os desafios futuros.
Significado da pontuação:
● (1) Eu discordo totalmente
● (2) Eu discordo
● (3) Neutro. Não concordo nem discordo
● (4) Eu concordo
● (5) Eu concordo plenamente
… que esta proposta responde eficazmente ao desafio.
2) Viabilidade
Pontuar a viabilidade de uma proposta significa que você está avaliando se é provável que uma proposta seja implementada com sucesso ou não. É sua tarefa como PA avaliar a capacidade da proposta de resolver o problema que foi identificado. Não há regras rígidas para isso; tudo dependerá de quais informações o proponente forneceu.
Uma proposta viável considerou os seguintes aspectos:
● O proponente fornece evidências (referências, links etc.) das habilidades e experiências relevantes necessárias para implementar a proposta.
● O proponente conhece, de maneira identificável, o tipo e o número de membros da equipe necessários para implementar a proposta.
● O orçamento é delineado claramente e dividido em itens identificáveis.
● O orçamento é razoável para atingir as metas estabelecidas.
● Se for necessário financiamento adicional para implementar a proposta, o proponente forneceu um plano verificável a esse respeito.
● A proposta oferece um cronograma realista para concluir o trabalho.
● A proposta fornece um plano de implementação sensato e viável que mostra não apenas o que está sendo feito, mas também como.
● O plano descreve os recursos necessários para implementar a proposta.
● A proposta explica claramente aspectos técnicos como arquitetura, linguagem e tecnologias se forem cruciais para a implementação.
● O proponente considerou desafios e riscos relevantes para uma implementação bem-sucedida.
Significado da pontuação:
● (1) Eu discordo totalmente
● (2) Eu discordo
● (3) Eu não concordo nem discordo
● (4) Eu concordo
● (5) Eu concordo plenamente
… que é altamente provável que esta proposta seja implementada com sucesso.
3) Clareza/auditabilidade
A pontuação da auditabilidade de uma proposta significa que você está avaliando se as informações fornecidas são suficientes para auditar o progresso e o sucesso da proposta. A fase de auditoria é essencial para garantir a implementação. Após o financiamento bem-sucedido, o proponente relata periodicamente o progresso à comunidade. Portanto, a comunidade precisa saber o que esperar do proponente desde o início. À medida que você trabalha com as propostas, procure marcos com medidas identificáveis de sucesso que, quando alcançadas, possam ser medidas pela comunidade.
Uma proposta auditável considerou os seguintes aspectos:
● Um roteiro com marcos e um horizonte de tempo para realização.
● Métricas/KPIs que definem o sucesso da proposta.
● Descrição clara e compreensível do problema visado.
● Solução clara e compreensível que aborda o problema.
Significado da pontuação:
● (1) Eu discordo totalmente
● (2) Eu discordo
● (3) Eu não concordo nem discordo
● (4) Eu concordo
● (5) Eu concordo plenamente
… que esta proposta me fornece informações suficientes para avaliar o progresso na consecução de seus objetivos declarados.
Critérios de pontuação - Configuração do desafio da comunidade
Os desafios definidos pela comunidade são críticos para a auto governança da comunidade Cardano e geram uma maneira única de alcançar a missão da Cardano.
A definição de desafios é diferente de outros desafios, pois trata-se de propor novos desafios, para o futuro. Os desafios definem quais questões e oportunidades serão o foco do próximo fundo, por exemplo, no Fundo 8, os eleitores escolherão os desafios do Fundo 9 , e os proponentes do Fundo 9 criarão projetos para resolvê-los. Os desafios devem ser relevantes e significativos para o ecossistema Catalyst e a comunidade e atender às necessidades e oportunidades que promovem nossos objetivos comuns.
1) Alinhamento
Este desafio é fundamental para cumprir a missão da Cardano.
2) Viabilidade
A comunidade Catalyst tem a capacidade de enfrentar esse desafio. Bônus se houver uma equipe de desafio estabelecida.
3) Verificabilidade
Os critérios de sucesso e as métricas sugeridas são definidos corretamente para medir o progresso na abordagem do desafio.
Catalyst Fund9 Desafio Definindo Metas Estratégicas
O Fund8 Challenge Setting recebeu contribuições da comunidade e das partes interessadas do IOG como parte de uma atividade de varredura de horizonte para ajudar a focar e centralizar o desafio Definindo Metas Estratégicas em alguns temas e atributos principais. Essas contribuições continuam como uma extensão do Fundo9 também.
Os desafios devem estar alinhados com os objetivos estratégicos do Fundo9:
1. Prepare um grupo de pessoas dispostas e capazes de fazer contribuições para o ecossistema.
2. Transforme Cardano em um projeto de código aberto.
3. Acelere o crescimento e a evolução do ecossistema de desenvolvedores e aplicativos.
Se as propostas do Fund9 Challenge Setting não atenderem a um ou mais dos atributos acima, a priorização da avaliação pelas PAs e eleitores deve favorecer as propostas que atendam a essas metas.
Saiba mais sobre o que é Challenge Setting nesta apresentação da equipe de desafio com tempo estampado de James Dunseith da Gimbalabs: https://youtu.be/nP0r5KwNtQk?t=4790
Definições de uma avaliação de qualidade
Estas são definições do Catalyst que são aplicadas para ajudar os participantes, incluindo Avaliadores de Proposta (PA), avaliadores de propostas veteranos (vPA), eleitores e proponentes a entender como avaliações e comentários de revisão devem ser fornecidos para que:
● Os PAs sejam claros sobre o que se espera deles para as avaliações
● Os vPAs sejam claros sobre o que se espera deles revisando as avaliações do PA
Essas definições foram definidas em consulta com a comunidade de avaliadores de propostas (PAs) e a comunidade de avaliadores de propostas veteranos (vPAs)
|
| Orientação sobre o que se espera | |
Foco | Por que isso é importante? | Excelente (onde a maioria ou todos são alcançados) | Bom |
Ciclo de feedback positivo | As PAs que fornecem coaching prático ajudam o proponente a entregar um projeto melhor. O leitor (eleitor, proponente e vPA) deve ser capaz de entender por que esses pontos de orientação são importantes para o avaliador de propostas e como abordá-los melhoraria a pontuação da proposta. | Pontos de coaching acionáveis são fornecidos para orientar o proponente sobre o que é e o que não é forte na proposta e/ou o que pode ser melhorado para se tornar uma proposta mais atraente no futuro. | O PA forneceu feedback sobre os pontos fortes e fracos da proposta; no entanto, o feedback carece de pontos de treinamento claros acionáveis ou os pontos de ação parecem não ser tão cuidadosamente considerados úteis para o proponente. |
Contemplação do PA de sua própria capacidade de avaliar uma proposta | PAs individuais podem vir de uma ampla gama de origens e níveis de experiência. Os PAs são encorajados a fornecer informações suficientes, mas concisas, sobre suas qualificações e conhecimentos relevantes em relação a uma proposta. Alternativamente, eles podem se referir a fontes de informações especializadas (um URL abreviado, por exemplo) ao fornecer feedback, desde que seja fornecido um contexto conciso sobre o motivo pelo qual essa fonte é fornecida. A falta de tais informações pode indicar uma opinião mais subjetiva ao leitor (eleitores, proponentes, vPAs). | O PA conseguiu definir quais afirmações eles estão mais qualificados para fazer na proposta, pode explicar sua adequação para abordar o Catalyst Challenge e a viabilidade dos planos, e quais opiniões são mais intuitivas ou fora do domínio de especialização do consultor. O PA conseguiu fazer isso sem problemas, mostrando que sabe do que está falando por meio de argumentação cuidadosa e detalhes pertinentes, mostrando sua profunda compreensão do assunto da proposta sem colar um resumo completo. (Se você é um especialista em um campo, você deve ser capaz de ensinar ao leitor algo que eles podem não ver sem esse conhecimento). | O PA demonstra prova de pensamento crítico em sua argumentação Mas O PA forneceu apenas uma clareza tênue sobre quais de suas afirmações são feitas com base em sua própria experiência de domínio e quais são mais intuitivas ou têm menos experiência ou conhecimento. Ou Não está claro como o PA chegou a alguns de seus julgamentos se as afirmações feitas estão fora do conhecimento do domínio do PA ou no caso de o conhecimento do domínio do PA permanecer desconhecido para o leitor |
Pontuação da PA em relação aos critérios do Desafio | O leitor (um eleitor, um proponente e vPA) deve ser capaz de entender como a pontuação reflete a perspectiva do orientador e o feedback fornecido. As especificidades da proposta são destacadas para ilustrar a compreensão, e o consultor forneceu uma justificativa de apoio que está alinhada com os critérios. | O PA forneceu uma justificativa razoável e ponderada para apoiar a pontuação. O feedback do PA aborda o conteúdo específico avaliado nesta proposta. O feedback do PA é completo e demonstra que a totalidade da proposta foi considerada e compreendida. A pontuação e os comentários do PA são bem equilibrados e lógicos, indicando que o feedback foi baseado em uma análise sólida de todas as informações fornecidas | O PA fez uma tentativa justa de justificar sua pontuação em relação aos critérios de contestação; no entanto, o feedback em geral carece de especificidade ou clareza para apoiar sua lógica e pontuação, mas ainda é útil e agrega valor ao eleitor. | |
Parecer do PA sobre a proposta geral
| Cada desafio tem seus próprios resultados pretendidos. O trabalho dos avaliadores e eleitores é qualificar a validade e adequação das atividades descritas na proposta e se é um bom uso dos recursos do Tesouro Cardano para alcançá-las. | Os comentários de feedback do PA são inequívocos e demonstram uma forte compreensão dos objetivos do desafio do Catalyst e dos objetivos da equipe do projeto para lidar com o desafio. | O comentário do PA demonstra um entendimento básico sobre os objetivos do projeto para enfrentar o desafio; no entanto, existem lacunas identificadas em seu feedback ou o feedback carece de um entendimento claramente documentado. | |
Responsabilidade com a Comunidade | As medidas que estão sendo tomadas para que a equipe do projeto permaneça responsável perante a Comunidade estão no centro do Catalyst. | O PA identifica claramente como a equipe proponente demonstrará seu retorno positivo sobre a intenção. A pontuação do PA é respaldada por uma fundamentação de suporte, quer eles concordem ou discordem respeitosamente com o realismo e a clareza dos planos e orçamento para entregar valor pelo dinheiro apropriado às intenções do projeto. | A PA forneceu feedback; no entanto, existem lacunas identificadas e falta feedback relacionado à auditabilidade dos proponentes, planos de projeto ou adequação orçamentária para cumprir as intenções do projeto. | |
Insight para o comprimento: em geral, avaliações com comprimento entre 2.000 e 4.000 caracteres (300 a 700 palavras) em todos os 3 critérios se saem bem. Este é um guia, não uma regra. Avaliações mais longas receberam uma classificação de excelente, assim como as mais curtas. A quantidade não é um determinante da qualidade, e você deve ser o mais sucinto possível e ainda agregar valor.
Observar todos os itens acima pode parecer assustador, mas se você se concentrar em ser genuinamente útil para os eleitores e proponentes, oferecendo a eles suas habilidades de pensamento crítico, suas avaliações devem se encaixar naturalmente.
Declarações de Avaliação Inadequadas:
Raciocínios semelhantes aos apresentados abaixo não estão de acordo com os padrões dessas diretrizes, pois não oferecem orientação aos eleitores e proponentes, e serão filtrados. Para que suas avaliações sejam consideradas na classificação geral, devem ser evitadas declarações de avaliação inadequadas.
Para obter informações sobre o processo de revisão das avaliações, siga as diretrizes para vPA (avaliador de propostas veterano).
Sem justificativa:
● Esta proposta está apenas atrás de dinheiro.
● Esta proposta é irrelevante.
● Não consegui entender a proposta
● Não posso avaliar a proposta.
● Por favor, não vote nesta proposta.
● É uma proposta muito boa. Deve ser implementada.
● Esta proposta [não] aborda efetivamente o desafio.
● É altamente [im]provável que esta proposta seja implementada com sucesso.
● Esta proposta [não] me fornece informações suficientes para avaliar o progresso na consecução de seus objetivos declarados.
Apenas uma opinião pessoal dada:
● Essa proposta é terrível.
● Eu gosto da ideia, mas não do proponente.
● Isso é uma piada?
● Muitas propostas semelhantes.
● Pedindo muito dinheiro.
Avaliação não construtiva:
● A proposta está mal redigida, não há informações suficientes para entendê-la adequadamente e seu propósito não corresponde completamente aos objetivos do desafio.
● A experiência do proponente não é suficiente para executar o projeto, e não há informações sobre a contratação de especialistas. Muito improvável que tenha sucesso.
● Esta é uma proposta maravilhosa, uma das melhores que já vi até agora. Isso terá um tremendo impacto no futuro de Cardano. A equipe também é maravilhosa e com certeza vai entregar!
Outros aspectos de uma avaliação inadequada:
● A avaliação é dada a partir de uma perspectiva tendenciosa.
● Está claro que a proposta não foi lida pelo PA.
● Está claro que os critérios de pontuação e as diretrizes de avaliação não foram aplicados ou compreendidos pelo PA.
● O PA carece de uma articulação clara da fundamentação da avaliação de forma construtiva.
● O comprimento da avaliação é insuficiente para fornecer valor, por exemplo, menos de 150 caracteres nos três campos de critérios da avaliação. Estes serão filtrados.
● A avaliação é composta de conteúdo sem sentido. Aqui está um exemplo real disso de uma avaliação anterior:
“Aceito que a aprendizagem de causação de pontos centrais heterogêneos periféricos que são frequentes é a chave para ser hábil para lançar espreitadelas auxiliares com mais frágeis e sem meio neste trecho.”
Uma ótima maneira de evitar cair em maus hábitos de avaliação é ler algumas das avaliações filtradas dos fundos anteriores. Copiar/colar o conteúdo do modelo entre as avaliações será sinalizado no processo de revisão por uma análise de similaridade (consulte a próxima seção para obter mais detalhes) e muitas vezes resultará na eliminação da avaliação.
Exemplos de avaliações de alta qualidade para inspiração e treinamento:
Uma ótima maneira de escrever avaliações excelentes é primeiro ler exemplos de avaliações excelentes e ter uma ideia de sua estrutura, estilo e abordagem. Antes de começar, e para aproveitar ao máximo seu investimento de tempo e intenção, é recomendável que você leia várias avaliações excelentes de fundos anteriores. Você também deve revisar os exemplos inadequados posteriormente neste guia para evitar hábitos que produzem resultados de baixa qualidade e fazem com que as avaliações sejam filtradas no processo de revisão.
Os avaliadores de propostas que dedicam tempo para essa importante etapa no início são muito mais bem-sucedidos em produzir avaliações de qualidade e fornecer valor à comunidade. Você também pode consultar esses exemplos para se inspirar enquanto trabalha. Lembre-se, estes estão aqui apenas como um guia. Seu trabalho deve ser seu.
Estes são três exemplos de avaliações do Fund7 com as melhores avaliações, seguidas de um link para as onze avaliações do Fund7 com as melhores avaliações.
Exemplo de Avaliação 1
Proposta: Stakeboard: Plataforma de Staking Social
Link para Proposta: https://app.ideascale.com/t/UM5UZBrJv
Avaliação de Impacto: Classificação de 5 (concordo totalmente)
“O problema descrito nesta proposta está intimamente alinhado com o desafio. A descentralização é um pilar central e muito importante para qualquer blockchain público. Embora Cardano tenha uma excelente distribuição de produtores de blocos em comparação com outras blockchains PoS, é importante notar que no espaço criptográfico há muitos casos em que a concorrência é nivelada, especificamente neste caso é o problema das blockchains PoS que tem poucos validadores (menos de 30) e em muitos casos diferentes validadores são controlados pela mesma entidade.”
”A descentralização é o que garante segurança e resistência à censura em uma blockchain pública, pois aumenta os custos dos ataques (como 51% de ataque), desencorajando os criadores de blocos de conspirar para atacar a blockchain. A proposta descreve de forma clara e objetiva os pontos problemáticos que centralizam a produção de blocos em Cardano, que são grandes exchanges e donas de multi-pools.”
“A solução proposta pretende facilitar a UI/UX de quem delega através de um marketplace. Como moderador da comunidade Cardano recebo quase diariamente reclamações de usuários que têm dificuldades em buscar informações sobre como e onde escolher um pool. Hoje, esse tipo de informação é curado manualmente na grande maioria dos casos e ter uma plataforma que pode oferecer curadoria tem boas chances de nivelar o campo de jogo entre os SPOs.”
”As métricas/indicadores/KPIs indicam um grande impacto potencial no ecossistema SPO.”
Avaliação de Viabilidade: Classificação de 4 (concordo)
” Antes de mais nada, o Stakeboard já é um projeto em pleno desenvolvimento e com vários resultados concluídos antes de receber financiamento do Catalyst, o que indica uma equipe confiável e produtiva.”
“As informações sobre a equipe descritas na proposta são detalhadas, as experiências descritas e o trabalho já realizado indicam que a equipe tem plena capacidade para desenvolver esse trabalho. A repartição do orçamento descreve 3 itens, porém há poucos detalhes sobre como o dinheiro será gasto. A definição de US$ 5.000 para "UX" me parece vaga, o que compromete a avaliação de viabilidade do orçamento solicitado. Gostaria de ver mais detalhes indicando a quantidade de trabalho para cada etapa/tempo exigido x remuneração correspondente.”
” Apesar do vago orçamento solicitado, acredito que o valor solicitado é razoável, dada a remuneração de 2 engenheiros e as entregas propostas. O roteiro está muito bem preparado, há clareza no cronograma, entregas/marcos ao longo do tempo.”
“O plano em si não apresenta grande complexidade técnica ou barreiras, pois o conceito é mais focado na curadoria de informações/dados em um site. O único ponto que vejo como um risco e que levanta dúvidas sobre a viabilidade do marketplace é como o Stakeboard vai lidar com a barreira linguística, considerando que o objetivo é uma UI/UX mais fácil, como os usuários que não falam inglês serão atendidos?”
Avaliação de auditabilidade: Classificação de 4 (concordo)
“Há clareza na descrição do problema, da solução e de como a proposta se alinha com eles. O roteiro está muito bem desenhado, existem entregas/marcos que facilitam a auditoria da proposta.”
” As métricas e KPIs foram bem escolhidas e acredito que sejam bons indicadores para avaliar o sucesso, pois os resultados escolhidos indicam claramente o número de usuários e SPOs participantes e a progressão ao longo do tempo.”
Exemplo de Avaliação 2
Proposta: Mapeamento do Ecossistema Latam Blockchain
Link para Proposta: https://app.ideascale.com/t/UM5UZBrRP
Avaliação de Impacto: Classificação de 2 (discordo)
“Achei um pouco confusa a ideia desta proposta, e não tenho certeza se ela se alinha bem com os objetivos do desafio. Pelo que entendi, o projeto aqui consistiria em traçar um mapeamento dos diversos projetos envolvendo blockchain na América Latina. Haveria uma espécie de coleta e análise de dados, com o objetivo de entender de forma geral como é o investimento e o empreendedorismo latino-americanos em relação ao blockchain. No entanto, tenho algumas dúvidas sobre a utilidade disso. A começar pelo fato de que em nenhum momento, durante a descrição da proposta, a equipe cita Cardano, enfatiza especificamente como nosso blockchain seria direcionado, explica como essa pesquisa aconteceria, que tipo de dados eles analisariam, onde os resultados seriam apresentados. Também achei um pouco confuso entender do que se tratam os eventos que eles falam no final da proposta: "Com isso, após cada evento o status da métrica de atividade será compartilhado com o Catalyst". Em nenhum momento da descrição da proposta foi explicado o que seriam esses eventos, imagino que poderiam ser conferências com o objetivo de expor a pesquisa realizada, mas seria fundamental que tivéssemos total compreensão de todas as partes da proposta. Também achei um pouco difícil de entender qual seria a intenção de tal pesquisa, os autores afirmam que entenderiam o que falta no desenvolvimento de projetos com o objetivo de melhorá-los. Porém, isso é bem abstrato, cada projeto que envolve o Cardano tem um viés específico, não entendo como um único grupo conseguiria promover soluções para diferentes tipos de projetos. Acho que a América Latina seria beneficiada, enquanto os projetos ali desenvolvidos fossem contemplados com esse tipo de consultoria, beneficiando as pessoas envolvidas e talvez maximizando os resultados; o ecossistema Cardano também se beneficiaria se os projetos envolvessem diretamente nossa moeda, nosso blockchain, NFT e outras tecnologias de ecossistema, mas como eu disse antes, eles não citam diretamente Cardano em nenhum momento. Por isso acho que a proposta não parece trazer o impacto que buscamos, não esclarece muito bem como as atividades seriam realizadas, se o conteúdo estudado seria de conhecimento apenas da equipe ou se haveria algum tipo de troca entre os empreendedores, formando uma rede de conexões... Existem várias dúvidas.”
Avaliação de Viabilidade: Classificação de 2 (discordo)
”A equipe nos fornece uma descrição individualizada de cada membro para que possamos conhecê-los e entender bem o que é seu trabalho. O que me faltou foi, além de conhecer seus nomes e funções no projeto, um breve histórico de trabalhos anteriores e principalmente: como esses profissionais se relacionam com o ecossistema Cardano? Quais são as formas de dialogar diretamente com nosso blockchain? Normalmente em projetos temos pelo menos uma pessoa que tem conhecimento técnico sobre nossas tecnologias blockchain, mas isso não acontece aqui. É positivo que haja uma pessoa cuja função seria monitorar os KPIs e uma pessoa especializada em marketing, mas seria fundamental que houvesse também alguém da área de tecnologia. Como tal, a equipe não transmite muita confiança em sua capacidade de realizar o projeto com sucesso. Em relação ao roteiro, aqui temos o estabelecimento de atividades que seriam realizadas com base nos meses - mas acredito que essa parte faltou detalhes. Cada um desses tópicos poderia ter sido melhor explicado, as explicações são muito superficiais. Por exemplo: no primeiro mês, o que aconteceria seria basicamente uma preparação de campo. Analise o que seria feito e como. Mas quem trabalharia nessa parte, que metodologias pretendem adotar, quais seriam as mobilizações semanais? Da mesma forma, existem algumas dúvidas em relação às atividades desenvolvidas nas demais fases. E sobre o orçamento é a mesma coisa: eles até explicam, mas é muito curto. "Comunicação, relações públicas e marketing = $ 12.400". Por que esse valor? Quanto iria para a comunicação, para as relações públicas e para o marketing? Qual seria a estratégia de marketing utilizada? O valor total solicitado é relativamente alto, com mais de 1/3 destinado a essa parte da divulgação... precisa de mais detalhes para entender o que de fato ia acontecer.”
Avaliação de auditabilidade: Classificação de 2 (discordo)
” A equipe não estabelece KPIs diretos que serviriam para monitorar o sucesso do projeto. O que temos aqui é, ao final da proposta, uma explicação um tanto confusa sobre alguns eventos (como disse no primeiro tópico de análise, seria importante entender do que se trata: seu conteúdo, quem participaria, onde aconteceria...) e também na elaboração de um relatório ao final de 1 ano de trabalho. Mas como não sabemos quais são esses eventos, não há confiança de que as atividades seriam realmente monitoradas. Eu acho que um relatório anual é uma coisa muito grande, deveria ser feito mensalmente. Como temos uma pessoa na equipe (Paula) que trabalharia diretamente com o controle de KPIs, acho que poderíamos ter uma auditoria mais detalhada e concreta. Além dos relatórios mensais, algum tipo de contato poderia ser feito com as equipes dos projetos analisados. Uma espécie de coleta de feedback, ou seja, para que pudéssemos entender como essas consultorias impactaram positivamente seus projetos, que diferença, na prática, o projeto em questão está trazendo para o continente. Nos relatórios, seria essencial que os autores esclarecessem como as atividades beneficiaram especificamente nosso blockchain, pois isso é um pouco incerto em todos os detalhes da proposta. Em geral, não concordo que esta proposta seja facilmente auditável através das informações fornecidas, não consigo ver formas diretas de avaliar o processo ou os resultados com base no que nos foi apresentado.”
Exemplo de Avaliação 3
Mecanismo de Recompensa de Trabalho Distribuído
Link para a Proposta: http://app.ideascale.com/t/UM5UZBm5R
Avaliação de Impacto: Classificação de 4 (concordo)
”Acredito que a proposta aborda o desafio, no entanto, a proposta parece estar orientada para o "sistema de atribuição, avaliação e recompensa" de projetos relativamente pequenos e, embora isso seja uma contribuição para o desafio, não é claro, dadas as informações fornecidas, como a equipe prevê que seu projeto possa ser dimensionado para os requisitos atuais e futuros do Projeto Catalyst e Voltaire (ou seja: Cardano em geral). A equipe proponente demonstra experiência, conhecimento e interesse no assunto em questão. Eu entendo que eles estão propondo uma abordagem de aprender fazendo e que eles estão enfatizando a execução e documentação de seu experimento. Recomendo fortemente que, se a proposta for financiada, a equipe preste atenção especial em pensar em como sua experiência, além de ser transferida para outras organizações do Ecossistema Cardano, pode ser dimensionada para contribuir diretamente para o Projeto Catalyst ASAP e para a era Voltaire no futuro próximo, para extrair o máximo valor de seu esforço para a comunidade.”
Avaliação de Viabilidade: Classificação de 4 (concordo)
“Dada a experiência apresentada, acredito que é muito provável que a proposta seja implementada com sucesso. No entanto, também acredito que a equipe projetou um cronograma muito apertado, em particular, para realizar os "test runs" e sua documentação. Como todos sabemos no espaço blockchain, esse tipo de teste sequencial tende a esticar os prazos. Além disso, nesta proposta, a equipe fornece marcos para três, seis e doze meses, mas apenas um roteiro detalhado para três meses. Não está claro ou convincente (a partir dessa falta de informação) como a equipe cumprirá seus objetivos de longo prazo. Estou ciente de que a equipe indicou que esta proposta "informará e fornecerá materiais de suporte para a proposta SecretDecks "Off to On-Chain Self Governance"", e farei o meu melhor para avaliar essa proposta também, mas a avaliação desta proposta tem que se basear apenas nas informações que ela contém e é dessa informação (ausente) que eu sinalizo para a equipe e outros essa questão de informações incompletas. Parece-me que a equipe confia em suas capacidades e experiência e elaborou um plano "mais completo", mas está em processo de dividi-lo em propostas sequenciais, não conseguiu rastrear a exaustividade de toda a informação necessária para manter esta proposta íntegra. Como a equipe parece competente e experiente, interessada e dedicada ao projeto, estão subjacentes à confiança que atribuo ao seu sucesso. No entanto, se forem financiadas (mas também se não são) sugiro prestar atenção à questão da integralidade de cada proposta individual para sua execução (ou para sua inclusão em uma futura rodada de financiamento).”
Avaliação de auditabilidade: Classificação de 3 (não concordo nem discordo)
“As informações fornecidas são suficientes para auditar integralmente o andamento e o sucesso da primeira etapa de três meses da proposta. Além disso, os marcos fornecidos são suficientes para avaliar o sucesso do projeto em seis e doze meses. No entanto, será necessário um auditor dedicado e experiente, com conhecimento técnico na área de domínio específica (desenvolvimento de software, SourceCred, blockchain, Cardano stack? etc.). Além disso, o segundo componente do marco de seis meses "alcançou o status de autofinanciamento", é algo que nenhum projeto (na história) garantiu e que não há como garantir. Sim, é altamente provável atingir esse objetivo nas tecnologias blockchain, no entanto, não é um marco adequado, pois é muito independente do trabalho da equipe.”
11 Avaliações de Melhores Práticas, altamente classificadas do Fund7
Aqui está um link para onze avaliações de melhores práticas do Fund7 (recurso da comunidade)
Considere isso como uma leitura adicional para ajudar a fornecer mais exemplos de como é um excelente trabalho de avaliação. Apenas lembre-se de que cada proposta deve ser considerada um trabalho individual e deve ser avaliada por si só. Comparar uma proposta com outra e usar uma abordagem de julgamento comparativo, em que duas ou mais propostas são consideradas e pontuadas lado a lado, não é a melhor prática.
Exemplos de avaliações inadequadas:
Aqui estão alguns exemplos de avaliações que ficaram aquém e foram filtradas.
Verificação de comprimento: (9 caracteres)
Impacto: Sim
Viabilidade: Sim
Auditabilidade: Sim
Verificação de comprimento: (132 caracteres)
Impacto: boa ideia, proposta bem apresentada e clara. ele aborda o desafio completamente
Viabilidade: equipe experiente
Auditabilidade: tudo é claramente auditável
Verificação de comprimento: (148 caracteres)
Impacto: Preencherá uma grande necessidade da comunidade se executado corretamente.
Viabilidade: A equipe parece ter um bom plano com as peças necessárias para executar.
Auditabilidade: Parece ótimo
Verificação de semelhança:
Verificação de similaridade: (usado por 6 PAs no Fundo 7)
Impacto: é um projeto de bom valor que atenderá a uma necessidade imediata de maneira rápida e direta, por isso deve ser bastante impactante
Verificação de similaridade (usada por 9 PAs no Fundo 7)
Impacto: A solução proposta pelo proponente foi muito específica, resolveu alguns dos desafios mais importantes da campanha.
A avaliação foi concluída.
O que acontece depois?
Revisando o Processo de Avaliação
Este é um processo de autocorreção que precede a fase de submissão de votação e fornece um serviço para PAs e proponentes ao recrutar avaliadores de propostas veteranos para revisar as avaliações de qualidade e passar apenas as avaliações boas e excelentes para os eleitores.
Na semana seguinte às avaliações do PA:
1. Um script de similaridade será executado centralmente procurando avaliações semelhantes no fundo atual e em fundos anteriores. Estes serão sinalizados para serem potencialmente descartados.
2. Uma verificação de comprimento será feita centralmente, avaliações com um comprimento de caractere de 150 caracteres ou menos (em todos os 3 critérios) serão sinalizadas para serem potencialmente descartadas.
3. As avaliações em branco (pelo menos um dos 3 critérios é deixado em branco) serão descartadas.
4. As avaliações que exibem copiar/colar de modelos sem contribuição ponderada de valor específico para a proposta serão sinalizadas para revisão e potencialmente descartadas.
5. Os membros da comunidade revisarão as avaliações procurando evidências de avaliações de jogos/sem sentido. Estes serão sinalizados para serem potencialmente descartados.
As avaliações descartadas não serão levadas para a fase de revisão do vPA e não serão elegíveis para recompensas.
Em seguida, os avaliadores de proposta veteranos têm tempo específico para revisar as avaliações:
1. Um arquivo CSV anônimo contendo todas as avaliações será passado para revisão por pares por PAs veteranos que filtrarão avaliações abaixo do padrão. (Ferramentas como a ferramenta vPA https://cardanocataly.st/vCA-tool/#/ existem para ajudar nisso)
2. Os proponentes também serão convidados a relatar avaliações abaixo do padrão.
3. PAs experientes (conhecidos como vPAs – avaliadores de proposta veteranos) decidem quais avaliações relatadas devem ser excluídas.
4. Um administrador do Catalyst remove os resultados da etapa 3. Uma lista de todas as avaliações removidas será publicada e uma retrospectiva para revisar o processo para o próximo fundo será realizada.
Submissão de votos
● A pontuação da avaliação e um link para o URL da proposta na plataforma de inovação Ideascale estarão visíveis no aplicativo Catalyst Voting.
● Todas as justificativas fornecidas pelos PA's serão anexadas à proposta original no Ideascale.
Anonimato
A identidade do PA será mantida anônima no Ideascale. No entanto, apesar de nossos melhores esforços e testes, há sempre um pequeno risco, devido à natureza do Ideascale ser uma ferramenta de terceiros e o anonimato ser um recurso experimental, de que a identidade do PA possa se tornar conhecida. Certifique-se de que compreende esse risco antes de avaliar as propostas.
Recompensa
As funções da comunidade (assessores, referências, etc.) são recompensadas geralmente dentro de duas semanas após os resultados do fundo por meio de endereços de carteira, conforme observado em seus perfis de Ideascale. Suas carteiras devem estar atualizadas quando os resultados forem publicados. Não há uma "data de recompensa" específica devido à complexidade do processo e processos humanos relacionados.
Atualização do Esquema de Recompensa para avaliadores de propostas Iniciados no Fundo 6
O objetivo dos incentivos é garantir que os PAs forneçam uma avaliação ponderada e justa a todas as propostas e que cada proposta receba pelo menos três avaliações. Portanto:
Um total de 5% do valor do fundo do desafio será alocado como incentivos para PAs e vPAs:
● 4% serão alocados como recompensas para avaliações para PAs
● 1% será alocado para incentivar aqueles que revisam as avaliações (vPAs)
Objetivos da atualização de recompensa:
● Crescer a comunidade de avaliadores de propostas de forma sustentável, mantendo um núcleo de profissionais qualificados, com recompensas justas como parte integrante
● Fornecer incentivos para avaliações de alta qualidade
● Fornecer análise abrangente para propostas de alto orçamento
● Garantir que cada proposta seja revisada e que as revisões dos PAs tenham qualidade garantida para fornecer aos avaliadores de propostas:
● Esquema de recompensa transparente
● Valor de recompensa previsível dependente do nível de qualidade da revisão; se houver riscos - eles devem ser compreensíveis e ter estratégias claras para serem tratadas
● Suporte para uma opção de aprimoramento gradual de habilidades: revisores experientes receberiam recompensas maiores por revisões de alta qualidade, novos revisores ainda teriam um motivo para contribuir.
Para obter mais detalhes sobre este novo algoritmo recompensador - consulte os slides da prefeitura do Catalyst aqui e a explicação em vídeo aqui .
Principais mudanças em relação aos fundos anteriores
Implementado desde o Fundo8
● Este documento descreve as mudanças no gerenciamento de recompensas e reputação para os conselheiros comunitários veteranos.
● Palavra rápida sobre os campos dos Objetivos de Desenvolvimento Sustentável (ODS) no Ideascale
o Desde o Fund8, há um campo opcional para que os Proponentes enviem/destaquem as classificações dos ODS para suas propostas, quando relevante. Isso faz parte de uma iniciativa de projeto financiado pelo Fund6 que introduziu o conceito para a comunidade Catalyst. No Fund8 foi considerado como parte do próprio formulário de submissão. Você pode saber mais sobre ele através dos seguintes links:
▪ Vídeo de encerramento: https://youtu.be/ypg6OwoIhyU
Implementado desde o Fund7
● Este documento foi produzido para fornecer uma visão geral esclarecedora da estrutura de recompensas.
● Novas ferramentas de revisão de avaliação estão em vigor, incluindo: um MVP de banco de dados de atividades para registrar o envolvimento de PA ao longo do tempo, um script de avaliação de singularidade e limite de exclusão para filtrar PAs mal-intencionados automaticamente e um MVP de reputação simples.
Implementado desde o Fundo6
Para avaliadores de propostas:
● O número de avaliações premiadas por proposta aumenta de 3 para 5.
● As avaliações serão classificadas como Excelente / Boa / Filtrada.
● Avaliações excelentes receberão 3 vezes mais recompensas do que boas
● As avaliações filtradas não receberão recompensas e não influenciarão a pontuação final
● O orçamento de recompensas de cada proposta se encaixa em 2 avaliações Excelentes e 3 Boas.
● Se houver mais de 2 avaliações Excelente ou 3 Boas, um sistema de loteria é usado. O sistema de recompensas da CA é explicado neste documento.
● Recompensas de bônus estão disponíveis (20% do orçamento total de recompensas da PA) para avaliações. ‘Aprovado’ pela comunidade (não necessariamente financiado), proporcional ao orçamento das propostas.
Avaliadores de Propostas Veteranos (vPAs)
● As recompensas são proporcionais ao número de avaliações feitas
Por favor, encaminhe quaisquer outras perguntas para o canal Telegram: Avaliadores de Proposta do Catalyst ou o PA/VPA Discord Server
Para ver os workshops da Catalyst School sobre "Como ser um avaliador de propostas" e "Como ser um avaliador de propostas veterano", visite o canal do YouTube da Catalyst School.
Este documento foi atualizado pela última vez em 12 de março de 2022 com grandes atualizações e está em vigor para o Fundo8.
A equipe do Project Catalyst agradece a todos os nossos PAs por ajudarem a construir o futuro de Cardano e por serem coautores dessas diretrizes!