ComfyUI

ComfyUI est un programme open source basé sur des nœuds qui permet aux utilisateurs de générer des images à partir d'une série d' invites de texte . Il utilise des modèles de diffusion libre tels que Stable Diffusion comme modèle de base pour ses capacités d'image combinées à d'autres outils tels que ControlNet et LCM Low-rank Adaptation , chaque outil étant représenté par un nœud dans le programme.

ComfyUI a été publié sur GitHub en janvier 2023. Selon comfyanonymous, le créateur, l'un des principaux objectifs du projet était d'améliorer les conceptions de logiciels existantes en termes d' interface utilisateur . Le créateur avait été impliqué dans Stability AI, mais le 3 juin 2024, cette implication avait pris fin et une organisation appelée Comfy Org avait été créée avec les développeurs principaux. En juillet 2024, Nvidia a annoncé la prise en charge de ComfyUI dans son logiciel de modding RTX Remix . En août 2024, la prise en charge a été ajoutée pour le modèle de diffusion Flux développé par Black Forest Labs et Comfy Org a rejoint l'Open Model Initiative créée par la Linux Foundation . En novembre 2024, le projet comptait 58,6 000 étoiles sur GitHub.

La principale caractéristique de ComfyUI est qu'il est basé sur des nœuds. Chaque nœud a une fonction telle que « charger un modèle » ou « écrire une invite ». Les nœuds sont connectés pour former un graphique de flux de contrôle appelé workflow. Lorsqu'une invite est mise en file d'attente, un cadre en surbrillance apparaît autour du nœud en cours d'exécution, à partir du « point de contrôle de chargement » et se terminant par l'image finale et son emplacement de sauvegarde. Les workflows se composent généralement de dizaines de nœuds, formant un graphique acyclique dirigé complexe . Les types de nœuds incluent le chargement d'un modèle, la spécification d'invites, les échantillonneurs, les planificateurs, les décodeurs VAE , la restauration de visage et les modèles de mise à l'échelle, les LoRA, les intégrations et les ControlNets. Plusieurs échantillonneurs sont pris en charge, tels que Euler, Euler_a, dpmpp_2m_sde et dpmpp_3m_sde. Les flux de travail peuvent être enregistrés dans un fichier, ce qui permet aux utilisateurs de réutiliser les flux de travail des nœuds et de les partager avec d'autres utilisateurs. Le format de fichier des flux de travail est en JSON et peut être intégré dans les images générées. Les utilisateurs ont également créé des extensions personnalisées au système de base qui sont exposées en tant que nouveaux nœuds, comme l'extension pour AnimateDiff, qui vise à créer des vidéos. ComfyUI a été décrit comme plus complexe par rapport à d'autres interfaces utilisateur de diffusion telles que Automatic1111 . Un groupe de nœuds par défaut est également inclus dans le programme. En décembre 2024, 1 674 nœuds étaient pris en charge. ComfyUI prend en charge plusieurs modèles de texte en image, notamment Stable Diffusion, Flux et Hunyuan-DiT de Tencent , ainsi que des modèles personnalisés de Civitai comme Pony .

En juin 2024, un groupe de hackers appelé « Nullbulge » a compromis une extension de ComfyUI pour y ajouter du code malveillant. L'extension compromise, appelée ComfyUI_LLMVISION, a été utilisée pour intégrer l'interface aux modèles de langage d'IA GPT-4 et Claude 3 , et était hébergée sur GitHub . Nullbulge a hébergé une liste de centaines d'informations de connexion d'utilisateurs de ComfyUI sur plusieurs services sur son site Web, tandis que les utilisateurs de l'extension ont signalé avoir reçu de nombreuses notifications de connexion. vpnMentor a mené des recherches de sécurité sur l'extension et a affirmé qu'elle pouvait « voler des portefeuilles cryptographiques , faire une capture d'écran de l'écran de l'utilisateur, exposer les informations sur l'appareil et les adresses IP , et voler des fichiers contenant certains mots-clés ou extensions ».

Le site Web de Nullbulge affirme qu'ils ont ciblé les utilisateurs qui ont commis « l'un de nos péchés », qui comprend la génération d'art par l'IA, le vol d'art, la promotion de cryptomonnaies et tout autre type de vol d'artistes comme sur Patreon . Ils ont affirmé qu'ils étaient « un collectif d'individus qui croient en l'importance de protéger les droits des artistes et d'assurer une rémunération équitable pour leur travail » et qu'ils pensaient que « les œuvres d'art générées par l'IA sont préjudiciables à l'industrie créative et devraient être découragées ».