DDColor是什么
DDColor是阿里巴巴达摩院DAMO Academy推出的一款基于PyTorch实现的图像上色工具,其核心是2023年国际计算机视觉大会(ICCV 2023)的论文《DDColor: Towards Photo-Realistic Image Colorization via Dual Decoders》所提出的技术。该工具主要通过双解码器架构和多尺度视觉特征优化可学习的颜色标记(即颜色查询),致力于实现高度逼真的黑白图像自动上色。它能够为历史黑白老照片赋予生动自然的色彩,让泛黄的老照片重现鲜活场景;还能对动漫游戏中的风景画面进行上色或重新着色,将二次元风格的场景转化为贴近现实的写实风格,例如《原神》中的游戏景观经其处理后可呈现出真实世界的质感。无论是修复珍贵历史影像资料,还是为创意设计、艺术创作提供色彩灵感,DDColor都能帮助用户快速获得高质量的上色结果,大幅提升图像内容的视觉表现力与情感传达效果,具有重要的文化保护价值和广泛的创意应用前景。
DDColor使用示例
本地脚本推理(无需basicsr):首先从ModelScope下载预训练模型,执行代码“from modelscope.hub.snapshot_download import snapshot_download; model_dir = snapshot_download(‘damo/cv_ddcolor_image-colorization’, cache_dir=’./modelscope’); print(‘model assets saved to %s’ % model_dir)”获取模型文件;然后运行推理脚本,如“python infer.py –model_path ./modelscope/damo/cv_ddcolor_image-colorization/pytorch_model.pt –input ./assets/test_images”或直接执行“sh scripts/inference.sh”。
Hugging Face推理:通过Hugging Face Hub加载模型,例如“from infer_hf import DDColorHF; ddcolor_modelscope = DDColorHF.from_pretrained(‘piddnad/ddcolor_modelscope’)”,更多推理细节参考infer_hf.py,也可直接运行“python infer_hf.py –model_name ddcolor_modelscope –input ./assets/test_images”(model_name可选ddcolor_paper/ddcolor_modelscope/ddcolor_artistic/ddcolor_paper_tiny)。
ModelScope推理:安装ModelScope库(pip install modelscope),运行代码“import cv2; from modelscope.outputs import OutputKeys; from modelscope.pipelines import pipeline; from modelscope.utils.constant import Tasks; img_colorization = pipeline(Tasks.image_colorization, model=’damo/cv_ddcolor_image-colorization’); result = img_colorization(‘https://modelscope.oss-cn-beijing.aliyuncs.com/test/images/audrey_hepburn.jpg’); cv2.imwrite(‘result.png’, result[OutputKeys.OUTPUT_IMG])”,系统会自动下载模型并完成推理(模型文件pytorch_model.pt位于本地路径~/.cache/modelscope/hub/damo)。
Gradio演示:安装依赖库(pip install gradio gradio_imageslider timm),运行“python gradio_app.py”启动交互式演示界面。