暫無描述

rongrunxiang b84e570112 集成		5 月之前
file_not_used	6e44d520ab init	5 月之前
files	6e44d520ab init	5 月之前
images	49a98a84c9 文生图+图谱校验	5 月之前
.gitignore	6e44d520ab init	5 月之前
answerQuestions.py	b84e570112 集成	5 月之前
buildVectors.py	fdb27daccc init	5 月之前
img.py	49a98a84c9 文生图+图谱校验	5 月之前
kg.py	b84e570112 集成	5 月之前
readme.md	49a98a84c9 文生图+图谱校验	5 月之前
test.ipynb	6e44d520ab init	5 月之前
tmp.log	6e44d520ab init	5 月之前

图片生成部分

故事：

小朋友，你听说过“克隆”这个词吗？让我来给你讲一个有趣的故事吧！

有一天，科学家们想出了一个非常神奇的方法，可以让一个生命体“复制”出另一个一模一样的生命体，这个方法就叫做“克隆”。你可以把“克隆”想象成是一台神奇的复印机，但是这台复印机不是复印纸张，而是复印生命哦！

1997年的时候，科学家们用这种方法成功地“复印”出了一只名叫多利的绵羊。你知道吗，多利羊并没有爸爸，它是由一只母羊的细胞复制而来的。这就像是我们从电脑上复制一个文件一样，只不过这次我们复制的是一个活生生的羊！

克隆羊多利的诞生，就像是打开了一扇新的大门，让人们看到了生命的奇妙和科学的无限可能。从此以后，人们开始更加关注和研究克隆技术，希望用它来帮助我们解决更多的问题。

所以，克隆羊就是通过克隆技术创造出来的一只羊，它没有父亲，只有母亲，是科学家们用神奇的“生命复印机”复制出来的哦！

示例1

开始对故事进行分段

故事片段切分结果：

[
    {
        "caption": "科学家们成功地“复印”出了一只名叫多利的绵羊。",
        "description": "在实验室里，科学家们围着一只新生的绵羊，它就是多利。多利看上去非常健康，毛发洁白如雪。"
    },
    {
        "caption": "克隆羊多利的诞生，让人们看到了生命的奇妙。",
        "description": "科学家们和实验室工作人员都面带惊喜的笑容，注视着新生的多利羊，场景充满了奇妙的氛围和未来的希望。"
    }
]

片段1

对caption: {'caption': '科学家们成功地“复印”出了一只名叫多利的绵羊。', 'description': '在实验室里，科学家们围着一只新生的绵羊，它就是多利。多利看上去非常健康，毛发洁白如雪。'} 进行图片生成...

知识图谱抽取结果：[{'entity': '绵羊', 'relation': '名字', 'object': '多利'}, {'entity': '多利', 'relation': '特征', 'object': '毛发洁白如雪'}]

正在生成文生图prompt...

生成的图片prompt：A sheep named Dolly stands in a meadow, its coat as white as snow, blending beautifully with the surrounding greenery.

现在正在进行图片生成，prompt:A sheep named Dolly stands in a meadow, its coat as white as snow, blending beautifully with the surrounding greenery.

图片生成结果：

{"task_id": "2bfd8154-8d1d-4cd1-9795-73010132570c", "task_status": "SUCCEEDED", "results": [{"url": "https://dashscope-result-sh.oss-cn-shanghai.aliyuncs.com/1d/62/20240707/1b61f1c0/e25c7c83-a809-4e01-a387-093944d2a289-1.png?Expires=1720447083&OSSAccessKeyId=LTAI5tQZd8AEcZX6KZV4G8qL&Signature=AuxuFBA%2FrwKaDKsYNVDYLlqax6E%3D"}], "submit_time": "2024-07-07 21:57:36.963", "scheduled_time": "2024-07-07 21:57:36.987", "end_time": "2024-07-07 21:58:04.567", "task_metrics": {"TOTAL": 1, "SUCCEEDED": 1, "FAILED": 0}} 
{"image_count": 1}
https://dashscope-result-sh.oss-cn-shanghai.aliyuncs.com/1d/62/20240707/1b61f1c0/e25c7c83-a809-4e01-a387-093944d2a289-1.png?Expires=1720447083&OSSAccessKeyId=LTAI5tQZd8AEcZX6KZV4G8qL&Signature=AuxuFBA%2FrwKaDKsYNVDYLlqax6E%3D

正在校验图片...

正在对图片进行校验，url:https://dashscope-result-sh.oss-cn-shanghai.aliyuncs.com/1d/62/20240707/1b61f1c0/e25c7c83-a809-4e01-a387-093944d2a289-1.png?Expires=1720447083&OSSAccessKeyId=LTAI5tQZd8AEcZX6KZV4G8qL&Signature=AuxuFBA%2FrwKaDKsYNVDYLlqax6E%3D, text:你是一个识图专家.
首先，你需要去识别图片中有什么？重点是有哪些事物。
最后，请判断图片和实体描述是否一致。

返回格式要求：
- result: 图片中包含描述的内容，返回true。图片与描述不一致，返回false。
- message：提示信息，只有当result为false时才需要填写提示。

请按照JSON字符串的格式回答: {"result": true/false,"message:""}.

图谱描述: [{'entity': '绵羊', 'relation': '名字', 'object': '多利'}, {'entity': '多利', 'relation': '特征', 'object': '毛发洁白如雪'}]

识别结果：

{"status_code": 200, "request_id": "d05be1e0-407b-9459-a408-f7e36d6c28d5", "code": "", "message": "", "output": {"text": null, "finish_reason": null, "choices": [{"finish_reason": "stop", "message": {"role": "assistant", "content": [{"text": "{\"result\": \"true\",\"message\":\"\"}"}]}}]}, "usage": {"input_tokens": 1391, "output_tokens": 10, "image_tokens": 1225}}

校验结果： {"result": "true","message":""}

片段2

对caption: {'caption': '克隆羊多利的诞生，让人们看到了生命的奇妙。', 'description': '科学家们和实验室工作人员都面带惊喜的笑容，注视着新生的多利羊，场景充满了奇妙的氛围和未来的希望。'} 进行图片生成...

知识图谱抽取结果：[{'entity': '科学家们', 'relation': '关注', 'object': '新生的多利羊'}, {'entity': '实验室工作人员', 'relation': '关注', 'object': '新生的多利羊'}]

正在生成文生图prompt... 生成的图片prompt：Scientists and laboratory staff are paying close attention to the newly born Dolly the sheep.

现在正在进行图片生成，prompt:Scientists and laboratory staff are paying close attention to the newly born Dolly the sheep. 图片生成结果：

{"task_id": "2cad0992-0a97-47cb-bd10-463bec7228f0", "task_status": "SUCCEEDED", "results": [{"url": "https://dashscope-result-sh.oss-cn-shanghai.aliyuncs.com/1d/94/20240707/1b61f1c0/89cae21a-5593-4746-9237-f0c36507af41-1.png?Expires=1720447128&OSSAccessKeyId=LTAI5tQZd8AEcZX6KZV4G8qL&Signature=OklWC%2FugITk80ZhEO0lJ0BDefN8%3D"}], "submit_time": "2024-07-07 21:58:21.240", "scheduled_time": "2024-07-07 21:58:21.261", "end_time": "2024-07-07 21:58:48.622", "task_metrics": {"TOTAL": 1, "SUCCEEDED": 1, "FAILED": 0}} 
{"image_count": 1}
https://dashscope-result-sh.oss-cn-shanghai.aliyuncs.com/1d/94/20240707/1b61f1c0/89cae21a-5593-4746-9237-f0c36507af41-1.png?Expires=1720447128&OSSAccessKeyId=LTAI5tQZd8AEcZX6KZV4G8qL&Signature=OklWC%2FugITk80ZhEO0lJ0BDefN8%3D

正在校验图片...

正在对图片进行校验，url:https://dashscope-result-sh.oss-cn-shanghai.aliyuncs.com/1d/94/20240707/1b61f1c0/89cae21a-5593-4746-9237-f0c36507af41-1.png?Expires=1720447128&OSSAccessKeyId=LTAI5tQZd8AEcZX6KZV4G8qL&Signature=OklWC%2FugITk80ZhEO0lJ0BDefN8%3D, text:你是一个识图专家.
首先，你需要去识别图片中有什么？重点是有哪些事物。
最后，请判断图片和实体描述是否一致。

返回格式要求：
- result: 图片中包含描述的内容，返回true。图片与描述不一致，返回false。
- message：提示信息，只有当result为false时才需要填写提示。

请按照JSON字符串的格式回答: {"result": true/false,"message:""}.

图谱描述: [{'entity': '科学家们', 'relation': '关注', 'object': '新生的多利羊'}, {'entity': '实验室工作人员', 'relation': '关注', 'object': '新生的多利羊'}]

识别结果：

{"status_code": 200, "request_id": "1417a563-cac3-97b7-a97a-598c0471ef8a", "code": "", "message": "", "output": {"text": null, "finish_reason": null, "choices": [{"finish_reason": "stop", "message": {"role": "assistant", "content": [{"text": "{\"result\": \"true\", \"message\":\"\"}"}]}}]}, "usage": {"input_tokens": 1394, "output_tokens": 11, "image_tokens": 1225}}

校验结果： {"result": "true", "message":""}

绘本结果

绘本生成结果：


[
    {
        "caption": "科学家们成功地“复印”出了一只名叫多利的绵羊。",
        "url": "https://dashscope-result-sh.oss-cn-shanghai.aliyuncs.com/1d/62/20240707/1b61f1c0/e25c7c83-a809-4e01-a387-093944d2a289-1.png?Expires=1720447083&OSSAccessKeyId=LTAI5tQZd8AEcZX6KZV4G8qL&Signature=AuxuFBA%2FrwKaDKsYNVDYLlqax6E%3D",
    },
    {
        "caption": "克隆羊多利的诞生，让人们看到了生命的奇妙。",
        "url": "https://dashscope-result-sh.oss-cn-shanghai.aliyuncs.com/1d/94/20240707/1b61f1c0/89cae21a-5593-4746-9237-f0c36507af41-1.png?Expires=1720447128&OSSAccessKeyId=LTAI5tQZd8AEcZX6KZV4G8qL&Signature=OklWC%2FugITk80ZhEO0lJ0BDefN8%3D",
    }
]

科学家们成功地“复印”出了一只名叫多利的绵羊。

克隆羊多利的诞生，让人们看到了生命的奇妙。

示例2

开始对故事进行分段故事片段切分结果：

[
    {
        "caption": "科学家们使用克隆技术",
        "description": "科学家们正在实验室里使用一种叫做“克隆”的技术，这项技术能够复制生命体，就像是一台神奇的复印机在工作。"
    },
    {
        "caption": "克隆羊多利的诞生",
        "description": "一只名叫多利的绵羊站在草地上，它看起来非常健康和活泼。这是科学家们通过克隆技术成功复制出来的生命体，象征着克隆技术的奇妙和科学的进步。"
    }
]

片段1

对caption: {'caption': '科学家们使用克隆技术', 'description': '科学家们正在实验室里使用一种叫做“克隆”的技术，这项技术能够复制生命体，就像是一台神奇的复印机在工作。'} 进行图片生成...

知识图谱抽取结果：[{'entity': '克隆', 'relation': '类型', 'object': '技术'}, {'entity': '克隆', 'relation': '功能', 'object': '复制生命体'}]

正在生成文生图prompt...

生成的图片prompt："Cloning is a technology that enables the replication of life forms, creating genetically identical copies of the original organism." 现在正在进行图片生成，prompt:"Cloning is a technology that enables the replication of life forms, creating genetically identical copies of the original organism."

图片生成结果：

{"task_id": "ce77a5b8-a416-4dd0-b8d5-25dfbe54e436", "task_status": "SUCCEEDED", "results": [{"url": "https://dashscope-result-sh.oss-cn-shanghai.aliyuncs.com/1d/ed/20240707/1b61f1c0/f55dabe9-440e-4468-b539-5b07302b253a-1.png?Expires=1720448323&OSSAccessKeyId=LTAI5tQZd8AEcZX6KZV4G8qL&Signature=aHsgBWCP%2FWCSMPhB6XJn9GKO9Lo%3D"}], "submit_time": "2024-07-07 22:18:17.089", "scheduled_time": "2024-07-07 22:18:17.118", "end_time": "2024-07-07 22:18:43.789", "task_metrics": {"TOTAL": 1, "SUCCEEDED": 1, "FAILED": 0}} 
{"image_count": 1}
https://dashscope-result-sh.oss-cn-shanghai.aliyuncs.com/1d/ed/20240707/1b61f1c0/f55dabe9-440e-4468-b539-5b07302b253a-1.png?Expires=1720448323&OSSAccessKeyId=LTAI5tQZd8AEcZX6KZV4G8qL&Signature=aHsgBWCP%2FWCSMPhB6XJn9GKO9Lo%3D

正在校验图片...

正在对图片进行校验，url:https://dashscope-result-sh.oss-cn-shanghai.aliyuncs.com/1d/ed/20240707/1b61f1c0/f55dabe9-440e-4468-b539-5b07302b253a-1.png?Expires=1720448323&OSSAccessKeyId=LTAI5tQZd8AEcZX6KZV4G8qL&Signature=aHsgBWCP%2FWCSMPhB6XJn9GKO9Lo%3D, text:你是一个识图专家.
首先，你需要去识别图片中有什么？重点是有哪些事物。
最后，请判断图片和实体描述是否一致。

返回格式要求：
- result: 图片中包含描述的内容，返回true。图片与描述不一致，返回false。
- message：提示信息，只有当result为false时才需要填写提示。

请按照JSON字符串的格式回答: {"result": true/false,"message:""}.

图谱描述: [{'entity': '克隆', 'relation': '类型', 'object': '技术'}, {'entity': '克隆', 'relation': '功能', 'object': '复制生命体'}]

识别结果：

{"status_code": 200, "request_id": "594184fc-6f6c-9ec8-919f-caab6be6deb4", "code": "", "message": "", "output": {"text": null, "finish_reason": null, "choices": [{"finish_reason": "stop", "message": {"role": "assistant", "content": [{"text": "{\"result\": \"true\",\"message\":\"\"}"}]}}]}, "usage": {"input_tokens": 1388, "output_tokens": 10, "image_tokens": 1225}}

校验结果： {"result": "true","message":""} 对caption: {'caption': '克隆羊多利的诞生', 'description': '一只名叫多利的绵羊站在草地上，它看起来非常健康和活泼。这是科学家们通过克隆技术成功复制出来的生命体，象征着克隆技术的奇妙和科学的进步。'} 进行图片生成...

片段2

知识图谱抽取结果：[{'entity': '多利', 'relation': '种类', 'object': '绵羊'}, {'entity': '多利', 'relation': '创建技术', 'object': '克隆技术'}]

正在生成文生图prompt...

生成的图片prompt："Dolly, a sheep created using cloning technology, stands proudly in a green field. Her fluffy white coat stands out against the vibrant green background, and her inquisitive gaze seems to ponder the mysteries of her own existence." 现在正在进行图片生成，prompt:"Dolly, a sheep created using cloning technology, stands proudly in a green field. Her fluffy white coat stands out against the vibrant green background, and her inquisitive gaze seems to ponder the mysteries of her own existence." 图片生成结果：

{"task_id": "da47b397-3115-4296-9ca5-5bdb8f01c750", "task_status": "SUCCEEDED", "results": [{"url": "https://dashscope-result-sh.oss-cn-shanghai.aliyuncs.com/1d/26/20240707/c597b118/e1cc667d-8618-45d7-adc4-52ba340ec02b-1.png?Expires=1720448361&OSSAccessKeyId=LTAI5tQZd8AEcZX6KZV4G8qL&Signature=uS6sxqlVaUS5AbCbJytEtQY2eq8%3D"}], "submit_time": "2024-07-07 22:18:56.443", "scheduled_time": "2024-07-07 22:18:56.469", "end_time": "2024-07-07 22:19:21.741", "task_metrics": {"TOTAL": 1, "SUCCEEDED": 1, "FAILED": 0}}   
{"image_count": 1}
https://dashscope-result-sh.oss-cn-shanghai.aliyuncs.com/1d/26/20240707/c597b118/e1cc667d-8618-45d7-adc4-52ba340ec02b-1.png?Expires=1720448361&OSSAccessKeyId=LTAI5tQZd8AEcZX6KZV4G8qL&Signature=uS6sxqlVaUS5AbCbJytEtQY2eq8%3D

正在校验图片...

正在对图片进行校验，url:https://dashscope-result-sh.oss-cn-shanghai.aliyuncs.com/1d/26/20240707/c597b118/e1cc667d-8618-45d7-adc4-52ba340ec02b-1.png?Expires=1720448361&OSSAccessKeyId=LTAI5tQZd8AEcZX6KZV4G8qL&Signature=uS6sxqlVaUS5AbCbJytEtQY2eq8%3D, text:你是一个识图专家.
首先，你需要去识别图片中有什么？重点是有哪些事物。
最后，请判断图片和实体描述是否一致。

返回格式要求：
- result: 图片中包含描述的内容，返回true。图片与描述不一致，返回false。
- message：提示信息，只有当result为false时才需要填写提示。

请按照JSON字符串的格式回答: {"result": true/false,"message:""}.

图谱描述: [{'entity': '多利', 'relation': '种类', 'object': '绵羊'}, {'entity': '多利', 'relation': '创建技术', 'object': '克隆技术'}]

识别结果：

{"status_code": 200, "request_id": "f1ea400b-e033-9a58-abb0-1928f75191e3", "code": "", "message": "", "output": {"text": null, "finish_reason": null, "choices": [{"finish_reason": "stop", "message": {"role": "assistant", "content": [{"text": "{\"result\": \"true\",\"message\":\"\"}"}]}}]}, "usage": {"input_tokens": 1390, "output_tokens": 10, "image_tokens": 1225}}

校验结果： {"result": "true","message":""}

绘本生成结果

绘本生成结果：

[{'caption': '科学家们使用克隆技术', 'url': 'https://dashscope-result-sh.oss-cn-shanghai.aliyuncs.com/1d/ed/20240707/1b61f1c0/f55dabe9-440e-4468-b539-5b07302b253a-1.png?Expires=1720448323&OSSAccessKeyId=LTAI5tQZd8AEcZX6KZV4G8qL&Signature=aHsgBWCP%2FWCSMPhB6XJn9GKO9Lo%3D'}, {'caption': '克隆羊多利的诞生', 'url': 'https://dashscope-result-sh.oss-cn-shanghai.aliyuncs.com/1d/26/20240707/c597b118/e1cc667d-8618-45d7-adc4-52ba340ec02b-1.png?Expires=1720448361&OSSAccessKeyId=LTAI5tQZd8AEcZX6KZV4G8qL&Signature=uS6sxqlVaUS5AbCbJytEtQY2eq8%3D'}]

科学家们使用克隆技术

克隆羊多利的诞生

图片校验失败示例

校验失败后会使用失败信息，进行重新迭代生成。

故事切分后

[
    {
        "caption": "科学家们研究克隆技术",
        "description": "画面中，一群科学家围坐在实验室里，他们面对着一堆复杂的仪器和试管，脸上露出专注而兴奋的表情。正中间的一位科学家手里拿着一个试管，试管里有一个微小的细胞，他正在向其他人解释克隆技术的原理。"
    },
    {
        "caption": "克隆羊多利的诞生",
        "description": "在一个宽敞明亮的实验室里，一只可爱的绵羊多利正站在中央，它的眼神好奇而友好。科学家们围绕着它，脸上洋溢着喜悦和成就感。背景中可以看到实验室的设备和仪器，以及一个标有“克隆技术”的牌子，暗示着这只绵羊是通过克隆技术诞生的。"
    },
    {
        "caption": "多利和它的“母亲”在一起",
        "description": "在户外的草地上，克隆羊多利和一只看起来一模一样的母羊正亲昵地依偎在一起。它们的眼神温柔而充满爱意，仿佛在告诉对方彼此是多么重要。周围是绿树和鲜花，构成了一幅和谐而美好的画面。"
    }
]

对于最后一个片段，生成的图片校验失败

{
    "caption": "多利和它的“母亲”在一起",
    "description": "在户外的草地上，克隆羊多利和一只看起来一模一样的母羊正亲昵地依偎在一起。它们的眼神温柔而充满爱意，仿佛在告诉对方彼此是多么重要。周围是绿树和鲜花，构成了一幅和谐而美好的画面。",
}

提取的图谱信息：

[{'entity': '克隆羊多利', 'relation': '依偎', 'object': '一只看起来一模一样的母羊'}, {'entity': '草地上', 'relation': '有', 'object': '绿树和鲜花'}]

根据描述生成的图片prompt： On the lawn, there are lush trees and vibrant flowers, creating a peaceful and beautiful scene. In the midst of this scenery, the cloned sheep Dolly is nestled up against a female sheep that looks exactly like her, displaying a tender and affectionate moment.

生成的图片:

校验的结果： {"result": "false","message":"描述中的花在图像中没有被找到或无法确认。"}

之后会进行迭代重新生成

readme.md

图片生成部分

示例1

片段1

片段2

绘本结果

示例2

片段1

片段2

绘本生成结果

图片校验失败示例