使用AllenNLP.data.instance在Python中生成随机中文标题

import random

from allennlp.data import Instance

from allennlp.data.fields import TextField, MetadataField

from allennlp.data.tokenizers import Token

from allennlp.data.token_indexers import SingleIdTokenIndexer

from typing import Dict, Any, List

def generate_random_title() -> str:

    keywords = ["中国", "科技", "人工智能", "大数据", "互联网", "创新", "未来", "发展", "数字化", "智能化"]

    title = random.choice(keywords) + random.choice(keywords) + random.choice(keywords)

    return title

def generate_random_example() -> List[str]:

    examples = []

    for _ in range(5):

        example = ""

        for _ in range(random.randint(5, 15)):

            example += generate_random_title() + "，"

        example = example[:-1]

        examples.append(example)

    return examples

def generate_random_instance() -> Instance:

    examples = generate_random_example()

    title_field = TextField([Token(word) for word in examples[0].split()], {"tokens": SingleIdTokenIndexer(namespace="tokens")})

    examples_field = MetadataField(examples)

    fields: Dict[str, Any] = {}

    fields["title"] = title_field

    fields["examples"] = examples_field

    return Instance(fields)

instances = [generate_random_instance() for _ in range(1000)]