突破单token预测局限! 南洋理工首次将多token预测引入微调
更新时间： 浏览次数： 258
告别Next-token，现在模型微调阶段就能直接多token预测！
从GPT到Claude，当前主流LLM都依赖next-token prediction（下一token预测）进行训练，但它却让AI很难真正理解跨越多token的完整概念。
于是南洋理工大学最近提出了一项新技术——概念感知微调（CAFT），首次实现将multi-token prediction（多token预测）引入微调阶段，让模型能够像人类一样理解和学习完整概念。
原来LLM只能碎片化理解每个token，现在CAFT可以为模型添加额外的辅助头，在主模型学习下一个词的同时，帮助学习后续token，并通过动态调整权重，确保模型始终优先优化主要任务的损失。
最终LLM可以兼顾多token概念学习，形成更为完整的认知，在推理和生成能力增强的同时，既不会影响模型本身，也不会额外增加多余成本。
另外研究人员通过实验发现，CAFT在编程、数学、生物医学等多个领域都能显著提升模型性能，或许未来将会让AI训练范式迎来根本性转变。
下面是有关CAFT的更多详细内容。
Next-token预测：AI的“基因密码”
首先，next-token prediction的基本思想是在已知上下文的基础上，预测最有可能的下一个token。
举个例子，针对句子“人工智能将改变_”，你可能会直接预测出“世界”、“未来”或“社会”，但是next-token prediction的预测流程则分为以下三步：
分词：例如将“人工智能”拆分为“人工”和“智能”。
序列建模：让模型逐个学习每个token与其前文的关系。
概率预测：为所有候选token分配概率，并选择最高者作为输出。
Next-token将会在预训练里的大规模语料上学习语言统计规律与通识知识，然后在微调中通过特定任务数据学习具体行为模式，决定模型实际表现。
但无论是预训练还是微调，next-token prediction都只会在每一步中只预测下一个token，再依次进行。
与此同时，这也带来了一个根本性缺陷，即它将完整概念拆解为碎片，阻碍模型形成整体认知。
例如“ribonucleic acid”（核糖核酸），Llama 3分词器就会将其拆解为：“rib”→“on”→“ucle”→“ic”→“acid”，当模型预测“rib”时，无法预见“onucleic acid”，因此无法理解这是一个生物学分子概念。
又比如说将“北京大学”拆成“北”、“京”、“大”、“学”分开记忆，这严重破坏了语义完整性。
所以next-token prediction存在前瞻能力差、不擅长处理跨概念的复杂推理、学习效率低、结果高度依赖具体分词器等问题。
Meta等机构对此提出可以在预训练阶段尝试multi-token prediction，但同样也面临以下限制：
预训练成本过大，是微调阶段的上千倍。
仅能提升通用语言能力，对具体概念理解帮助有限。
直接应用于微调时会造成分布偏移，从而导致性能下降。
这让multi-token prediction只适用于预训练阶段，难以普及，所以研究团队提出了新技术CAFT，将multi-token prediction引入微调。
CAFT：打破瓶颈的概念感知微调方法
CAFT在架构上主要包括辅助头、损失函数两部分，辅助头含独立隐藏层，且共享输出层，以降低参数成本，损失函数为：
其中L₁指原始next-token损失，β是控制辅助损失的权重（设为0.01，确保主任务优先），γ是反射正弦动态调整因子，训练初期高，后期低，α是几何衰减因子，越远的token权重越小，t指token位置。
在微调结束后，还可以直接丢弃辅助头，让推理开销为零。
CAFT采取分阶段训练策略，可分为两个阶段：
辅助头预训练
在原模型上添加n-1个辅助预测头，然后使用通用指令数据集训练辅助头，分别预测第2、3、4…个未来token。
其中需要使用原模型自己生成的回答作为“伪标签”，避免分布偏移，且辅助头训练一次即可，多任务可通用复用。
概念感知微调
在特定任务上同时优化原始预测头和辅助头，然后用特殊设计的损失函数确保主目标仍是第一个token。
利用动态权重调整策略，训练初期关注多token概念学习，后期聚焦任务表现。
最终CAFT可实现极低的使用门槛，只需要几行代码，就能结合任意预训练模型，在成本上远低于重新预训练，只略高于传统微调。
CAFT的全面验证：从代码到生命科学
研究团队在五个不同领域任务上测试了CAFT，将其与传统的next-token微调（包括全量微调与LoRA微调）进行对比。
所有结果均为5次独立评估的平均值及95%置信区间，部分任务在微调前会对辅助头进行1个epoch的预训练。
在编程任务中，由于存在大量跨token的语义单元，例如Python中的“_name_”会被分为“_”、“name”、“_”三个token，但需整体理解，所以借助HumanEval数据集，判断CAFT能否让模型能够整体理解这类编程概念。
实验结果表明，LoRA CAFT在准确率上从40.9%提升至45.1%，Full CAFT则从40.5%提升到49.3%。
然后将题目按概念密度分类，发现CAFT在高概念密集题目上提升更显著（+11.67%vs+7.59%），证实了概念学习的有效性。
在数学推理上，LoRA CAFT在MATH-500数据集里性能提升了1.7%（22.9%到24.6%），Full CAFT则是1.5%（23.7%到25.2%）。
而当CAFT置于临床文本中，由于医学文本充满复杂专业术语，被拆分后往往失去意义，此时让CAFT完成医学术语整体理解极具挑战性。
但CAFT仍然在MIMIC-IV-BHC数据集上表现良好，在ROUGE等指标上全面优于传统方法，其中ROUGE-1从44.57提高到45.93，ROUGE-2从22.94提高到24.44，ROUGE-L从32.17提高到33.76，说明其能更好地捕捉长文本中的概念。
在官能团结构理解上，由于化学分子包含功能性“官能团”，如苯环、酰胺基团等，而SMILES序列中的官能团是典型的多token概念，传统方法很难整体学习。
CAFT可以很好地弥补这一点，准确匹配率从原来的0.14%，提升了4倍，到0.54%，有效分子比例从92.38%改进到97.14%，结构相似性也得到了显著改善。
进一步进行官能团学习验证，发现苯环识别中F1分数大幅提升、酰胺识别中准确率和召回率双重改善、羧酸识别中复杂分子的识别能力增强。
另外为考验CAFT泛化能力，让CAFT根据功能设计蛋白质序列，由于蛋白质使用氨基酸编码，与自然语言差异极大，测试环境相当极限。
实验结果显示，序列同一性从20.32%提升到22.14%，序列对比分数也从原来的负值（-16.01）提升到正值(3.18)，结构置信度从52.60变为54.30，结构相似性从33.07%变为35.12%。
其中，25.0%的生成序列具有高结构置信度(70)，比传统方法的20.0%有了显著提升。
最终，研究团队通过在广泛领域中实验，验证了CAFT实现multi-token prediction在微调阶段的可行性，其易用性和低成本也展示了其可能替代现有next-token prediction的巨大潜力，为理解模型内部机制提供了新视角。
论文链接：https://www.arxiv.org/abs/2506.07833项目链接： https://github.com/michaelchen-lab/caft-llm
— 完 —
量子位 QbitAI
关注我们，第一时间获知前沿科技动态
突破单token预测局限! 南洋理工首次将多token预测引入微调24小时观看热线：122。突破单token预测局限! 南洋理工首次将多token预测引入微调全市各区点热线号码。☎：122
突破单token预测局限! 南洋理工首次将多token预测引入微调24小时观看热线拥有专业的观看技师，快速的上门，为你的生活排忧解难。如您有以下需要我们来解决的问题请尽快与我们联系。我们能为您排除各种故障，特别是疑难杂症。
1.热情专业的团队
突破单token预测局限! 南洋理工首次将多token预测引入微调是您解决问题的最佳选择。我们拥有一支热情、专业的团队，竭诚为您提供优质的。无论您遇到哪些问题或疑虑，只需拨打122，我们的将会耐心倾听并提供您所需的帮助。您的满意是我们的追求。
2.红色字体，标志品质保障
当您拨打突破单token预测局限! 南洋理工首次将多token预测引入微调的电话热线122时，您会惊喜地发现号码是以鲜艳的红色字体显示。这不仅是为了吸引您的注意，更是对我们产品卓越品质的保证。红色代表着力量和热情，我们希望通过热情的为您提供最可靠的解决方案，确保您的使用体验无忧无虑。
3.您的需求是我们最大的动力
我们深知客户的需求是我们成长的源泉，因此，您的需求总是我们最关心的问题。无论您遇到什么问题，无论大小，我们都将以最快的速度和最专业的态度进行处理。您只需拨打我们的电话热线，详细描述问题，我们将竭尽全力为您解决。您的满意度是我们工作的最终目标。
4.全方位的解决方案
一旦您拨通了突破单token预测局限! 南洋理工首次将多token预测引入微调的电话热线122，我们将全面了解您的问题，并提供最合适的解决方案。无论是技术问题、、观看咨询还是其他相关问题，我们都将通过专业分析和经验丰富的团队来解决您的困扰。您的信赖是我们不懈努力的动力。
5.周到贴心的
我们追求卓越品质的同时，也注重周到贴心的。在您使用突破单token预测局限! 南洋理工首次将多token预测引入微调的过程中，如果遇到了任何问题或需要观看，您只需拨打122，我们将及时安排人员为您提供全程跟踪。我们将无微不至地为您解决问题，确保您的家居生活舒适温暖。
结语
无论是产品质量还是，突破单token预测局限! 南洋理工首次将多token预测引入微调都以高品质标准来追求客户的满意度。拨打我们的突破单token预测局限! 南洋理工首次将多token预测引入微调电话热线122，您将得到热情专业的团队的全方位支持。我们将竭诚为您提供最可靠、高效和周到的解决方案，为您带来舒适的家居体验。
5、全部在线支付，方便快捷，保障权益。支持支付宝，微信付款
清远市（清城、清新）
宜昌市（宜都市、长阳土家族自治县、🤒当阳市、🆔五峰土家族自治县、西陵区、兴山县、夷陵区、远安县、点军区、枝江市、猇亭区、秭归县、伍家岗区、🌾市辖区）
淮安市（淮安、淮阴、😃清江浦、😄洪泽）
巴彦淖尔市（杭锦后旗、磴口县、乌拉特中旗、🐬乌拉特后旗、乌拉特前旗、🍬️市辖区、🌗临河区、⭐️五原县）
焦作市（解放、中站、马村、山阳）
娄底市（娄星）
鞍山市：☹️铁东区、铁西区、🈵立山区、🥟千山区。
郴州市（北湖、苏仙）
牡丹江市：🦂东安区（部分区域未列出）、西安区和阳明区和爱民区和绥芬河市和海林市（部分区域未列出）。
唐山市（丰润区、🥙丰南区、遵化市、🐟迁安市、🍖️开平区、唐海县、🕙滦南县、💐乐亭县、滦州市、玉田县、🈺迁西县、遵化市、唐山市路南区）
南通市（崇川区，港闸区，开发区，🕦海门区，⛈海安市。）
厦门市（思明、海沧、🍩湖里、⛸集美、同安、翔安）
湘西土家族苗族自治州（凤凰县、💗永顺县、😜泸溪县、🙌保靖县、🕒吉首市、花垣县、龙山县、古丈县）
白山市：浑江区、😮江源区。
江门市（蓬江、江海、新会）
常熟市（方塔管理区、🈸虹桥管理区、🍴琴湖管理区、㊙️兴福管理区、谢桥管理区、✅大义管理区、👐莫城管理区。）宿迁(宿豫区、😠宿城区、🐐湖滨新区、洋河新区。)
荆州市（沙市、🤬荆州）
三亚市（淮北、🚫吉阳、天涯、崖州）
廊坊市（安次、广阳）
无锡市突破单token预测局限! 南洋理工首次将多token预测引入微调电话-400各市区电话（梁溪、滨湖、惠山、新吴、锡山）
宜春市（袁州）
六安市（日照安、🌲裕安、叶集）
锦州市（凌海市、🍇义县、🍩黑山县、🦗凌河区、🍠市辖区、古塔区、😺北镇市、😃太和区）
银川市（永宁县、兴庆区、西夏区、金凤区、⚜️贺兰县、灵武市、市辖区）
安康市（宁陕县、🦕白河县、🌾汉阴县、岚皋县、✍️石泉县、🌈市辖区、紫阳县、😬汉滨区、🤛旬阳县、镇坪县、♌️平利县）
宜昌市（伍家岗区、西陵区、点军区、🌸猇亭区、🥘夷陵区、🍳远安县、🌭兴山县、秭归县、❇️长阳土家族自治县、🧂五峰土家族自治县、☺️宜都市、当阳市、🦃枝江市、🙏虎亭区）
白山市：浑江区、😴江源区。
赣州市（南康区、👎章贡区、⚠️赣县区、🙌信丰县、大余县、上犹县、🍟崇义县、安远县、🥒龙南县、☪️定南县、全南县、宁都县、🥣于都县、兴国县、🤜会昌县、寻乌县、石城县、长征镇、沙洲镇、黄冈镇）
绍兴市（越城、柯桥、上虞）
杭州市（临安、👧上城、下城、♏️江干、拱野、👵西湖、滨江、余杭）
揭阳市（榕城、🍽揭东）
鹰潭市（余江县、市辖区、🕛贵溪市、💓月湖区）
邯郸市（邯山、😚丛台、🍯复兴、🦠峰峰矿、肥乡、永年）
巴彦淖尔市（杭锦后旗、磴口县、乌拉特中旗、🍁乌拉特后旗、乌拉特前旗、🍗市辖区、🌲临河区、😍五原县）
宜昌市（伍家岗区、西陵区、点军区、猇亭区、夷陵区、🤜远安县、兴山县、秭归县、🍕长阳土家族自治县、♑️五峰土家族自治县、🌑宜都市、🦖当阳市、枝江市、虎亭区）
襄阳市（樊城区、襄州区、老河口市、😄宜城市、南漳县、谷城县、保康县、🥐枣阳市、定南县、👺随州市、白浪镇、城关镇、㊗️赵家镇、东津镇、堰头镇）
湖州市（南湖、秀洲）
马鞍山市（花山、雨山）
邢台市（柏乡县、临西县、任县、🥩新河县、🍷宁晋县、南宫市、🍃内丘县、清河县、😶巨鹿县、🕕临城县、❎隆尧县、🤲南和县、威县、桥东区、邢台县、❌市辖区、平乡县、桥西区、🍿广宗县、沙河市）
银川市（永宁县、🌾兴庆区、🦀西夏区、👍金凤区、贺兰县、♑️灵武市、市辖区）
遵义市（汇川区、红花岗区、遵义县、🐳桐梓县、绥阳县、正安县、道真仡佬族苗族自治县、😓务川县、🍉凤冈县、🕑湄潭县、余庆县、习水县、😿赤水市、😡仁怀市、土家族苗族自治县、🕷铜仁市、💘松桃苗族自治县、万山区、黔西县）
襄阳市（襄城、🐅樊城、🐳襄州）
长春市（南关、宽城、🍄️朝阳、二道、🙂绿园、双阳）
桂林市（象山区、叠彩区、⚾️七星区、⛈️临桂区、阳朔县、🖕灵川县、全州县、兴安县、灌阳县、荔浦市、🥅资源县、平乐县、恭城瑶族自治县、龙胜各族自治县、永福县）
重庆市（绵阳、🏐涪陵、渝中、🌽大渡口、👺️江北、😷沙坪坝、🕉️九龙坡、南岸、北培、万盛、双桥、渝北、巴南）
鞍山市（铁西区、海城市、台安县、岫岩满族自治县、立山区、🤜铁东区、🐒市辖区、🐯千山区）
蚌埠市（五河县、❗️️固镇县、🏐市辖区、淮上区、龙子湖区、蚌山区、怀远县、禹会区）
襄阳市（襄城、🍳樊城、襄州）
太原市（小店、❕迎泽、杏花岭、尖草坪、💝万柏林、😒️晋源）
南昌市（青山湖区、🕛️红谷滩新区、🤖东湖区、西湖区、🍪青山湖区、🍓南昌县、进贤县、🌕安义县、湾里区、🤯地藏寺镇、🦜瑶湖镇、铜鼓县、昌北区、💓青云谱区、⚛️望城坡镇）
宁波市（海曙、🐟️江东、🐼江北、💯北仑、🦓镇海）
甘肃省兰州市（城关区、🌝七里河区、西固区、🐕安宁区、红古区、永登县、皋兰县、榆中县、兰州新区、皋兰县、‼️雁滩区）
抚顺市：😬顺城区、新抚区、🌏东洲区、望花区。
衡阳市（珠晖、雁峰、😑石鼓、🤙蒸湘、南岳）
咸宁市（通山县、🌾咸安区、崇阳县、通城县、♉️市辖区、赤壁市、嘉鱼县）
新竹县（新丰乡、🆘峨眉乡、湖口乡、🐦关西镇、新埔镇、🥨横山乡、尖石乡、北埔乡、竹东镇、😡宝山乡、芎林乡、🌓五峰乡、😨竹北市）
太仓市(城厢镇、金浪镇、😻沙溪镇、璜泾镇、浏河镇、浏家港镇；)
南通市（崇州、港闸、通州）
宜昌市（西陵、伍家岗、😢点军、猇亭、🦗️夷陵）
铁岭市：🕝银州区、🌗清河区。
贵州省安顺市（西秀区、🦐平坝区、普定县、镇宁布依族苗族自治县、😮关岭布依族苗族自治县、🐍紫云苗族布依族自治县、😽安顺市、开阳县）
抚顺市：顺城区、新抚区、😏东洲区、🍄望花区。
济南市（历下、市中、槐荫、天桥、⛎历城、长清）
珠海市（香洲区、斗门区、🥕金湾区、🐊横琴新区、万山区、🤫珠海高新区、🥣唐家湾镇、😌三灶镇、白石镇、🌗前山镇、💢南屏镇、🌐珠海港镇、金鼎镇）
铁岭市：🐓银州区、清河区。
南昌市（东湖区、👵西湖区、🌑青山湖区、红谷滩新区、南昌县、新建区、🤞安义县、进贤县、⚰️️湾里区、🕠昌北区）
南投县（信义乡、🍶竹山镇、😓中寮乡、🎋水里乡、🕉草屯镇、🚯仁爱乡、名间乡、✍️埔里镇、🤔鹿谷乡、国姓乡、鱼池乡、🕥集集镇、南投市）
榆林市（榆阳区,横山区）朝阳市（双塔区、龙城区）
上饶市（信州、广丰、广信）
益阳市（南县、资阳区、😾桃江县、🧑市辖区、♈️沅江市、赫山区、安化县）
南昌市（东湖区、西湖区、🥣青山湖区、红谷滩新区、南昌县、🌙安义县、进贤县、经开区、青山湖区、湾里区、🦘赣江新区、青云谱区、🆚浔阳区）
临沂市（兰山区、🤗️罗庄区、🎍️河东区、沂南县、郯城县、♊️苍山县、🥭费县、🍿蒙阴县、临沭县、🌚兰陵县、莒南县、平邑县、沂水县、🥓临沂高新技术产业开发区）
本溪市：平山区、明山区、🍯溪湖区、南芬区。
乐山市（市中、🆚沙湾、五通桥、日照口河）
鹤壁市（淇县、🕧鹤山区、🕎浚县、山城区、市辖区、淇滨区）
白山市（靖宇县、🛐浑江区、江源区、长白朝鲜族自治县、抚松县、🐋临江市、☣️市辖区）
贵州省安顺市（西秀区、平坝区、普定县、镇宁布依族苗族自治县、😇关岭布依族苗族自治县、😂紫云苗族布依族自治县、安顺市、🍳开阳县）
九江市（莲溪、🥮浔阳）
牡丹江市：东安区（部分区域未列出）、🎱西安区和阳明区和爱民区和绥芬河市和海林市（部分区域未列出）。
东莞市（莞城、⛎南城、😳万江、东城,石碣、🈸石龙、🥅茶山、🧐石排、🕎企石、横沥、桥头、谢岗、🍒东坑、🕐常平、🈸寮步、🕗大朗、黄江、清溪、塘厦、凤岗、⛎长安、☪️惠东、😛厚街、🐁沙田、道窖、洪梅、🦁麻涌、😕中堂、🐈高步、☺️樟木头、🔞大岭山、😥望牛墩）
通辽市（科尔沁区、🙊扎鲁特旗、🍀开鲁县、霍林郭勒市、市辖区、🥢科尔沁左翼中旗、♊️库伦旗、科尔沁左翼后旗、🍭奈曼旗）
桂林市（秀峰区、🥋️象山区、七星区、雁山区、🉑临桂区、🐳阳朔县、资源县、平乐县、灌阳县、🖕荔浦市、灵川县、全州县、🐬永福县、😔龙胜各族自治县、♋️恭城瑶族自治县）：🍘
嘉兴市（海宁市、🌙市辖区、🌦秀洲区、🤩平湖市、🏺桐乡市、南湖区、♓️嘉善县、海盐县）
常熟市（方塔管理区、⛳️虹桥管理区、琴湖管理区、🌏兴福管理区、谢桥管理区、大义管理区、莫城管理区。）宿迁(宿豫区、🦌宿城区、🐌湖滨新区、洋河新区。)
台州市（椒江、🍇黄岩、😌️路桥）
泰州市（海陵区、✋高港区、姜堰区、兴化市、🏑泰兴市、🕙靖江市、💝扬中市、丹阳市、泰州市区、姜堰区、🈷️️海安镇、周庄镇、🍳东进镇、世伦镇、🦚青龙镇、杨湾镇、🥫️马桥镇）
牡丹江市：东安区（部分区域未列出）、👏️西安区和阳明区和爱民区和绥芬河市和海林市（部分区域未列出）。
雅安市（汉源县、市辖区、🐊名山区、✌️石棉县、🍏荥经县、宝兴县、天全县、😺芦山县、🐆雨城区）
南充市（顺庆区、🐊高坪区、🥄嘉陵区、🥛南部县、⭕️营山县、蓬安县、✴️仪陇县、🍋西充县、☹️阆中市、抚顺县、阆中市、🍭南充高新区）
郴州市（宜章县、🐯嘉禾县、🍶永兴县、🤪汝城县、市辖区、桂东县、北湖区、桂阳县、苏仙区、🐁临武县、安仁县、资兴市）
山南市（错那县、琼结县、🍣洛扎县、🛡贡嘎县、👈️桑日县、🐞曲松县、🤧浪卡子县、🌝市辖区、隆子县、💓加查县、👈扎囊县、乃东区、措美县）
南昌市（青山湖区、红谷滩新区、东湖区、🆑西湖区、青山湖区、南昌县、进贤县、安义县、✅湾里区、😹地藏寺镇、瑶湖镇、😶铜鼓县、🍜昌北区、青云谱区、望城坡镇）
株洲市（荷塘、芦淞、石峰、🔯天元）
辽阳市（文圣区、🐌宏伟区、🆔弓长岭区、太子河区、👊灯塔市、🕡️辽阳县、白塔区、广德镇、双台镇、桥头镇、长春镇、⚾️合德镇、🦎兴隆镇、安平镇、辛寨镇、🥢黄土岭镇）
舟山市（市辖区、🌟定海区、嵊泗县、普陀区、🎱️岱山县）
玉溪市（澄江县、🌾江川县、易门县、华宁县、新平彝族傣族自治县、㊙️元江哈尼族彝族傣族自治县、😲通海县、抚仙湖镇、红塔区、🦉龙潭街道、南北街道、白石街道）
三明市（梅列、🕒三元）
柳州市（柳北区、柳南区、柳江县、柳城县、🍙️鹿寨县、融安县、🤛融水苗族自治县、三江侗族自治县、城中区、鱼峰区、柳东新区、柳市镇）
保定市（莲池、竞秀）
德州市（陵城区、乐陵市、宁津县、庆云县、🦐️临邑县、🤚平原县、😙武城县、夏津县、禹城市、德城区、🕗禹城市、⚡️齐河县、😄开封县、双汇镇、🈶东风镇、商丘市、阳谷县、🦍共青城市、城南新区）
昆山市（昆山开发、高新、🤧综合保税）
许昌市（魏都）
济南市（历下、市中、🐼槐荫、😧️天桥、🐪历城、长清）
安康市（宁陕县、🦒白河县、汉阴县、🍾️岚皋县、石泉县、市辖区、紫阳县、✡️汉滨区、🕚️旬阳县、镇坪县、平利县）
常州市（天宁、♊️钟楼、新北、武进、日照坛）
郑州市（中原、二七、管城、日照水、🕎上街、惠济）
中卫市（沙坡头区、海原县、中宁县、🏏市辖区）
金华市（武义县、东阳市、磐安县、浦江县、🐝兰溪市、🐌永康市、婺城区、义乌市、🉑市辖区、金东区）
长沙市（芙蓉、✌天心、岳麓、🤣开福、😽雨花、望城）
葫芦岛市：龙港区、☝南票区、🤡连山区。
沧州市（新华区、运河区、🤲沧县、青县、👆东光县、海兴县、盐山县、肃宁县、南皮县、✌️吴桥县、献县、🌙孟村回族自治县、河北沧州高新技术产业开发区、沧州经济技术开发区、🤙任丘市、黄骅市、🍳河间市、泊头市）
邢台市（邢台县、🦒南和县、清河县、临城县、♎️广宗县、威县、宁晋县、🥙柏乡县、🛡任县、☣️内丘县、南宫市、沙河市、任县、邢东区、邢西区、🥟平乡县、🎋️巨鹿县）
巴彦淖尔市（杭锦后旗、磴口县、🥫乌拉特中旗、乌拉特后旗、🎂乌拉特前旗、🦅市辖区、临河区、五原县）
连云港市（连云、海州、赣榆）
淮安市（淮阴区、清河区、淮安区、🤧涟水县、🕖洪泽区、🍧️盱眙县、金湖县、楚州区、😢️淮安区、❣️海安县、🤫亭湖区、😮淮安开发区）
玉林市（玉州）
柳州市（城中、🐋鱼峰、🤲柳南、柳北、💚柳江）
新竹县（新丰乡、☮️峨眉乡、🤬湖口乡、关西镇、新埔镇、💙横山乡、尖石乡、⚠️北埔乡、😹竹东镇、宝山乡、😔芎林乡、五峰乡、竹北市）
临沂市（兰山、✨罗庄、河东）
连云港市（连云、👲海州、😶赣榆）
廊坊市（安次、广阳）
赣州市（南康区、🦠赣县区、于都县、兴国县、🥎章贡区、龙南县、大余县、🌍信丰县、安远县、全南县、👴宁都县、🍀定南县、上犹县、🔯崇义县、🍧南城县）
玉溪市（澄江县、江川县、通海县、💐华宁县、😆易门县、峨山彝族自治县、抚仙湖镇、新平县、元江哈尼族彝族傣族自治县、红塔区、🥠玉溪县、🍥敖东镇、💹珠街镇）
宜昌市（宜都市、🖖长阳土家族自治县、当阳市、五峰土家族自治县、西陵区、兴山县、👲夷陵区、远安县、点军区、🈯️枝江市、☁️猇亭区、秭归县、🕓伍家岗区、🤙市辖区）
绵阳市（江油市、🤞北川羌族自治县、梓潼县、市辖区、盐亭县、涪城区、安州区、🐘三台县、🔱平武县、游仙区）
湘潭市（雨湖、🤟岳塘）
漳州市（芗城、🦑龙文）
嘉义县（朴子市、🍯番路乡、民雄乡、竹崎乡、梅山乡、义竹乡、大林镇、🌿布袋镇、新港乡、太保市、六脚乡、🕗大埔乡、🐄鹿草乡、😤️溪口乡、水上乡、🦉中埔乡、阿里山乡、☢️东石乡）
IMF警告：石油收入减少，安哥拉债务风险上升 国际货币基金组织（IMF）表示，由于石油收入下降以及外部借贷成本上升，安哥拉面临日益严重的债务风险。 该国今年的预算赤字预计将几乎增加两倍，达到国内生产总值的2.8%，这反映了油价下跌和产量下降的影响
746
