Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

AI测评

Answer

AI 测评主要包括以下几个方面:

  1. AI Review(测试版):这是一项能让您查看代码库中近期更改以捕获潜在错误的功能。您可以单击各个审阅项在编辑器中查看完整上下文,并与 AI 聊天获取更多信息。为了让其更有利,您可以提供自定义说明让 AI 专注于特定方面,比如性能相关问题。目前有几个查看选项,如查看工作状态、查看与主分支的差异、查看上次提交。
  2. 从 AI 助教到智慧学伴的应用探索:未来展望包括 AI 辅助测评,例如作业题目智能生成与优化、主观题 AI 辅助批改、基于平台数据的学情智能分析等。对于教师试讲语言的评价,可从语言的准确性等五个维度打分(每项 5 分,共 25 分),给出总分,并以和蔼可亲的语文老师角色给出 700 字左右中肯评价及改进建议。
  3. 【法律法规】《促进创新的人工智能监管方法》:提到工具如保证技术和技术标准可支持供应链风险管理,评估框架时要关注法律责任在 AI 中的有效公平分配,持续收集各方证据以监测框架对 AI 供应链中不同参与者的影响,尤其关注基础模型带来的潜在挑战。并提出了一些咨询问题,如监管者在不同 AI 应用和系统中应用原则可能面临的挑战及解决方法,以及对通过现有法律框架分配 AI 法律责任的看法和改进建议。
Content generated by AI large model, please carefully verify (powered by aily)

References

AI Review (Beta) AI 评论(测试版)

AI Review is a feature that allows you to review your recent changes in your codebase to catch any potential bugs.AI Review是一项功能,可让您查看代码库中的最近更改以捕获任何潜在的错误。You can click into individual review items to see the full context in the editor,and chat with the AI to get more information.您可以单击各个审阅项以查看编辑器中的完整上下文,并与AI聊天以获取详细信息。[heading3][heading3]Custom Review Instructions自定义审核说明[content]In order for AI Review to work in your favor,you can provide custom instructions for the AI to focus on.For example,if you want the AI to focus on performance-related issues,you could put:为了让AI Review对您有利,您可以为AI提供自定义说明以专注于。例如,如果您希望AI专注于与性能相关的问题,您可以输入:This way,AI Review will focus on the performance of your code when scanning through your changes.这样,AI Review在扫描更改时将专注于代码的性能。[heading3][heading3]Review Options查看选项[content]Currently,you have a several options to choose from to review:目前,您有几个选项可供选择进行审核:Review Working State查看工作状态This will review your uncommitted changes.这将查看您未提交的更改。Review Diff with Main Branch查看Diff with Main BranchThis will review the diff between your current working state and the main branch.这将查看当前工作状态与main分支之间的差异。Review Last Commit查看上次提交This will review the last commit you made.这将审查您所做的最后一次提交。

张翼然:从 AI 助教到智慧学伴的应用探索.pdf

这个组呢?在群⾥如何使⽤AI的呢?Chatbot未来展望:AI辅助测评(还没做,下轮做)AI变革学情分析、作业测评、助教答疑的策略与案例作业题⽬的智能⽣成与优化AI⼯具⽣成作业题⽬AI辅助优化题⽬质量与难度主观题AI辅助批改的策略与实践基于评分量规的主观题AI批改⼈机协同批改的优化策略与实践分享基于平台数据的学情智能分析头脑⻛暴学习数据的采集与预处理利⽤AI⼯具进⾏学情挖掘与分析学情分析结果的教学应⽤场景AI助⼒作业测评的未来想象量规出来了,AI就能自动评分了•请你扮演经验丰富的教师培训师,为实习⽼师的试讲语⾔做评价。根据以下量规,请评价一位试讲⽼师的试讲录⾳⽚段:•第一步:在以下五个维度上打分(每项5分,共25分)•1.语⾔的准确性、清晰度和规范性•2.讲授的严密性和逻辑性•3.语⾔的⽣动性和趣味性•4.针对学⽣实际的可接受性和启发性•5.语⾔的艺术性•第二步:给出总分(满分25分)•第三步:以第一⼈称、700字左右,代⼊一位和蔼可亲的语⽂⽼师⻆⾊,针对试讲者的表现给出中肯评价,并提出⿎励和改进建议。改进建议请附带原⽂句⼦和具体时间。

【法律法规】《促进创新的人工智能监管方法》.pdf

125 What is the UK constitution?The Constitution Unit,University College London,2023.55A pro-innovation approach to AI regulation1.84.Tools for trustworthy AI like assurance techniques and technical standards can support supply chain risk management.These tools can also drive the uptake and adoption of AI by building justified trust in these systems,giving users confidence that key AI-related risks have been identified,addressed and mitigated across the supply chain.For example,by describing measures that manufacturers should take to ensure the safety of AI systems,technical standards can provide reassurance to purchasers and users of AI systems that appropriate safety-focused measures have been adopted,ultimately encouraging adoption of AI.2.85.Our evaluation of the framework will assess whether the legal responsibility for AI is effectively and fairly distributed.As we implement the framework,we will continue our extensive engagement to gather evidence from regulators,industry,academia,and civil society on its impact on different actors across the AI life cycle.This will allow us to monitor the effects of our framework on actors across the AI supply chain on an ongoing basis.We will need a particular focus on foundation models given the potential challenges they pose to life cycle accountability,especially when available as open-source.By centrally evaluating whether there are adequate measures for AI accountability,we can assess the need for further interventions into AI liability across the whole economy and AI life cycle.Consultation questions:L1.What challenges might arise when regulators apply the principles across different AI applications and systems?How could we address these challenges through our proposed AI regulatory framework?L2.1.Do you agree that the implementation of our principles through existing legal frameworks will fairly and effectively allocate legal responsibility for AI across the life cycle?L.2.2.How could it be improved,if at all?

Others are asking
AI文生视频
以下是关于文字生成视频(文生视频)的相关信息: 一些提供文生视频功能的产品: Pika:擅长动画制作,支持视频编辑。 SVD:Stable Diffusion 的插件,可在图片基础上生成视频。 Runway:老牌工具,提供实时涂抹修改视频功能,但收费。 Kaiber:视频转视频 AI,能将原视频转换成各种风格。 Sora:由 OpenAI 开发,可生成长达 1 分钟以上的视频。 更多相关网站可查看:https://www.waytoagi.com/category/38 。 制作 5 秒单镜头文生视频的实操步骤(以梦 AI 为例): 进入平台:打开梦 AI 网站并登录,新用户有积分可免费体验。 输入提示词:涵盖景别、主体、环境、光线、动作、运镜等描述。 选择参数并点击生成:确认提示词无误后,选择模型、画面比例,点击「生成」按钮。 预览与下载:生成完毕后预览视频,满意则下载保存,不理想可调整提示词再试。 视频模型 Sora:OpenAI 发布的首款文生视频模型,能根据文字指令创造逼真且充满想象力的场景,可生成长达 1 分钟的一镜到底超长视频,视频中的人物和镜头具有惊人的一致性和稳定性。
2025-04-20
Ai在设备风控场景的落地
AI 在设备风控场景的落地可以从以下几个方面考虑: 法律法规方面:《促进创新的人工智能监管方法》指出,AI 的发展带来了一系列新的安全风险,如对个人、组织和关键基础设施的风险。在设备风控中,需要关注法律框架是否能充分应对 AI 带来的风险,如数据隐私、公平性等问题。 趋势研究方面:在制造业中,AI Agent 可用于生产决策、设备维护、供应链协调等。例如,在工业设备监控与预防性维护中,Agent 能通过监测传感器数据识别异常模式,提前通知检修,减少停机损失和维修成本。在生产计划、供应链管理、质量控制、协作机器人、仓储物流、产品设计、建筑工程和能源管理等方面,AI Agent 也能发挥重要作用,实现生产的无人化、决策的数据化和响应的实时化。
2025-04-20
ai视频
以下是 4 月 11 日、4 月 9 日和 4 月 14 日的 AI 视频相关资讯汇总: 4 月 11 日: Pika 上线 Pika Twists 能力,可控制修改原视频中的任何角色或物体。 Higgsfield Mix 在图生视频中,结合多种镜头运动预设与视觉特效生成视频。 FantasyTalking 是阿里技术,可制作角色口型同步视频并具有逼真的面部和全身动作。 LAM 开源技术,实现从单张图片快速生成超逼真的 3D 头像,在任何设备上快速渲染实现实时互动聊天。 Krea 演示新工具 Krea Stage,通过图片生成可自由拼装 3D 场景,再实现风格化渲染。 Veo 2 现已通过 Gemini API 向开发者开放。 Freepik 发布视频编辑器。 Pusa 视频生成模型,无缝支持各种视频生成任务(文本/图像/视频到视频)。 4 月 9 日: ACTalker 是多模态驱动的人物说话视频生成。 Viggle 升级 Mic 2.0 能力。 TestTime Training在英伟达协助研究下,可生成完整的 1 分钟视频。 4 月 14 日: 字节发布一款经济高效的视频生成基础模型 Seaweed7B。 可灵的 AI 视频模型可灵 2.0 大师版及 AI 绘图模型可图 2.0 即将上线。
2025-04-20
ai视频教学
以下是为您提供的 AI 视频教学相关内容: 1. 第一节回放 AI 编程从入门到精通: 课程安排:19、20、22 和 28 号四天进行 AI 编程教学,周五晚上穿插 AI 视频教学。 视频预告:周五晚上邀请小龙问露露拆解爆火的 AI 视频制作,视频在视频号上有大量转发和播放。 编程工具 tree:整合多种模型,可免费无限量试用,下载需科学上网,Mac 可拖到文件夹安装,推荐注册 GitHub 账号用于代码存储和发布,主界面分为工具区、AI 干活区、右侧功能区等。 网络不稳定处理:网络不稳定时尝试更换节点。 项目克隆与文件夹:每个项目通过在本地新建文件夹来区分,项目运行一轮一轮进行,可新建会话,终端可重开。 GitHub 仓库创建:仓库相当于本地项目,可新建,新建后有地址,可通过多种方式上传。 Python 环境安装:为方便安装提供了安装包,安装时要选特定选项,安装后通过命令确认。 代码生成与修改:在 tree 中输入需求生成代码,可对生成的代码提出修改要求,如添加滑动条、雪花形状、颜色等,修改后审查并接受。 2. AI 视频提示词库: 神秘风 Arcane:Prompt:a robot is walking through a destroyed city,,League of Legends style,game modelling 乐高 Lego:Prompt:a robot is walking through a destroyed city,,lego movie style,bright colours,block building style 模糊背景 Blur Background:Prompt:a robot is walking through a destroyed city,,emphasis on foreground elements,sharp focus,soft background 宫崎骏 Ghibli:Prompt:a robot is walking through a destroyed city,,Spirited Away,Howl's Moving Castle,dreamy colour palette 蒸汽朋克 Steampunk:Prompt:a robot is walking through a destroyed city,,fantasy,gear decoration,brass metal robotics,3d game 印象派 Impressionism:Prompt:a robot is walking through a destroyed city,,big movements
2025-04-20
ai写程序
以下是关于使用 AI 写程序的相关内容: 1. 对于技术纯小白: 从最基础的小任务开始,让 AI 按照最佳实践写一个 say hello 的示例程序,并解释每个文件的作用及程序运行的逻辑,以学会必备的调试技能。 若学习写 chrome 插件,可让 AI 按照最佳实践生成简单的示范项目,包含全面的典型文件和功能,并讲解每个文件的作用和程序运行的逻辑。若使用 o1mini,可在提示词最后添加生成创建脚本的要求,并请教如何运行脚本(Windows 机器则是 create.cmd)。 2. 明确项目需求: 通过与 AI 的对话逐步明确项目需求。 让 AI 帮助梳理出产品需求文档,在后续开发时每次新起聊天将文档发给 AI 并告知在做的功能点。 3. 在独立游戏开发中的经验: 单独让 AI 写小功能没问题,但对于复杂的程序框架,可把不方便配表而又需要撰写的简单、模板化、多调用 API 且牵涉小部分特殊逻辑的代码交给 AI。 以 Buff 系统为例,可让 AI 仿照代码写一些 Buff。但目前 Cursor 生成复杂代码需要复杂的前期调教,ChatGPT 相对更方便。 教 AI 时要像哄小孩,及时肯定正确的,指出错误时要克制,不断完善其经验。 4. 相关资源和平台: AI 写小游戏平台:https://poe.com/ 图片网站:https://imgur.com/ 改 bug 的网站:https://v0.dev/chat 国内小游戏发布平台:https://open.4399.cn/console/ 需要注意的是,使用 AI 写程序时,对于技术小白来说,入门容易但深入较难,若没有技术背景可能提不出问题,从而影响 AI 发挥作用。
2025-04-19
学AI上钉钉
以下是在钉钉上学 AI 的相关内容: 从 AI 助教到智慧学伴的应用探索: 登录钉钉客户端,在右上角依次选择钉钉魔法棒、AI 助理、创建 AI 助理。进入创建 AI 助理页面后,填写 AI 助理信息,设置完成即可创建成功。 AI 领导力向阳乔木:未提及具体的在钉钉上学 AI 的操作方法。 基于 COW 框架的 ChatBot 实现步骤: 创建应用: 进入,登录后点击创建应用,填写应用相关信息。 点击添加应用能力,选择“机器人”能力并添加。 配置机器人信息后点击发布,发布后点击“点击调试”,会自动创建测试群聊,可在客户端查看。点击版本管理与发布,创建新版本发布。 项目配置: 点击凭证与基础信息,获取 Client ID 和 Client Secret 两个参数。 参考项目,将相关配置加入项目根目录的 config.json 文件,并设置 channel_type:"dingtalk",注意运行前需安装依赖。 点击事件订阅,点击已完成接入,验证连接通道,会显示连接接入成功。 使用:与机器人私聊或将机器人拉入企业群中均可开启对话。
2025-04-19
用AI做职业测评
以下是关于用 AI 做职业测评的相关信息: 职业规划导师(校招版)功能: 1. 职业趋势分析:基于最新市场数据和行业报告,协助用户分析自身专业或职业的前景,助其了解未来职业趋势。 2. 技能评估与提升:通过测评工具评估用户当前职业兴趣,提供针对性学习资源和课程建议,帮助提升专业技能。 3. 职业匹配与推荐:根据用户兴趣、技能和职业目标,推荐适合的职业路径和职位,提供个性化职业建议。 4. 职业发展规划:结合用户个人情况和市场需求,制定详细的职业发展计划,包括短、中、长期目标,帮助用户在 AI 时代找到职业定位。 后续使用场景及商业化前景: 1. 学生和应届毕业生: 职业选择和规划:了解 AI 技术在不同职业中的应用,评估兴趣和技能,选择合适路径并制定规划。 技能提升:根据职业目标获得个性化学习建议和资源,提升 AI 领域技能。 2. 职场新人和职业转换者: 职业发展指导:制定职业发展计划,明确短期和长期目标。 职业转型支持:提供转型路径和必要技能培训资源,帮助顺利转型。 3. 企业: 人才招聘和培养:评估应聘者 AI 技能水平,选择合适候选人,为现有员工提供职业发展规划和技能提升建议,培养内部 AI 人才。 员工职业发展:为员工制定个性化职业发展计划,提供持续指导和培训,提升满意度和留任率。 4. 教育机构: 职业指导服务:作为学生职业指导一部分,帮助了解 AI 领域职业机会和发展路径,提升就业率。 课程设计和优化:根据市场需求和学生职业规划优化课程设置,提供针对性 AI 技能培训。 5. 职业咨询师: 辅助工具:使用产品为客户提供更精准职业规划建议和技能评估,提升服务质量和效率。 数据支持:基于产品提供的市场数据和职业趋势分析,为客户提供更全面和前瞻性指导。 BotID:7388833785208504358
2025-03-31
测评集怎么准备?
准备测评集通常需要以下步骤: 1. 确定评估标准:根据具体的业务目标和应用场景,明确测评的重点和要求。 2. 构建测试题目:例如对于中文大模型,可以包括多轮开放问题和多种能力的客观选择题,如 2023 年度中文大模型基准测评报告中提到的 1060 道多轮简答题和 3213 道客观选择题。 3. 考虑多维度和多视角:采用综合性的测评方案,全面评估模型的能力。 4. 引入裁判模型:如使用超级模型作为评判官,对不同模型的表现进行对比和评分。 5. 设定评分规则:明确胜、和、负的得分情况,并计算综合得分。 6. 进行人工校验:确保测评题目的准确性和有效性。 在开发产品视角的大模型 RAG 应用时,评测环节首先要确定测评标准,包括是否理解问题、是否匹配正确政策原文、回答是否准确全面、是否生成原文以外内容、回答是否可靠以及是否支持追问等方面。对于菜品秀秀的 Bot 评测集,可以根据具体菜品的烹饪步骤、食材准备、口味特点等方面进行构建。
2025-03-18
有没有大模型测评网站
以下是一些大模型测评网站: 玉宝搞过的 LLM 在线评估网站:https://www.llmrank.cn/ ,可看到国内各个闭源大模型的 HUMANEVAL 测评得分,并能与 QWEN2 对比。 Compass Arena:由上海人工智能实验室和魔搭社区联合推出,集齐了国内主流的 20 多款大模型,包括阿里通义千问、百度文心一言、腾讯混元、讯飞星火、字节跳动豆包、智谱 AI、百川智能、零一万物、月之暗面等,用户可在平台选择大模型的两两“对战”,实名或匿名对战皆可。测评地址:https://opencompass.org.cn/arena 。 中文大模型评测收集与调研相关网站: InfoQ + 极客帮:https://www.guotaixia.com/post/5124.html GAOKAOBench:https://github.com/OpenLMLab/GAOKAOBench ,是以中国高考题目为数据集,测评大模型语言理解能力、逻辑推理能力的测评框架。 清华安全大模型测评:http://115.182.62.166:18000 ,清华收集的一个评测集,涵盖了仇恨言论、偏见歧视言论、犯罪违法、隐私、伦理道德等八大类别,包括细粒度划分的 40 余个二级安全类别。 JioNLP 个人测评:评测数据集:https://github.com/dongrixinyu/JioNLP/wiki/LLM 评测数据集 ,考察 LLM 模型对人类用户的帮助效果、辅助能力,可否达到一个【智能助手】的水平。 EduTEP:华东师范大学计算机科学与技术学院 EduNLP 团队组建智能教育算法测评小组,开发智能教育可信评测平台(EduTEP)。EduTEP 对比多种大模型在教育领域中的综合性能,针对 K12 教育发布首个 CALMEDU 评测框架与 CALMEDU001 评测报告。 娱乐资本论:从实用角度出发,分析大模型在各种文本应用场景,如小红书带货文案、抖音直播文案、知乎问答、小说创作、公关信写作、歌词生成、淘宝商品详情页文案、广告宣传片文案、剧本创意策划等方面的综合表现。 全面的模型测评网站:https://lmsys.org/blog/20230503arena/
2025-02-15
你是一个专业的AI工具测评师,用过市场上的所有AI工具,请制作一个PPT,介绍一个如何使用AI进行办公提效,并根据你的经验,对使用过的AI工具进行分类对比和测评,对比结果以表格形式呈现,需要包括是否收费,国内是否可用,主要面向对象,优点和缺点,突出功能等
以下是为您制作的关于如何使用 AI 进行办公提效以及 AI 工具分类对比和测评的 PPT 内容: 幻灯片 1:封面 标题:AI 助力办公提效及工具测评 幻灯片 2:目录 AI 在办公中的应用场景 常用 AI 办公工具分类对比 各工具的详细测评 幻灯片 3:AI 在办公中的应用场景 辅助文档处理 自动生成会议记录 办公文件分类管理 语言学习纠错 幻灯片 4:常用 AI 办公工具分类对比(表格形式) |工具名称|是否收费|国内是否可用|主要面向对象|优点|缺点|突出功能| |||||||| |平安好医生 APP|部分功能收费|是|医疗工作者和患者|辅助医生诊断,提高准确性|可能存在误判|辅助疾病诊断| |腾讯会议|部分高级功能收费|是|企业和个人|自动生成会议记录,方便回顾|语音识别准确性有待提高|会议记录生成| |字体管家 APP|部分字体收费|是|设计和文字工作者|生成多种书法字体|字体版权问题|书法字体生成| |醒图 APP|部分功能收费|是|摄影爱好者|提供构图建议,提升照片质量|对复杂场景的建议有限|摄影构图建议| |游戏内商城推荐功能|部分游戏收费|是|游戏玩家|根据需求推荐道具|推荐的精准度因人而异|游戏道具推荐| |彩云天气分时预报|部分功能收费|是|出行人群|提供精准分时天气预报|天气变化的不确定性|分时天气预报| |医渡云病历分析系统|收费|是|医疗机构|分析病历辅助诊断|数据安全性|病历分析| |讯飞听见会议总结功能|部分功能收费|是|企业和个人|自动总结会议发言内容|对复杂语言理解有限|会议发言总结| |书法临摹软件|部分功能收费|是|书法爱好者|提供临摹指导和评价|对不同书法风格的适应性|临摹辅助| |下厨房口味调整功能|部分功能收费|是|烹饪爱好者|根据反馈调整菜谱口味|口味调整的局限性|菜谱口味调整| |英语流利说纠错功能|部分课程收费|是|语言学习者|帮助纠正错误|对口语表达的纠错有限|语言学习纠错| |豆瓣电影剧情分析工具|免费|是|电影爱好者|提供剧情深度解读|分析的主观性|剧情分析| |腾讯文档分类功能|部分高级功能收费|是|企业和个人|自动分类办公文件|分类准确性依赖数据|文件分类| |美丽修行定制方案功能|部分功能收费|是|美容护肤人群|定制个性化护肤方案|方案的普适性|护肤方案定制| 幻灯片 5:总结 强调 AI 在办公领域的重要性和潜力 鼓励根据实际需求选择合适的 AI 工具提升办公效率 以上 PPT 内容仅供参考,您可以根据具体需求进行修改和完善。
2025-02-10
模型能力测评方法有哪些,比如ragas这种
以下是一些常见的模型能力测评方法: 1. 从模型角度(generation): 回答真实性:评估模型结果的真实性,减少模型幻觉。 回答相关度:衡量结果与问题的相关性,避免南辕北辙。 2. 从检索角度(retrieval): 召回率(recall):考查相关信息在返回的检索内容中的包含程度,越全越好。 准确率(precision):评估返回的检索内容中有用信息的占比,越多越好。 RAGAS 是一个用于 RAG 评估的知名开源库,您可以通过了解和使用。 RAG 具有一定的优势和局限性: 优势: 能够解决大语言模型技术中输出结果的不可预测性、知识的局限性、幻觉问题、数据安全性等问题。 可以让大模型从权威的、预先确定的知识来源中检索、组织相关信息,更好地控制大模型生成的文本输出,并且用户可以深入了解 LLM 如何生成最终的结果。 可以和微调结合使用。 局限性: 适合打造专才,不适合打造通才,不适合为模型提供通用领域知识。 难以让模型保持稳定的风格或结构输出,降低 token 消耗等,需要使用微调技术解决。
2025-02-07
模型能力测评方法
以下是关于模型能力测评方法的相关内容: 测评机制: 测评目标:测评三家国产大模型,以同组提示词下 ChatGPT 4.0 生成的内容做对标参照,包括智谱清言(https://chatglm.cn/main/detail)、文心一言 4.0(https://yiyan.baidu.com/)、Kimi Chat(https://kimi.moonshot.cn/chat/)。 能力考量:包括复杂提示词理解和执行(结构化提示词)、推理能力(CoT 表现)、文本生成能力(写作要求执行)、提示词设计能力(让模型设计提示词)、长文本归纳总结能力(论文阅读)。 测评轮次: 第一轮:复杂提示词理解和执行,包括 Markdown+英文 title 提示词测试、Markdown+中文 title 提示词测试、中文 title+自然段落提示词测试。 第二轮:推理能力(CoT 表现),逐步推理任务,遍历 3 个不同类型任务和 4 个大模型。 第三轮:文本生成能力(写作要求执行),根据提示词生成文本任务,遍历 3 个不同类型任务和 4 个大模型。 第四轮:提示词设计能力(让模型设计提示词),按提示词要求生成提示词,逐步推理任务,遍历 3 个不同类型任务和 4 个大模型。 第五轮:长文本归纳总结能力(论文阅读),按提供的长文本(上传或在线)进行归纳总结,逐步推理任务,遍历 3 个不同类型任务和 4 个大模型。 测评过程: 用 5 组提示词分别测试模型的复杂提示词执行能力、推理能力、文本生成能力、用提示词设计提示词的能力、长文本归纳总结能力。每一轮中提示词和问题相同,观察国产三家模型的生成结果,并以 ChatGPT 4.0 生成的内容做对照参考。需要注意的是,本测评是主观需求主观视角,不具有权威性。
2025-02-07