沃顿商学院商业人工智能笔记-三-

news/2024/10/19 8:48:48

沃顿商学院商业人工智能笔记(三)

P123:22_AI的风险.zh_en - GPT中英字幕课程资源 - BV1Ju4y157dK

在这次讲座中,我们将讨论AI的一些风险。

我将以一个简单的统计风险开始,它有重要的管理意义。

然后我会谈论社会和伦理风险。

所以我想讨论的第一个风险是过拟合风险。

现在,许多复杂的高级机器学习模型,比如神经网络。

梯度提升等方法,容易对数据过拟合。

这意味着它们往往对历史数据的拟合过于完美。

但它们在其他现实情况中失败。这是因为这些模型通常参数过多。

它们可以拟合非常复杂的形状,且往往对历史数据的拟合过于完美。

但它们在历史数据之外并不能很好地泛化。

如果我们不了解什么在帮助模型表现良好。

当我们在现实世界中部署这些模型时,这就带来了显著的风险。

使用过拟合模型会产生许多操作风险。

例如,假设你有一个基于机器学习的交易算法。

这使得股票交易决策直接承担财务风险。

也存在客户认知和声誉风险。例如。

你有一个与客户互动的聊天机器人。

或者你有一个个性化算法,正在个性化用户体验。

如果那样在实践中运行不佳,就会在长远中损害客户的认知和保留率。

简而言之,尽管存在许多统计风险。

它们实际上可以被测试,因此机器学习模型的表现非常重要。

经过一次非常重要的压力测试。

这包括进行我之前提到的验证。

但这也包括进行许多其他压力测试,我们将在后面的讲座中讨论。

第二种机器学习算法面临的风险。

涉及社会和伦理风险。 为了说明这一点。

在我为我的书进行研究时,我会提供一些我发现的例子。

在我的研究中采访的一个人是。

在中国的一位22岁的生物技术专业人士名叫袁瑾。

袁有一个非常有趣的习惯,每晚睡觉前。

她与一个在中国的社交媒体名人邵平聊天。

她参与了这些有趣且充满玩乐的对话。

邵平是一个在中国拥有四千万粉丝的少女。

有趣的是,邵平能够参与这些对话。

在她的许多粉丝中。 当然,当我深入挖掘时。

我意识到,Shaoping并不是一个人。Shaoping实际上是微软研究院创建的聊天机器人。

在中国实际上取得了很大的成功。后来同一家公司在美国推出了一个聊天机器人。

它被称为微软日。遗憾的是,Day参与了性别歧视。

充满种族主义和法西斯主义的对话,许多人不得不在上线24小时内将其关闭。

现在有趣的是,同一家公司推出的两个相似聊天机器人。

得到了如此不同的结果。这反映出一些机器学习算法面临的挑战。

以及在部署之前需要进行大规模压力测试。

另一个与机器学习相关的挑战是其在简历筛选中的应用。

现在像亚马逊这样的大公司可能会收到数十万甚至数百万份简历。

在任何一年中。他们必须在这些数百万份简历中筛选出。

选择邀请哪些申请者进行面试。

用人类来做这件事在规模上是非常困难的。

因此,许多大型公司正在尝试使用机器学习。

目的是筛选求职者。在路透社的一则最新新闻中报道,亚马逊发现。

他们最初的简历筛选算法存在性别偏见。

幸运的是,这一算法被亚马逊的人员发现,因此不再使用。

但有趣的是,即使像亚马逊这样的大公司也不得不面对这个问题。

他们设计了一个基于非常前沿的先进机器学习算法的算法。

存在性别偏见。几年前,ProPublica报道了一则新闻。

关于在美国法庭中使用的算法,以帮助法官和假释官进行保释决策。

判刑和假释决策。这些算法会查看被告的历史,预测被告再次犯罪的可能性。

基于这些预测,法官可以作出判刑决定。

调查发现,该算法在错误预测未来犯罪方面的可能性是两倍。

在黑人被告和白人被告之间。这是一个例子,尽管开发者没有编程任何偏见,但算法却产生了种族偏见。

显然出现的问题是,为什么这些偏见会出现?

为什么一些简历筛选算法显示性别偏见?

为什么一些判刑算法存在种族主义?为什么一些聊天机器人存在种族主义?

注意,当我们谈到人工智能设计时,我们提到了基于规则的方法。

但也有基于机器学习的方法来设计人工智能。

所以如果你看看驱动人工智能系统行为的因素,部分是由程序员的逻辑驱动的。

或者是程序员为主要基于规则的专家系统提供的规则。

或者与几乎完全基于规则的传统软件相比。

现在,在机器学习中有规则,但也有数据。

而我们所学到的很多内容都是从数据中学习的。

因此,在人类行为方面,我们认为人类行为是由我们的天性和教养驱动的。

我们的天性是我们的基因代码,这驱动着我们的一些行为。

教养是我们的环境,我们从这个环境中学习,这驱动着我们的一些行为。

心理学家将一些问题行为,比如酗酒,部分归因于天性,部分归因于教养。

在 AI 中也是如此。如果你看看问题行为,天性和教养再次发挥作用。

天性是程序员为 AI 创建的规则。

教养本质上是 AI 学习的数据。

如果数据中存在偏见,那么 AI 系统也能识别出来。

因此,换句话说,很多偏见可能存在于数据中。

当我们说简历筛选算法存在性别偏见时,实际上发生的事情可能是它在学习过去的数据。

而这些过去的数据是基于人类所做的历史决策。

成千上万的人申请了某个组织的工作。

人们决定邀请谁参加工作面试。我们然后查看他们中哪些人获得了工作邀请。

我们随后查看哪些人获得了晋升。这些人正是 AI 系统试图邀请参加工作面试的对象。

如果过去存在性别偏见,那么这可能已经在数据中被捕获,并反过来也被 AI 捕获。

当我们思考基于 AI 的决策及其相关风险时,往往源于数据中的偏见。

现在产生的一些风险是什么?首先,社会面临许多风险,特别是当 AI 基于系统的自动决策可能导致少数群体继续被边缘化。

AI 现在将这些风险分为两组。第一组是分配的危害。

第二组是表示的危害。分配的困境基本上是关于必须将稀缺资源分配给人们的情况。

例如贷款审批决策或求职决策,其中多人申请某个职位,但只有少数人能够获得职位,以及简历筛选算法。

哪些申请者会获得那稀缺资源的分配。

表示不平等的现象指的是系统以不利的方式代表一个群体的情况。

例如,如果你在机场有一个筛选系统,它观察人们的面部表情和其他因素,以判断谁需要接受筛查。

如果它对少数群体有偏见,那么这就是一种表示的危害。

这两者都是非常重要的伤害,我们应该对此感到担忧。

现在,这些不仅仅是对社会的风险,也是对公司的风险,因为最终这些社会风险还会为组织创造声誉、法律和监管风险。

声誉风险来自于被视为偏见或有偏见的公司,公关反弹可能导致客户离开组织。

法律风险则来自于因歧视性做法而被客户或其他人起诉。

当监管者觉得你的算法实际上是在歧视或造成社会风险时,就会出现监管风险,他们会增加很多规定,这就造成了合规成本。

例如,如果你看看欧盟的GDPR法规,主要关注隐私,它确实有一些条款涉及自动决策。

其中之一是解释权,这无疑是消费者可以拥有并应该拥有的非常宝贵的权利,但这也给公司带来了合规风险。

简而言之,人工智能确实带来了许多风险。对社会的风险包括资源分配的伤害和表现的伤害,而这些社会风险又为公司创造了许多声誉、法律和监管风险。

那么问题是我们如何管理这些风险,我们将在下一个讲座中探讨。

[BLANK_AUDIO]。

P124:23_算法偏见和公平.zh_en - GPT中英字幕课程资源 - BV1Ju4y157dK

我是凯文·沃巴克,沃顿商学院法律研究与商业伦理教授,我在工作。

在人工智能和分析的伦理与责任问题上。算法偏见和公平性。

你会认为人工智能的一个主要好处是它克服了人类的偏见和盲点。

你是对的。人类容易受到刻板印象、隐性偏见甚至明确歧视的影响。

一个人工智能系统只是看数据。然而,认为人工智能本质上是客观的,这种想法是危险且误导的。

它实际上可以复制甚至强化人类偏见,产生深刻的不公平。

算法偏见在伦理上是错误的。它对边缘化群体有害。

这可能会引发员工、客户和其他利益相关者的反感,甚至可能导致。

可能会导致法律后果。2019年,一项关于波士顿一家大型学术医院的研究发表在《科学》杂志上。

研究人员发现了一个护理管理算法。

如果患者风险较高,算法会推荐他们获得额外资源。

该程序所推荐的平均黑人患者的潜在疾病几乎是双倍。

与平均白人患者的情况相比。换句话说。

黑人患者必须病得更重才能获得同等水平的护理。

当研究改变了算法,使得同样生病的白人和黑人患者。

它的应用几乎使符合条件的黑人患者的比例增加了三倍。

这不是一个独特的问题。人脸识别系统已被证明对深色皮肤的面孔准确性较低。

像亚马逊这样的公司使用的招聘算法,基于简历预测工作表现。

已被发现对女性不利。文本生成和机器翻译系统施加性别歧视的关联,有时甚至是种族主义的。

关联。例如,如果你从匈牙利语翻译,匈牙利语有性别中立的代词。

在匈牙利语中没有他或她,但如果你将匈牙利语文本翻译成英语,在主要搜索中会出现。

在搜索引擎中,它会将“他”作为教授和政治家的代词,而将“她”用于洗衣工。

这些菜肴和助手。这里发生了什么?首先,数据可以嵌入人类偏见。

如果女性传统上在公司内难以晋升并享有长时间的职业生涯,因为。

在普遍的性别歧视下,人工智能系统会发现女性与不良结果相关联。

在医疗保健的例子中,问题在于该算法使用了先前的治疗。

成本作为患者病情的代理。问题在于黑人患者的护理通常较差。

即使她们同样生病或更严重,花费在她们身上的钱也会更少。

在其他情况下,数据本身可能存在偏见。训练数据集中可能少了少数群体的例子。

在较不准确的模型中,这似乎是面部识别中发生的部分原因。

系统有时即便在数据中没有种族和性别的分类。

这些因素通过代理影响模型。

邮政编码只是一个地址标记,但它可能与种族或。

例如,社会经济地位。有多种工具可以将公平标准纳入算法设计。

系统直接或评估是否产生歧视性结果。然而。

它们并不是万无一失的。首先,公平的定义并不统一。

北点指南系统曾用于提供假释建议,颇具名声。

对黑人的错误率高于对白人的错误率。然而。

给定两个在各方面都相同但种族不同的囚犯,通常会分配相同的评分。

在这种情况下,个体和群体层面的公平是衡量公平的两种不同方式。

显示这些目标在数学上是根本不可能同时实现的。

必须做出选择和权衡。更公平的系统可能准确性较低。

我们必须在这些系统的设计中做出选择。在某些情况下。

可能根本没有客观的公平标准。

如何决定社交媒体新闻推送是否对保守派或自由派有歧视。

例如,依赖于对什么应为基线的主观决定。

符合这些政治类别的内容,等等。

这并不是说我们不能评估这种主张。我们只是无法写出一个关于“中立”新闻推送的客观规范。

这并不存在,因此最终数据的收集并非偶然。

数据的评估方式或在算法设计中所提出的问题。

导致边缘化群体在其他方面受到歧视的人为因素是相同的。

这种背景在这里同样适用。

现在可以对有偏见或不公平的算法提出一些法律主张。

但它们今天的适用范围相当有限。适用的主要法律类别是所谓的不同影响。

一个表面上中立的政策或做法,并不会明确地对待少数族裔群体与其他群体不同。

它仍然可能产生不同的待遇效果,这被称为不同影响。

问题是该法律领域通常相当有限。

它只适用于有限的受保护类别,通常是种族和性别,及。

它通常只适用于法律中规定的某些活动。

在美国,这基本上涉及就业和住房。

更大的问题是,不同影响通常需要明确的政策。

或者实践中对保护类群体产生差异影响的行为。

美国最高法院表示,仅仅显示统计差异是不够的。

显示出对保护类群体有更糟影响的证据是不够的。

必须采取某些明确的步骤,某项政策,仅仅使用算法是不够的。

这本身并不足够。因此,歧视法的结构与算法系统出现的问题之间存在脱节。

与算法系统相关的问题。在欧洲。

一般数据保护法规的某些条款中包含反歧视条款。

处理所谓的完全自动化处理。

但这在其背景上是有限的,而且相当模糊。

目前还不完全清楚如何应用这一点。

各个司法管辖区提出了多种新法律的提案。

欧盟正在考虑一项重大的新人工智能法律,他们已经就此发表了讨论文件。

而在美国,关于所谓的算法责任已经提出了一些提案。

该法案将要求进行偏见检查技术。但这些尚未得到广泛采用。

那么,组织应如何应对这些挑战?首先。

确保你的训练数据集深厚且多样。

它必须在不同的多样性度量上有足够的示例。

考虑要警惕的代理因素,那些表面上中立的东西实际上可能编码了。

保护类群体的一些特征。思考哪个公平函数对你的应用最有意义。

有多种不同的方法可以在数学上定义公平算法是什么。

在不同的上下文中,可能适合不同的方案。

基于这些指标测试和评估你的系统。再一次。

现在有一些工具可以让你评估其影响。

最后,要意识到潜在的历史偏见。

这就是多元化团队至关重要的地方。

如果在过程中有经历过歧视的人,他们会。

在设计时,他们更可能意识到并标记出出现的问题。

一种人工智能系统。[BLANK_AUDIO]。

P125:24_操纵.zh_en - GPT中英字幕课程资源 - BV1Ju4y157dK

操纵介于合法的说服和非法的强迫之间。

这意味着以某种方式让某人做你想让他们做的事情,从而绕过他们的理性。

理性决策能力。并非所有操纵都是非法或不道德的。广告。

政治竞选和筹款涉及刺激人们的情感,以获得他们的支持。

采取行动。他们可能不会,如果他们停下来并逻辑地思考这些行动。

或者他们可能会,但他们没有意识到有人在故意影响他们的选择。

所以,单纯的令人毛骨悚然与不道德,甚至非法之间的界限可能很难划分。

但这是一个重要的问题。AI可以在选择或决策不明显被塑造时操纵人们。

通过算法。

例如,当Facebook与学术研究人员合作时,引发了轩然大波。

测量其动态算法的变化是否能够产生心理学家。

称为情感传染。Facebook故意向某些用户提供了更快乐的内容。果然。

他们与朋友分享了更快乐的内容。然而,当这篇学术论文发表时。

这引发了愤怒。Facebook故意改变用户的情绪。

如果他们能让人快乐,他们也能让人悲伤,甚至可能抑郁。

在其他研究中,Facebook发现可以通过调整内容来增加选民参与率。

动态。如果它微妙地偏向某一候选人内容,会不会是操纵?

用户永远不会知道他们的投票受到影响。

这里的一个挑战是,您在Facebook动态中看到的一切都是算法的结果。

而且这些算法一直在变化。

Facebook向您展示更多关于气候变化的帖子,会不会是操纵?

如果公司的高管认为这样做对世界有好处?

或者他们这样做是因为认为会从电动车广告中赚取更多收入?

然而,一些形式的操纵是法律禁止的。

这些是虚假或潜意识广告等类别。然而,这些。

一般来说,这些定义得相当狭窄。除了这些例子之外,相关的主要法律概念是欺骗。

向客户推销他们想买的产品是完全可以的。

即使是通过AI个性化的。因为用户明白广告是为了向他们销售东西。

问题在于关系的性质不明显。

然后是剥削。这是一种更有害的操纵形式,涉及利用脆弱性。

产生在竞争市场中不会发生的自愿协议。在英国。

例如,航空公司使用算法故意将家庭成员分开坐在飞机上。

在他们购买便宜的票时未能选择座位的情况下坐在飞机上。

这是一种鼓励那些人升级到更高票价的方式。

他们能够坐在一起。但算法故意将他们分开,导致生成。

这一效果。当时,这只是一个相当简单的算法。它只查看姓氏。

但人们可以想象出更阴险的系统,能够在用户感到压力或困难时识别他们。

一份臭名昭著的泄露的Facebook广告演示表明,它能够识别青少年何时。

感到无价值、不安或焦虑。

这是负责任的人工智能从业者需要划清界限的时刻。

除了可能的公关反弹,如果你不会故意设计一个商业模式。

利用脆弱群体的做法,不应该通过算法间接进行。

然后就是市场操控,利用算法微妙地破坏竞争市场。

例如,亚马逊同时销售第三方产品和自己的自有品牌商品。

其搜索引擎并不直接优先考虑自己的产品。

但它确实结合了使用代理的信号来提高亚马逊的盈利能力,这可能导致。

在那种偏见中。那么问题是这是否是对产品市场的不可接受操控。

亚马逊。或者在某些情况下,算法可能会参与串通,这在一般情况下是被禁止的。

反垄断竞争政策法律。2018年,美国。

司法部对亚马逊上的海报销售者提起了诉讼。

因为他们的算法故意串通以维持高价格。

研究人员甚至表明,机器学习算法可以自行判断。

采用串通策略,导致更高的盈利能力。

那么,你该如何解决这些关于操控的担忧?正如我所说。

没有明确的界限来定义操控。除了在一些市场操控案件中,反垄断的一般原则。

或者在某些国家被称为竞争政策,可以应用。

你应该问的问题是,你的人工智能系统的目标是否在创造。

与你的利益相关者建立互惠互利的关系。

如果人们理解了,他们是否能够获得自己可能会选择的东西。

关系的本质?还是你基本上在欺骗他们?

在关于人类对象的学术研究背景下,制定了一套标准原则。

这是在1970年代的贝尔蒙特报告中发展起来的。

四个主要元素首先是知情同意,这意味着用户真正理解他们的。

除非涉及对他们没有真正伤害风险的事情,否则不会参与。其次,慈善

这基本上是一个不伤害原则。不要让人们处于可能遭受严重身体或心理伤害的境地。

伤害。第三,公正,即不剥削、不利用他人的理念。

在脆弱的情况下,系统应以公平的方式实施。最后。

一个专门的审查委员会。

在大学中,这被称为IRB,机构审查委员会,必须在此之前获得批准。

任何关于人类受试者的学术研究都可以开始。

将每个AI项目,特别是在私营部门的项目,置于这样的审查之下是不合理的。

这种审查程度。然而,许多组织发现设立一个专门的卓越中心或委员会是有帮助的。

评估这些以及其他关于重大AI实施的伦理问题。这,然而。

不应以削弱负责任的人工智能为代价。

组织中。所有参与者都应对避免不道德操控和剥削感到负责。

以及我在本项目中强调的算法偏见和其他问题。谢谢。

[记录结束],[沉默]。

P126:25_数据保护.zh_en - GPT中英字幕课程资源 - BV1Ju4y157dK

人工智能和分析依赖于数据,大数据。

你在这个课程中学到了聚合和分析的一些技术。

并应用数据来推动机器学习和其他类型的算法。

与此同时,尽管人工智能取得了飞速发展,但围绕这个问题的关注也在增加。

数字隐私的世界。各国政府对学者肖申娜·祖博夫所称的。

“监视资本主义。”商业模型将个人数据视为可以通过不断。

更复杂的个性化和定位。这些问题值得注意的是,已经存在很长时间。

自从20世纪60年代数据库广泛应用于商业以来,人们就一直对此感到担忧。

关于这种权力可能被滥用或可能侵犯基本权利的考虑。

然而,大数据和机器学习引发了新型的数据保护问题。首先。

他们需要如此大量的数据。机器学习的价值往往来自于能够使用庞大的数据集。

更多的数据意味着需要从更多的人那里收集更多的信息。

以及整合不同数据集和不同信息的更多机会。

这些信息单独来看可能并不令人担忧,但总体上构建了一个全面的用户画像。

个人。第二个是所谓的推断隐私侵犯的可能性。

随着机器学习和其他数据分析技术的发展,有时你甚至不需要。

要求某人提供一条可识别个人身份或敏感信息,以便弄清楚。

例如,研究员迈克尔·卡辛斯基构建了一个能够可靠地。

根据Facebook个人资料照片预测性取向。

系统不需要直接从用户那里收集性别或性取向的信息。

它只是通过关联弄清楚了。这是一个模糊的领域,在法律和伦理上都存在问题。

用户通常关心。用户常常认为如果你能够弄清楚某件事,并基于敏感信息定位我。

特征在于它类似于或相当于你故意。

让我提供这些信息。人工智能机器学习的第三个新问题是,模型通常需要大量数据。

更新所需的转移。当数据从许多用户那里收集时。

例如,通过手机活动获取的数据,然后在云中聚合并集中处理。

然后必须进行所有这些个人数据在网络中的转移和在云中的存储。

然而,有一些新的技术正在开发中,以调节这个问题,尤其是。

一种被称为联邦隐私的方式,允许模型在不必。

将所有个人信息从终端用户设备转移。

关于数据保护的第一件事是,它不仅仅是一个问题。

关于收集的五个阶段,称为隐私生命周期。

每一个都是在开发您的人工智能解决方案时需要考虑的重要因素。

第一个阶段是收集。这是获取用户信息的明显环节。

第二个是聚合与分析。有时问题不仅在于收集了什么信息,还在于对它的处理。

正如我所说,有时用户可能只提供少量信息,但这些数据。

集合与其他地方收集的其他数据集整合在一起。

有时是数据的分析和特征工程,最终带来

关于隐私的担忧。第三步是存储。而这是一个经常被忽视的问题。

如果您使用一个大型数据集来推导机器学习算法,那么。

那个数据集就成了巨大的安全风险。我们通常将安全视为与隐私不同,但您拥有的私人数据越多。

您拥有的数据越多,您对安全的担忧就越大。

即使您没有做任何非法或不道德的事情,如果您的数据被黑客入侵。

而私人数据被外泄,这就成了一个巨大的问题。

因此,存储和维护以及关于您存储和保留哪些数据的决策变得至关重要。

作为隐私的一项重要事项。第四是使用。有时数据的收集是可以的,但数据被用于用户不认同的原因。

可能会引起担忧。如果例如您的医疗实践收集了非常敏感的健康数据。

您可能会觉得这样做没问题。这对您的医疗治疗是必要的。

但如果他们随后将其出售给为其他产品营销而使用的聚合商以获取利润。

如果它是提供给您的,那么您可能会感到担忧。您认为这不是一个合适的用途。

学者海伦·尼斯巴姆对此有一个影响深远的概念,称为上下文完整性。

人们希望数据被用于他们同意收集的上下文中。

隐私生命周期的最后阶段是分发。

如果公司转移或转售数据,这些数据去向何处?

制造数据是庞大的数据经纪经济的基础。

如果根据收集合同授权,通常不算是非法的。

并传输数据。但这是一个用户常常非常关心的问题,同时也是一个。

这引发了额外的安全担忧。如果您非常小心处理数据,但随后将其转移给第三方。

哪一方不是?这就成了一个问题。因此,您需要考虑五个阶段。

基本上,隐私法有两种主要的做法。

美国的做法与主要在欧洲发展但已被采纳的方法。

在世界上许多其他国家。美国的方法通常是基于市场的。

这个理念是创造一个功能市场,其中存在交易。不存在市场失灵。

人们没有受到虐待。人们的数据不会被盗取。

只要有基本通知和基本同意,用户有一些选择的理念。

根据美国的方法,数据是合法的市场。美国的方法也是分部门的。

目前美国没有全面的数据保护或隐私法律。

在某些特定领域,如医疗或消费者金融,有适用的规则。

在联邦贸易委员会之下有一般的保护措施,主要涉及消费者保护。

但在某些情况下,它已适用于隐私。这是美国方法的一般基础。

欧洲的方法截然不同。它基于人权。

基于数据对我们人性的重要性,这一问题关乎。

基本人权。这是全面的。人类法律适用于所有潜在情况下的所有类型的收集。

它适用于各种参与者。通用数据保护条例现在是欧洲主要的隐私法律。

欧盟适用于所谓的数据控制者。

收集数据的人以及第三方数据处理者。

这些数据经纪人同样受到法律的约束。

它适用于任何个人识别信息或可能变成个人识别信息的内容。

个人识别任何在欧洲的公民,无论他们身在何处。

所以它比美国的方法更广泛、更全面、更详细。

这两个框架之间有各种差异。

例如,欧洲框架是选择加入。数据收集前必须获得用户的明确授权。

必须出于特定的法律目的。你不能收集数据而不知道用途。

你必须证明你收集数据的理由是合法的。

你必须限制对数据的使用目的,除非你获得进一步的同意。

用户的同意。在美国,普遍的默认标准是选择退出。

没有普遍要求你具体说明数据收集的目的。

欧洲明确监管经纪人,而在美国则处于模糊地带。

欧洲对所谓的完全自动化处理有额外的规则。

当算法完全为重要或法律上显著的后果做出决定时。

有专门的规则规定可以对数据做什么。

而且欧洲有一整套实质性权利。你拥有的明确权利。

例如,有能力进入并纠正关于你的不正确信息。

所谓的被遗忘权。要求从数据库中移除某些数据的权利。

所以历史上这两者的方式是不同的。

但实际上,潮流正在转变。世界正朝着更接近欧洲方法的方向发展。

我称之为欧洲方法。但许多其他主要管辖区的法律更像GDPR,而不是美国的方法。

像日本、南美的管辖区,甚至是中国这样的巨大市场,许多人。

人们通常认为这些地方没有显著的隐私担忧。

中国的消费者和政府。中国私营部门的人们对收集的隐私有严重担忧。

针对私营公司收集的数据。大中国数字平台(如腾讯和阿里巴巴)收集的数据隐私。

而中国现在的数据保护法虽然并非完全相同,但看起来有些相似。

类似于欧洲的全面规则。

因此,世界大多数地方都有全面的隐私法,美国也在朝这个方向发展。

在联邦层面上,已经有几个倡议朝着全面隐私法的方向发展。

在美国,各州已经通过了相关法律。

值得注意的是,加州消费者隐私法案施加了更显著的明确权利。

数据收集的空间限制。欧洲和其他管辖区也在进一步推动更多要求。

针对涉及高风险数据收集的AI系统的明确保护。

例如医疗数据收集或更容易导致风险的数据收集。

关于歧视和偏见的议题。因此,我们似乎在看到一场竞争向更高标准发展的趋势。

我们似乎在全球范围内看到一些国家和其他管辖区的保护不足。

随着隐私的提升,跨国公司如果需要,也会获得更多保护。

要么遵循主要管辖区内最严格的规则,要么拥有多个系统。

通常做出决定的是实施一些更具保护性的措施。

因此,这一点你需要理解,当然要了解你所在特定管辖区的规则。

但是要意识到你在实践中面临的要求可能更严格。

顺便提一下,欧洲GDPR适用于任何地方的欧洲公民的数据。

可能在其他地方注册的公司仍然受到这些规则的约束。

非法律合规,你应该怎么办?在构建AI项目时,考虑数据保护至关重要。

技术层面和操作层面。如我之前提到的,有多种技术可以使系统更加保护隐私。

保护性。联邦学习是其中之一。另一个重要的概念是差分隐私。

差分隐私是一种通过战略性地向数据集添加噪声的数学技术。

结果是统计查询产生等效结果,但要确定一个特定个体是否属于数据集是不可能或更困难的。

确定某个特定个体是否属于数据集。

仅仅执行查询并不会泄露用户在数据集中的信息,而差分隐私则提供了技术保障。

隐私允许你调整保护程度,因为存在权衡。

在数据中加入更多噪音,使其更加保护隐私可能会降低准确性。

所以通过差分隐私,不同的项目可以决定他们需要多少隐私保护。

想要实施。该技术最初是在学术界设计的,但现在越来越多地被商业和。

例如,Uber在内部查询乘客数据时使用差分隐私。

苹果在iPhone上收集的数据中使用差分隐私。

而美国人口普查正在对其收集的数据集使用差分隐私。

关于2020年美国人口普查的每个人的大规模数据集。

另一种可以应用的技术是超越这些技术机制进行思考。

关于操作层面。操作层面涉及商业技术。

在实践中使用的机制,以及你在数据收集周围的组织作为商业事务。

以及你的AI系统开发,超越技术设计决策。

该领域有一个主要概念叫做设计隐私。

该概念最初由安妮·卡伏基安提出,她当时是安大略省的隐私专员。

加拿大,但现在已正式纳入欧洲GDPR和其他机制中。

设计隐私的理念是,你应该将隐私和数据保护融入。

在涉及个人可识别或潜在个人数据的每个决策中考虑这些因素。

可识别的数据。你在每个阶段都要做到这一点。记住。

隐私和数据保护不仅仅关乎收集,而是关于所有这五个阶段。

如果你团队中的每个人都意识到这些风险,并考虑在哪里可能出现问题。

这可能会有问题,你更有可能避免争议。

还有可以应用的正式机制,比如数据影响评估。

美国提出的算法责任法等两项法律将会。

需要这些机制。这类似于已在政府背景下使用的环境影响评估概念。

在环境保护方面,几十年来需要正式报告以识别数据风险。

实施一个主要或高风险系统的数据泄露。

但这并不适用于每个系统,这样会过于繁琐。

只需决定何时需要实施正式流程。

隐私和数据保护最重要的原则是将其视为无处不在。

它们不仅仅是你必须检查的一次性项目。

我遵守隐私规定。你可能需要满足特定的法律要求,但你必须始终考虑。

这里可能会发生什么?哪里可能出现问题?

我在哪里可以做得对,但第三方或攻击者获取数据和。

我受到客户的指责。你需要在每个阶段都考虑隐私问题。

[空音频]。

P127:26_Yogesh Mudgal访谈.zh_en - GPT中英字幕课程资源 - BV1Ju4y157dK

今天,我邀请到了Yogish Mughal。

Yogish目前在花旗工作,是运营风险管理的主管。在2019年。

Yogish组建了一个名为ERS的非正式团队,成员都是志同道合的专业人士,关注AI风险和安全。

ERS致力于促进、教育和推动金融服务行业的AI和机器学习治理。

通过关注风险的识别、分类和缓解。欢迎你,Yogish。谢谢。

玛丽。谢谢你邀请我。我很高兴在这里见到你。

为了让我们了解你的观点,你能告诉我们你的职业历程以及在花旗的角色吗?

从花旗开始,我负责新兴技术和工程。

在花旗的运营风险架构组中。我的大部分职业生涯都致力于风险管理。

以及信息安全。在过去几年中,我一直在。

更加关注识别和管理风险。

与新兴技术一般,特别是AI。为此。

就像你之前说的,我创立了ERS。2019年,志同道合的专业人士。

代表AI风险和安全,实质上。

尝试看看我们行业能否团结一致,对识别风险有一个共同的看法。

与AI有关,以及如何确保其安全和稳妥地实施。

AI可以被视为对公司的风险。因此,它们可以被视为声誉风险。

运营风险或合规风险。这些不同的风险术语。因此我想知道。

你能描述一下这些风险,特别是哪些风险最令人担忧吗?

根据你的经验?在我看来,任何技术都应该进行风险管理。

或者一系列技术,包括AI。因此,机构与AI相关的风险。

这可能依赖于多种变量,包括AI的实施方式。

现有控制的强度,或机构的风险概况和风险偏好。

正如论文中所述,我们可能还没有提到的。

不过ERS确实通过沃顿发表了一篇论文,在那篇论文中,我们也进行了描述。

AI的各种风险类别。我将在这里强调的一些风险类别。

数据相关的风险、AI攻击、测试与信任以及合规性。因此,在数据相关风险中。

这可能包括子类别,比如学习限制。例如,学习限制。

当然,数据质量也很重要,简而言之,AI系统的有效性通常与数据的质量成正比。

用于训练它以及在训练系统时考虑的各种场景。在AI ML攻击中。

行业内对实时机器学习模型进行的研究,讨论了各种攻击。

包括数据隐私攻击、训练数据中毒、对抗性输入和模型提取。

然后是测试与信任。显然,信任和测试是最常见的。

这是AI领域中讨论的话题,包括偏见和可解释性。

以及与合规相关的事宜,包括内部政策。

以及监管要求。我认为所有这些都是不同的风险。

我们可以总结或分类为AI。在ERS小组中,是否存在?

你对这三个风险领域中的某个特定部分有兴趣吗?

是否有任何人处于更高层级,还是这取决于特定行业或组织?

在控制风险的意愿方面?我很好奇这方面的影响。

是人民、公司还是行业优先考虑这些风险,像是非常。

非常不稳定?是的,你完全正确。这真的取决于AI的实施地点。

如何实施,以及机构的风险偏好。因此我们不能说一刀切。

或者在这种情况下,一个风险适用于所有或主要风险。因此这真的取决于实施。

比如,如果某个人的AI模型在云上运行。

所以AI ML攻击的风险可能会增加,具体取决于暴露程度。

AI模型的外部使用,与在组织内部使用的AI模型相比。

这些攻击的可能性可能更低。

但可能会有更普遍的合规风险。因此这确实取决于用例。

没有一个风险我会说更高或更低。

所以这引导我们进一步剖析这个问题。

因为我们听到更多关于数据和训练的讨论。

使用的数据,以及我们也听说算法。越来越多的讨论。

我们在媒体和会议中听到关于算法透明度的讨论。

和你之前提到的类似。那么在这方面具体是什么?

我们有时听到称其为技术,这可能像是揭示源代码与校准的。

透明度。所以如果你能提供一点背景信息。

我们开始多听到这两个术语。

整体来说,算法需要更加透明。作为领导者,你如何应对?

然后可能作为消费者或投资者,他们如何看待这一点。首先。

我同意很多术语在流传,透明度肯定是其中之一。

因此,关于透明度和可解释性的讨论和对话增加了。

我认为考虑受众很重要,因为这取决于利益相关者。

透明度的水平,或透明度的需求可能会有所不同。例如。

内部审计员与监管者所需的透明度可能不同。

相对于开发者或最终用户,我总是给出的类比是我旅行时坐飞机。

我敢打赌,但我不知道引擎是如何工作的。

我不知道飞行员的水平如何。但这里的重要因素是信任。

我相信系统在运行。我相信飞机运转良好。

我相信我会被送到目的地,最后但并非最不重要。但在这里。

我认为这里的共同点是信任。因此。

我失去了关于AI炒作的陈词滥调,还有一些相关的恐惧。

或者我应该说,与AI相关的伤害尚未完全理解。

所以我认为我们开发信任,建立对AI系统的信任是重要的。

所以我认为这里的透明度或校准透明度是一个重要因素。

在我看来,这是一个信任因素。如果利益相关者在需要了解的基础上,理解了原因。

使用AI系统的方式,以及权衡,例如。

内部审计员与监管者,或最终用户,可以获得透明度。

从而在AI系统中建立信任。所以我们谈到了数据,透明度。

算法,这也可能导致我们潜在。

如果人们请求越来越多地查看源代码,或者揭示源代码。

揭示源代码是否存在问题?如果我们能谈一谈。

因为这可能是人们在想的其他事情。

他们可能如何管理,如果这种情况出现。是的,我认为揭示源代码。

或者在极端情况下,源代码的妥协,无论是AI系统还是非AI系统。

我认为大多数风险保持不变。显然。

知识产权排在首位。还有其他相关内容,包括。

如果你透露源代码,是否也在揭示方法论?

用于构建系统或做出决策?这取决于利益相关者。

你想揭示还是不揭示?源代码是否可以用于植入或嵌入后门?

进入系统?所以涉及各种风险。

当我们谈论揭示源代码时。在某些情况下,这可能必须进行。

由于法律或法律情况的要求。但通常。

我不认为源代码是那么容易被揭示的,或者一般来说。

如果我们的公司不这样做,那就不应该揭示。而且潜在。

这可能是公司需要更好地教育的内容。

就像消费者或客户一样,为什么揭示源代码是坏事。

对他们来说并不是最有利的,因为这揭示了,他们暴露于更多风险。

你之前提到的一些风险。然后你的比喻关于乘坐飞机。

你已经购买了机票以便乘坐飞机。

因为你知道有专家在操控飞机。

这里有一定程度的假设和信任。

在你和航空公司之间发生的事情,你期望他们保留某些内容。

你知道他们必须继续运行,而你不需要确切知道它是如何运行的。

但是当存在一个非常重要的风险时,他们会告诉你。好的。

非常感谢你提供的所有信息,以及今天和我交谈。我很感激。

谢谢你,Yogi。谢谢你,Mary。感谢你们的邀请。[沉默]。

P128:27_AI治理.zh_en - GPT中英字幕课程资源 - BV1Ju4y157dK

在这次讲座中,我们将讨论AI治理。

我们如何确保在没有风险的情况下获得人工智能的好处。

体验到我们讨论的一些风险?我主张有三个主要原则。

我的书《机器智能的人类指南》,以及他们的用户控制、透明度和审计。

让我们逐一查看每个方面。首先是控制。

这是让用户对方式有一些控制的想法。

算法为他们做出决策,换句话说,就是让人类参与其中。

让我们考虑一些例子。首先,让我们看看Facebook新闻推送。现在。

Facebook的新闻推送在2016年遭遇了一些批评。

因为平台上有一些假新闻故事在传播。对此,Facebook做出了回应。

Facebook实施了许多变化。其中一个关键变化是允许用户。

能够标记他们认为不合适的新闻推送。

这些帖子要么是假新闻,要么在某种程度上具有冒犯性。这个功能让用户控制,并允许用户提供反馈。

向算法本身反馈某些决策。

识别出那些有问题或不正确的内容。这也有助于算法的学习。

实际上,在过去一年中,这个功能。

事实上,这个功能帮助Facebook检测了许多有问题的新闻帖子。现在。

即使控制听起来像个简单的想法,这里有许多细微差别。

需要谨慎对待这个问题。一个需要谨慎对待的例子。

这个概念来源于Facebook。2015年,Facebook发布了几种混合风格的新闻推送控制。

所以用户可以精确控制新闻推送中出现的帖子类型。例如。

他们可以说,给我显示这些朋友的更多帖子,或者减少这些朋友的帖子。

他们可以说,给我显示更多或更少的关系状态。

不显示我不想看到的消息,或者不显示我不想看到的资料变更消息,等等。

Facebook对少数用户测试了这个功能。他们发现这些用户的满意度。

实际上,用户参与度下降了。然而,用户参与度确实增长了。

这意味着这些用户在Facebook上花费的时间更少。他们参与的帖子也更少。

他们点击的帖子更少,点赞的帖子也更少。

所有这些都表明算法在展示用户所需帖子方面并不那么有效。

他们会发现有趣的内容。我们实际上已经在多个其他场合看到了这一点。

特别是算法和人工智能在自主模式下表现良好。

但当用户可以有一些控制时,某些表现实际上会下降。

所以,虽然我建议让用户掌控是好的,但过多的用户控制存在一个风险。

其中一个风险是性能可能下降。所以必须认真考虑如何设计系统。

这使用户能够控制并帮助标记出现的问题。

但同时,又不会因为用户控制过多而遭受一些性能问题。

现在,我的研究以及许多其他人的研究。

建议存在设计这些控制的方法。

一项由我的一些同事在沃顿进行的最新研究。

评估用户控制对信任的影响。在他们的实验中,用户被要求预测。

高中生在标准化考试中的分数。

基于他们对这些高中生的一些信息。

允许用户咨询算法。这些实验中的用户或对象。

被分成四组。第一组对算法没有控制。

他们必须决定是否想使用算法。

但如果他们决定使用算法,那么算法建议的任何内容。

那将是他们的选择。第2组和第3组对算法的控制非常有限。例如。

第2组能够在某些情况下推翻算法或AI。

但总体上非常少见。而第3组被允许推翻算法。

或者通过小幅度改变算法的预测来改变模型。

最后一组对算法拥有完全控制。

然后评估用户对算法的信任。他们多频繁想使用算法?

或者这些用户中有多少希望使用算法?

他们发现没有控制的用户信任度低。他们更不愿意使用算法。

即使只有一点控制的用户,信任度也很高。

他们更愿意使用算法。有趣的是。

他们发现控制的数量并不重要。

无论用户有少量控制还是大量控制。

信任水平持续保持高水平且相似。简而言之,这项研究显示。

一点控制对于建立用户信任非常有效。

但你不一定需要很多控制。另一方面,研究表明。

控制有时会导致性能下降。将两者结合,意味着。

我们需要给用户足够的控制,以便他们可以推翻算法。

或者对算法如何做出决定有一些控制,涉及他们自己。

但这并不意味着算法不能独立做出决定。尤其是。

在这种情况下,目标是给予用户推翻算法的能力。

当他们发现问题时。关于Facebook的想法是,算法会弄清楚。

如何在信息流中对帖子进行排序,用户可以反馈并表示或指示。

当某些问题帖出现时。再次,这里的想法是当事情出错时。

用户可以提供反馈。因此,用户控制的想法。

本质上是给用户在产品设计和用户界面中足够的选项。

这样他们就可以指导算法的表现,实际上。

甚至在他们注意到问题时,可能会否决它。

下一个原则是透明度,意味着给予用户足够的信息。

关于算法如何为他们做出决策。现在,透明度是一个有趣的概念。

对此有许多解释。其中一种解释是透明度。

是我们必须揭示算法的源代码这一想法。

这有时也被称为技术透明度。

2010年美国股市崩盘时。

针对股市闪电崩盘进行了调查,调查表明。

自动交易算法在2015年闪电崩盘中发挥了作用。

CFTC(商品期货交易委员会)做出了一项裁决,并建议一项规定。

他们建议司法部可以强迫交易者公开他们算法的源代码。

交易者和大多数行业专业人士对此表示抵制,因为这将导致。

他们被迫揭示自己的专有知识产权。事实上,最终的裁决。

在2017年,规则被修改,使这些公司不必分享他们的源代码。

纽约市也提出了一项关于自动决策的法案。

该法案要求所有供应商。

提交由市政府使用的软件,这些软件由市政府使用。

进行自动决策的机构将被要求揭示他们的源代码。

并使其公开可访问。供应商再次抵制,因为这。

会导致他们放弃自己的专有知识产权。此外,这还会让黑客。

评估他们的代码,识别代码中的漏洞并攻击代码本身。现在。

在这个实例中,裁决或法案也被修改。

最终决定技术透明度并不是最佳解决方案。因此在许多情况下。

我们已经看到,透明度的概念不应是技术透明度,意味着揭示。

向公众公开源代码。事实上,甚至不清楚这样做是否真的有价值。

因为不清楚普通人是否真的能评估源代码并据此采取行动。

现在,可能有用的透明度类型是更高层次的东西。

研究员Renee Kieselchak最近进行的一项研究评估了透明度如何影响用户信任。

算法中的决定。在研究者进行的实验中。

学生们的作业成绩是通过算法确定的。

一些学生未获得关于算法如何决定成绩的信息。

信任度非常低。另一组学生获得了一些最基本的信息。

关于算法如何决定成绩。换句话说,给予的是高层次的信息。

关于算法所考虑的因素,以及提供他们直觉的一些基本解释。

关于算法的设计。当这种透明度提供时,信任显著提高。

第三组获得了非常高的透明度。

在这里,他们获得了用于算法的详细公式和非常详细的具体信息。

该群体的信任实际上保持较低。这部分是因为这些用户并不是。

能够评估复杂信息并加以利用。

所有这些表明,对于最终用户来说,我们不需要太多透明度。

我们只需要基本信息,例如,是否使用算法做出决策。

算法使用了哪些数据?

考虑了哪些变量,哪些变量对这个决策最重要?

这是一个变得越来越重要的想法。

在机器学习中,有一个专注于可解释决策的子领域。

或者可解释的机器学习。这个领域有两个主要思想——。

全局和局部可解释性。全局可解释性是提供高级反馈。

向用户或其他任何人说明,最重要的变量或因素是什么。

驱动算法或模型的决策或预测的因素。

局部可解释性是关于提供反馈的。

关于驱动特定决策的最重要变量或因素是什么。例如。

如果个人的贷款申请被拒绝,具体的因素是什么。

导致这个人的贷款申请被拒绝?

很多法规正在朝这个方向发展。我之前提到过欧盟有一项叫做GDPR的法规。

这赋予消费者解释的权利。因此,如果公司使用先进的机器学习。

像神经网络或随机森林这样的模型,则需要向消费者提供解释。

而可解释机器学习领域将变得相关,因为它允许他们。

向消费者提供关于驱动模型预测或决策的因素的高级解释。

现在,透明度还有另一个有趣的方面。

我们谈到了透明度与最终消费者的关系。

但透明度与管理者和数据科学家的关系也是如此。现在。

当数据科学家使用非常复杂的模型,如神经网络,来做决策时。

在贷款批准决策中,即使是数据科学家,也可能不知道是什么因素。

驱动模型表现的因素。因此,可解释的机器学习。

这不仅与最终用户相关,也与进行算法部署的数据科学家或管理者相关。

实际上正在部署这些算法。在这里,再次强调全局可解释性。

局部可解释性和全局可解释性都是重要的。正如我所说。

本质上是我们是否能以高水平进行解释的想法。

评估哪些是推动模型预测的最重要变量。

对于贷款批准决策,反馈可能是,贷款批准主要由此决定。

根据申请人的收入,其次是他们的信用历史。

还有第三个变量等等。如我所提到的局部可解释性。

关注的是对特定决策的最重要变量的反馈。

所以如果我的贷款申请没有被批准,那么局部可解释性就会。

涉及解释导致Karthik的贷款申请被拒绝的因素。

现在,这在机器学习中正变得越来越重要。

有许多开源工具和第三方供应商。

提供解决方案的公司,帮助增加可解释性或添加可解释性。

作为其机器学习活动的一部分。这不仅可以向消费者提供解释。

增加信任,它也可以在管理者之间增强信任。

正在尝试部署这些系统的人,此外,它们也可以成为调试的有价值工具。

我提倡的第三个原则是审核算法的理念,特别是。

在高风险环境中。实际上,美国国会这里有一个正在进行的监管提案。

这被称为算法问责法,如果通过的话。

将要求非常大的公司,实际评估其高风险自动化决策。

系统,意味着用于做出高风险决策的机器学习模型,例如贷款批准。

或简历筛选等,为准确性和公正性等方面进行审核。现在。

这个监管尚未通过,也不清楚它是否会被通过。

在其原始形式中。但独立于此,前瞻性公司。

不应等待监管,而应采取主动措施,以赢得消费者信任。

防止算法出现问题,同时确保他们的系统长期稳健。

那么我们来聊聊审核过程可能是什么样子的。

审核过程首先从创建所有机器学习模型的清单开始。

被组织使用。接下来,对于每个模型,我们进行识别。

模型被用于什么样的使用案例。

有时模型可能用于非常简单的决策。

有时模型可能用于更复杂的决策。我们识别出使用案例。

我们还识别出模型的开发者是谁,模型的业务拥有者是谁。

哪个部门拥有它,部门中的哪个个人,可能对此负责。

每个模型可能会被赋予风险评级,评估其社会和财务风险。

如果模型出现问题。这可能成为是否需要审核的决策依据。

如果模型的风险评级相对较低或中等,也许我们不需要审核过程。

但如果这是一个高风险模型,则可能启动审核过程。

审计可以由内部专家进行,或者由请来的外部专家进行。

审计会考虑多个因素。例如,他们会首先查看输入。

进入模型的数据质量如何?训练数据中是否存在偏见?

它会审视模型本身,并将模型与替代模型进行基准比较。

并确认其表现优于其他替代模型。

它还会对模型进行压力测试,使用模拟数据,并确认模型运行良好。

即使数据与训练数据看起来不同。最后,我们还有输出。

这里的想法是查看模型做出的决策或预测,并对其进行评估。

查看解释或阐释,以便我们理解模型是否有效。

更加重视合适的因素。我们也可能会试图观察预测中的异常值。

所以这些都是审计过程的一部分。正如我提到的,有许多风险。

与自动化决策的机器学习模型。

问题从偏见到对模型的不理解。审计过程可以大有裨益。

在实际部署之前对模型进行压力测试。总而言之。

有许多方法可以思考管理风险。控制是一个重要方面。

确保有人的参与。让一些人控制模型。

第二个是透明度,即关于模型如何工作的解释。

最后,我们有审计的概念,以便对模型进行压力测试。事实上。

当你设计数据科学家团队时,可以考虑一个模型开发者。

专注于开发机器学习模型。然后你可能会有数据科学质量保证流程。

这很像软件开发,你有软件工程师在创建软件。

然后你会有测试人员或测试工程师在测试软件。同样地。

你可以有一个数据科学质量保证流程来测试模型。

对于超高风险模型,可能需要更深入或更复杂的测试。

审计的本质就是这个。因此这是一组框架。

可以帮助我们管理或治理与人工智能相关的一些风险。[BLANK_AUDIO]

P129:28_AI伦理原则.zh_en - GPT中英字幕课程资源 - BV1Ju4y157dK

你希望在你的AI倡议中负责和伦理。

什么原则应该指导你?越来越多的组织正在创建官方的AI伦理框架。

是否想要创建正式文件取决于你组织的性质。

所有这些共同点在于它们都是对理想的自愿承诺。

它们在某种直接法律上是不可执行的。当然,这既好又坏。

这带来了更多的灵活性。但这也引出了关于拥有一个好看的文件或框架的问题。

这实际上意味着该组织更致力于负责任的AI。

如果你打算走这条路,你应该考虑这些为什么重要。

对你而言的原则,并承诺确保你的组织看到这些原则。

作为具体内容。通常,从整体上考虑应该指导的高层原则是有帮助的。

你的AI倡议。无论你是否将它们简化为正式列表。

明确列出原则使得评估决策更容易符合标准。

这也可以突出在问题发生之前你需要关注的担忧。

这也是一个机会,让你考虑哪些价值对你特定的组织最重要。

每个实体都是不同的。基于你的历史、文化和行业。

你的地理位置或其他一些因素,你可能特别关注某些原则,而对其他原则关注较少。

其他。哈佛的一份报告在2020年评估了来自大公司的36个主要AI伦理框架。

像微软、Telefonica和腾讯这样的公司,标准机构、行业联盟和政府。

全球范围内。它确定了八个反复出现的共同类别。

这些包括隐私、问责、安全与保障、透明性和可解释性。

公平和非歧视、人类控制、专业责任,这意味着注入。

在整个过程中,伦理和法律问题以及组织的推广。

人类价值的体现。这意味着要问你的行为是否最终服务于人类的繁荣。

现在你不需要将这些作为你的AI伦理原则,或一定要包含所有这些。

在列表上。但你应该问自己每个特征在这个背景下是否合理。

组织以及你如何看待它们。具体来说是什么呢?

在这个背景下,透明性或可解释性意味着什么。

你正在开发的系统?哈佛报告的重要发现是这些原则似乎在趋同。

公司、组织和政府正在考虑现有的框架。

不要在外面试图重新发明轮子。越来越多的原则,如我列出的那些,正在被理解为。

大多数框架的通用基础。这并不意味着会有一套适合所有人的统一原则。

再次强调,文化、社区和国家在适当性方面各有不同。

但这确实意味着你的人工智能伦理原则的可能起点列表相对。

简短。好的,你如何让原则不仅仅是口号,就像我之前提到的那样?

首先,考虑你的人工智能伦理原则如何与更大组织价值观相连接。

如果你把自己定义为以客户为中心的公司,你在这方面是否真正以客户为中心。

你的人工智能倡议呢?如果你已公开承诺促进种族公正。

你能否识别它在你的人工智能业务应用和其他数据分析形式中的体现?

接下来,确保你在法律和伦理考虑方面有集中专长。

围绕人工智能以及每个人都认为自己有责任提问的文化。

伦理问题。再说一次,原则只有在组织内部广泛考虑时才有意义。

在开发和实施基于人工智能的系统的整个过程中。谢谢。你。

P13:12_模型选择入门.zh_en - GPT中英字幕课程资源 - BV1Ju4y157dK

鉴于有许多不同的机器学习算法。

我们如何决定在任何给定任务中使用哪种机器学习算法?现在在实践中。

我们通过查看不同机器学习方法在所谓的验证数据集上的表现来评估它们。

现在给定一个大型训练数据集,其中你有输入和。

为这个训练数据集中的所有条目输出标签。

验证的想法是将数据集划分为训练数据集。

并且有一个保留数据集将用于验证。我们在训练数据集上训练模型,一旦模型训练完成。

我们将使用训练好的模型对保留数据集进行预测。

然后我们评估预测的准确性。

所以如果一个模型的预测比另一个模型更准确。

那么这是我们更倾向的模型。

这种方法的另一种变体被称为交叉验证。

交叉验证的想法是将数据集分成多个部分。

例如,我们可能会将可用的数据集分成10个部分。

我们可能最初将第1部分作为我们的验证数据集。

并使用第2到第9部分来训练模型并。

我们在第1部分上测试模型,而第1部分是我们最初的验证数据集。接下来。

我们可能使用第2部分作为我们的验证数据集,并且,我们可能在第1部分、第3部分上训练我们的模型。

4,5,6等等。然后一旦模型训练完成,我们在第2部分上评估其性能。

我们会用每个小的验证数据集重复这个过程很多次。

这基本上就是交叉验证背后的想法。最终。

这里的共同主题是,给定一个大型训练数据集。

目标是从中创建一些部分或保留数据集,因此。

我们在其余数据上训练模型,并且。

我们在一个未用于训练模型的保留数据集上评估其性能。最后。

另一个重要问题是公司是否应该投资于。

更好的数据或更好的机器学习模型。两者都是有价值的投资,但在实践中,我们常常发现数据胜过方法。

微软研究人员Banco和进行了一项研究。

Brill在他们评估许多不同机器学习模型的性能时。

针对语言理解任务。他们为多个不同的机器学习模型创建了几个训练数据集。

在某些情况下,机器学习模型只能访问一个非常小的数据集。

数据集中大约只有五十万字。在其他情况下。

一个机器学习模型可以访问大量的数据集。

训练数据集中可以达到十亿个字。当他们评估这些不同机器学习模型的性能时。

他们发现不同机器之间的性能差异。

当学习方法或机器学习算法相对较小时。

与相同算法在更多与更少数据下的差异相比。简而言之。

给一个合理的机器学习算法大量数据是更好的选择。

而不是给一个好的机器学习算法提供很少的数据。

这是谷歌计算机科学家彼得·诺维克常提到的。

他称之为数据的非理性有效性。

这表明,一个好的起点是。

一家公司需要认真考虑数据资产和。

思考我们是否拥有高质量的数据,以便进行预测任务。

一旦这一点到位,确实值得调查哪个是。

针对当前任务的更好的机器学习模型,但通常一切都始于数据集。

[BLANK_AUDIO]。

P130:29_可解释的AI是什么.zh_en - GPT中英字幕课程资源 - BV1Ju4y157dK

使用AI系统的一个主要挑战与可解释性相关。

因此,AI的可解释性是指AI系统中使用的方法,解释算法为何得出这样的结果。

特定结果可以被人类专家轻松理解。

这与可解释性概念密切相关,即理解为什么。

算法是如何得出决策的。即使你能够。

它可能无法解释该逻辑。

这与通常关联的黑箱方法形成对比。

某些类型的更复杂的机器学习,特别是深度学习。

所以稍微对比一下,如果我们的决定是基于基本商业规则。

通常这些是容易解释的。我们是如何得出这个决定的?

哪些因素对得出该决定起了作用?一些更简单的机器学习模型。

基于决策树的模型,例如,相对容易解释。

可以查看决策树,基本上可以了解特定决策是如何得出的。

到底是如何得出决策的,哪些因素对决策起了作用。相反。

当我们考虑基于神经网络的深度学习模型时。

特别是基于大量数据的复杂模型,它们变得相对更难。

去解释。有时很难深入算法内部,理解导致这一结果的原因。

决策被做出。对于更复杂的模型,这存在一个主要的权衡:一方面,它们能够。

处理大量数据并做出非常准确的预测。但另一方面。

它们可能难以解释逻辑。因此,可解释性结果。

在许多背景下,这对采纳至关重要。当你考虑实施时。

即使模型非常准确,无法解释它是如何得出决策的,将成为采纳的主要障碍。

我们会讨论一些例子。但可解释性目前是AI中的一个关键举措。

这是关键的前沿。大型科技公司目前在这一问题上投入了大量资源。

政府也在努力,比如资助相关项目。

开发更好的可解释AI。[BLANK_AUDIO]。

P131:30_解释性重要的例子.zh_en - GPT中英字幕课程资源 - BV1Ju4y157dK

因此,可解释性再次是指能够解释或理解一个算法是如何得出结论的。

在特定决策中。为什么这如此重要?让我们谈谈一些算法中可解释性可能特别。

这非常重要。一个例子是应用于医学或人力资源领域时,决策是基于什么。

保护人们。围绕这些决策的制定有很多保护和指导方针。

所以我们必须考虑我们的算法如何融入这种法律框架中。

因此考虑人力资源领域,你有像平等就业机会委员会这样的机构。

规定了招聘和招聘公司类型的指导方针。

有某些HR实践规定了HR决策的制定方式。有许多法律在起作用。

很多HR法律框架要求能够非常清晰地记录如何做出决策。

该决定与晋升、招聘、解雇或其他招聘相关的行动有关。

因此,在这种情况下,当你为HR使用算法时,至关重要。

你必须非常清楚地理解这个算法是如何得出决定的,以便我们可以回顾。

重新审视这些决策,确保它们符合法律框架。

规定了这些决策的管理。

另一个例子是自动驾驶系统。因此,AI的另一个重要应用是在自动驾驶汽车中。

大量复杂的数据不断涌入。

在路上有很多决策是由旨在自动驾驶的车辆做出的。

你可以想象如果出现问题,比如发生事故或有人受伤。

在自动驾驶车辆的背景下,公司能够做到这一点非常重要。

回顾并准确理解出了什么问题,导致事故发生的原因,以及需要什么。

需要修复,也需要从公关角度能够解释问题所在。

出现问题的原因。出于这个原因以及其他原因,一些汽车公司。

在自动驾驶汽车领域,公司已经成为可解释AI及其应用方面的领导者。

让这些框架更加开放,并将其提供给其他公司。

另一个例子是数据隐私法。你可能听说过GDPR(一般数据保护条例)。

你可能听说过CCPA(加利福尼亚消费者隐私法案),与数据隐私相关。

一些新的隐私法规,比如GDPR,规定当算法做出决策时。

一旦做出决策,逻辑必须能够向决策相关的人解释。

因此,如果做出的决策影响到你,你。

人们有权要求对所涉及的逻辑给出有意义的解释。

这只有在所使用的算法是可解释的算法时才有可能。

所以我们正在考虑在符合该条例的背景下使用机器学习算法。

根据欧盟的全球数据保护条例,所使用的算法必须满足相关要求。

这些算法确实需要是可解释的,以便公司遵守这种立法。

最后一个例子就是客户服务方面。

你可以考虑金融贷款、医疗保健或其他贷款处理的背景。

如果客户前来,而你使用算法来决定是否批准贷款。

不是所有客户都符合贷款要求,这显然是你需要关注的事情。

想要能够解释,单单说某人通过或未通过筛选是不够的。

在贷款资格测试中,你希望能够准确反映出影响结果的因素。

这种决策类型需要大量背景信息,尤其是在做出影响决策的背景下。

人工智能系统的可解释性对于成功至关重要。

采用。[BLANK_AUDIO]。

P132:31_解释性与性能之间的权衡.zh_en - GPT中英字幕课程资源 - BV1Ju4y157dK

鉴于解释性对于AI的使用和采纳如此重要,为什么不直接制作。

每个模型都可解释吗?结果发现,性能之间通常存在权衡。

特别是在复杂的数据环境中,解释性显得尤为重要。

当你考虑使用解释性时,往往会有性能上的惩罚。

所以可以考虑算法的预测能力与。

它的解释性。因此,正如我们之前所讨论的,商业规则相对容易解释。

简单的决策树或线性模型是可以解释的。

但它们在预测能力上相对较有限,无法与像神经网络这样更复杂的应用相提并论。

随着我们接触到神经网络,它们具有更高的预测能力,但更难以解释。

当然,我们希望找到一种平衡点,也许是在拥有。

同时具备高度预测性和解释性的两个模型,但这些往往很难找到。

因此,当你考虑一个算法或算法的使用时。

通常情况下,你必须在精准度的问题上进行权衡。

我想要这个算法在预测中非常精确吗?

但我也许需要能够解释模型的作用和原因。因此,举个例子。

在贷款处理或医疗保健的情况下,如果我有一个非常具有预测能力的模型。

一个不具解释性的模型,可能是无法使用的。

所以这就是这两个因素之间的权衡。

这也从组织的价值观角度引出了一个困难的问题。

我如何考虑解释性在何种情况下比准确性更重要?

举个例子,在医疗保健的情况下,你可能会有一个非常准确的系统。

这是为人们推荐治疗的方法,这在过去非常准确。

但它又不具解释性,这对医生来说是一个显著的缺点。

以便能够向患者解释为什么做出这样的决策。

医生想要了解算法,如果他们的想法不一致。

或者算法正在推荐什么。因此,缺乏解释性是一个主要缺点。

所以在这样的上下文中,哪个更重要,使用算法的问题。

哪个更具解释性或更准确,这并不总是容易决定。

需要优先考虑。例如,有些情况下显然解释性并不重要。

如果你只是考虑预测用户点击或推荐是否购买。

或出售金融资产时,算法是否具有解释性可能不是那么重要。

这个决策并不是针对人们的,它们不会直接影响人。

所以这并不是那么关键。但对于像组织内部的晋升这样的事情。

这可能非常重要。因此在某些情况下,可解释性可能不那么重要。在这种情况下。

你可能想要优化预测准确性,但在某些情况下,这将非常重要。

然后你需要在这个上下文中做出艰难的取舍,考虑什么更重要。

以及你如何考虑在预测的精确度或性能与模型的可解释性之间取得平衡。

[沉默]。

P133:32_可解释AI的方法.zh_en - GPT中英字幕课程资源 - BV1Ju4y157dK

让我们谈谈正在采取的一些不同的方法。

使算法更具可解释性。所以我会谈谈几个方法。一个叫SHAP。

SHAP的全称是Shapley加法解释。SHAP背后的理念是,如果你有多个变量或数据类型。

用于进行预测的是什么,SHAP将告诉你。

关于每个变量在最终预测中有多重要的内容。

它将识别每个特征在预测中的重要性角色。

影响最终预测。

其目标是通过计算每个特征的贡献来解释实例的预测。

对于每个特征与预测之间的关系。所以它将基本上替换掉每个不同的。

特征以查看预测如何变化。

最终你得到的是每个特征重要性的某种指示。

特征是什么。你可以查看这些,并说:“好吧,当我考虑最终决策时。

这个特征,这个变量是真正重要的。" 从人口统计的角度来看。

如果考虑性别、年龄等因素。

它会告诉你哪些因素对最终决策最为重要。

预测可以让你了解哪些因素对结果重要。这就是SHAP。

一种方法叫做Lyme,本地可解释模型无关解释。

其思想是生成一个更简单的线性近似,以处理更复杂的边界。

你所处理的整个数据空间。所以想象一下你有一个空间。

你有很多很多客户,而你正在使用的模型是。

用于预测的模型在整个客户空间中确实很难解释。

Lyme的基本作用是缩小到一小部分可能相似的客户。

在那一小部分客户中相似,它将能够提供一种解释的方式。

对于那些客户,至少在那个小范围内,确切地说,决策是。

得到的结果是准确的,即使这可能不适用于更大的数据集。

所以你可以开始告诉人们,与那些与你相似的人相比,这。

这就是为什么你有些不同,以及这是如何得出决策的,预测。

模型得出的决策略有不同。这就是Lyme。

它提供用户界面,帮助使这些决策透明。

对受到影响的人。

第三种方法称为替代决策树。

这里的想法是生成一个决策树,这样更容易理解。

逼近更复杂的模型。因此,可以想象一个更复杂的模型,比如深度学习网络。

替代决策树的背后理念是创建一个模仿真实决策树的模型。

深度学习网络及其输出有很多种方式,但决策树是。

相比深度学习模型,它要更容易被解读。

因此,替代树可以用来以一种方式解释深度学习模型。

使得该模型的应用更加可解释。

另一种应用称为变分自编码器,这些变分自编码器将会。

将数据提炼成一些关键特征,而这些关键特征往往是。

比原始数据本身更具可解释性。因此,我们可以考虑原始数据输入后,预测结果输出。

模型。在这里有一个中间步骤,将数据简化为一组可解释的。

特征。因此,这也是公司们用来思考可解释AI的另一种方法。

因此,有多种不同的方法正在被用来使AI系统更加。

可解释的。不同的方法有不同的优缺点。

但现在这是一个非常活跃的领域,比如微软、IBM等。

很多公司在寻求将可解释性整合到他们的产品中。

如果你查看许多提供给客户的机器学习产品,来。

例如,在云计算中,许多公司提供可解释性或可解释的功能。

在模型输出方面,这将对采用而言至关重要。

许多行业背景。[BLANK_AUDIO]。

P134:33_解释性和法律.zh_en - GPT中英字幕课程资源 - BV1Ju4y157dK

透明性是负责任的人工智能中的核心概念之一。

有许多现有和提议的法律框架会要求某种形式的可解释性。

至少在某些情况下。如果人工智能系统是一个黑箱。

没有办法评估,比如说,决策是否基于不合法的因素。

比如某人的种族或性取向。更普遍地说。

很难评估出了什么问题,甚至是否真的出了问题。

现有的最突出法律可解释性模型是信用报告。

信用局在1960年代发展,是数据分析在经济中首次大规模应用的重大例子之一。

它们迅速成为像美国这样的国家消费者金融市场的必需品。

以及其他如招聘等领域,使用信用报告数据来获取候选人的其他指示。

但很明显,信用报告的权力意味着一个不准确的报告。

或者以歧视性方式使用它,可能会造成严重后果。在没有监管的情况下。

消费者无法评估他们的信用评分如何影响决策。

当1970年代美国的两部法律——《平等信贷机会法》(Equal Credit Opportunity Act,E。 Cola)通过时。

《公平信用报告法案》(Fair Credit Reporting Act,Ficro)对信用报告的法律可解释性施加了标准。

具体来说,这意味着企业必须在拒绝某人信用时发出不利行动通知。

这意味着要提供“主要原因”来说明决定。

他们不必列出每一个原因,也不需要给出算法的确切公式。

关于每个因素如何影响结果。但他们确实需要给客户一些指示,说明是什么驱动了不利的决定。

这给消费者提供了他们可以使用的信息,以便如果他们愿意,可以质疑该决定。

在他们认为基于某些错误或不当信息的情况下。

这可以在对公司没有不必要和不合理负担的情况下发生。

在某些情况下,政府规定具体的披露公式。例如。

美国的信用卡优惠必须包含一个所谓的“shoomer box”,这是要求该立法的参议员赞助的。

它以标准、受监管、易于理解的方式陈述利率和其他条款。

虽然目前尚无类似于人工智能系统的东西。

科技公司正在尝试类似的披露方式。

因为这再次给用户,甚至在某些情况下给其他开发者,提供了更容易理解发生了什么的机会。

例如,谷歌引入了一种名为模型卡的东西。

一种标准化的描述机器学习系统模型的方式。

而微软也有类似的叫做“数据集的数据表”。

“这又是一种标准化的信息披露方式,关于数据集的情况。

这些帮助识别源数据和构建模型所涉及的技术。

尽管并不一定要为每个内部专有AI系统设立类似机制。

某种标准化报告,至少要有机会向监管者披露。

即使不直接面向消费者,未来主要的AI系统似乎也可能如此。

再次强调,如果监管者不知道发生了什么,他们无法判断是否出了问题。

欧洲GDPR,即通用数据保护条例,尽管它主要是一项隐私法。

包括通常所描述的在有限情况下的解释权。

所以如果有完全自动化处理,换句话说。

机器学习或其他算法系统完全决定了一个人所经历的事情。

这会带来严重后果。结果可能是某人获得或未获得贷款、工作。

或某种法律后果。这个人会被提前释放吗?如果这些都属实。

然而,GDPR中有一些指示,系统实施者需要提供解释决策所依据的因素的信息。

不幸的是,这在实践中到底意味着什么并不明确。

GDPR中的语言有些笼统,需根据法律进行解释。

而且我们在实践中尚未有显著的案例法。

但它确实暗示了现有的欧洲法律,这同样适用于对任何地方的欧洲人收集的数据。

有一些依据要求提供解释。

而且这在未来可能会扩展。在美国。

至少有一起涉及休斯敦教师的联邦上诉法院案件,他们因基于学生测试分数的黑箱评估算法被解雇。

发现缺乏解释违反了教师们享有的宪法正当程序权利。

教师们无法挑战他们的解雇,因为他们只是知道这是基于算法的决定。

他们不知道算法是如何处理测试分数的。

这消除了在解雇决定不基于算法时他们所拥有的能力。

因此,法院表示他们的正当程序权利受到了侵犯。

算法必须被披露,或者其使用必须被消除。

这最终是该案件和解的结果。现在这在美国并不是法律。

但这表明在不同法律理论下,对解释要求的运动正在加速。

同样,在任何需要分配法律责任的情况下。

例如,涉及自主车辆的事故。

调查人员通常需要并能够访问计算机视觉系统的数据,以了解确切发生了什么。

系统是如何行为的,为什么?它认为自己在路上看到或没有看到什么?

因此,当发生事故调查后要求解释时,确实需要一种机制。

我之前提到的算法责任法案,是美国的一项提议法案。

欧盟的白皮书以及建议新人工智能立法的文件都提议在高风险人工智能系统部署前,必须提供正式的影响声明。

高风险指的是有可能导致非法歧视的系统。

如果出现问题,可能会导致伤害或重大的财务后果。在这些情况下。

算法影响声明将迫使公司或政府机构明确识别系统的工作方式。

与早期的信用报告法律一样,确切理解这些法律如何实施,以及在充分解释和公司所需灵活性之间找到适当平衡的道路还很漫长,特别是考虑到在技术上很难确切解释发生了什么。

例如,一个深度学习系统。但法律的确在朝这个方向发展。

所以当你有机会在内部更好地理解系统行为的解释时。

你应该尝试这样做。现在,一些关于这些算法影响声明的提案要求向公众披露。

但即使他们不这样做,公司可能仍需向监管机构证明他们采取了必要措施,并在影响评估中评估或解决可能的危害。

所以再次强调,如果可以的话,提前考虑你拥有的可解释性机制是值得的。

这些潜在的法律要求也会推动研究人员和供应商开发更好的可解释人工智能技术和工具。

目前有许多解决方案,但未来会有更多更好的解决方案。

人工智能的一大优势是它能够发现人类无法察觉的联系。然而。

更好地理解人工智能系统如何做出决策以及发生了什么,将惠及所有人。

与您交谈并分享关于人工智能、法律和伦理的见解,我感到非常高兴。

祝你在这个项目的其余部分以及在你的组织中实施这些技术时好运。

谢谢你。

P14:13_特征工程与深度学习简介.zh_en - GPT中英字幕课程资源 - BV1Ju4y157dK

嗨,我的名字是Prasana Thambay。

我是沃顿商学院OID系的教职员工。

我教授与分析和人工智能相关的课程,特别是在商业背景下的人工智能。

我在几个不同的领域进行研究,特别与技术经济学相关。

我对劳动市场以及人工智能在HR中的应用也特别感兴趣。

给定一组变量,机器学习算法旨在使算法学习映射。

在这些输入变量与算法要预测的内容之间。

所以想象一下你有一列变量或几列变量,并且。

你正试图用这些来预测某种输出。但是非结构化数据呢,对吧?

预测的重大革命确实是在于从非结构化数据中进行预测。

所以想想在线评论、声音或图片。

这些数据是如何转换为可以用于预测的列的?

某种结果?你如何从这些非结构化数据中提取信息。

将其转换为例如可以适合电子表格的格式,并且。

然后用这个来预测?当数据不是结构化时,当它们是非结构化的。

比如在线评论,你需要经过一个称为特征工程的过程。

特征必须从数据中构建。这意味着你需要从非结构化数据中提取。

你基本上是从那些非结构化数据中创建或编码单个特征。

这是一个耗时且通常相当具有挑战性的过程。

而且通常还需要相当多的领域专长。

这在许多方面都是机器学习中最困难的部分之一。

过程,而这正是数据科学家通常会花费大量时间的地方。

这可以在艺术和科学之间取得平衡。所以让我给你举个例子。

假设当前的任务是使用房地产列表中的图片来。

预测房屋价值。因此很多房子的图片,包括房子的不同房间和院子。

也许甚至是该地区的情况。你想利用那张图片中的数据生成某种预测。

房屋价值。因此你需要做的是获取这些图像,这些单独的图像。

并提取可能会用到的单个特征或数据。

你可能会用来预测房子价值的变量。

房子实际上值多少钱。

所以如果我们提取这些图像并提取你可能关心的特征。

当考虑房地产价值时,这将需要多种不同类型的知识。

这不仅仅是软件开发任务,因为你还需要了解。

房地产经纪人知道哪些重要的事情。你在寻找什么?

在房间和布局方面你在寻找什么?

在地块和地块风格方面,对吧?这些都需要一定的知识组合。

所以如果你考虑特征工程,在这种情况下。

这需要房地产经纪人的知识。同时也需要软件开发人员。

他们可以合作尝试从图像中提取这些信息。

一起坐下来,讨论一下,好吧,我们写点什么来提取。

这些图像的相关方面可能对预测房屋价值很重要。

但这涉及到相当多的猜测。这是一个耗时的任务。

你很可能会错过那些最终重要的关键特征。

用于预测房屋价值。

深度学习,我们接下来要谈的,解决了许多这些问题。[BLANK_AUDIO]。

P15:14_深度学习.zh_en - GPT中英字幕课程资源 - BV1Ju4y157dK

使用浅层机器学习或非深度学习方法时,观察到你可能会。

所谓的结构化特征会传递给一个算法,算法会学习最佳映射。

基于你提供的一些示例。所以把数据想象成像电子表格一样组织。

你有一个想要预测的结果,然后你有多个列。

你需要有关于预测因子的数据显示。你需要以这种格式拥有数据,其中有描述的结构化列。

你试图预测的数据。正如我们之前讨论的那样。

在处理非结构化数据时,需要特征。

工程步骤是将原始非结构化数据处理成这些特征。

将其转换为可以用来预测的格式,数据列。

一些输出。同样,需要花费相当多的工作来弄清楚如何处理这些原始非结构化数据。

以及生成这些列。如何选择合适的列。

如何实际创建给定的结构化数据列等。

所以发生的事情是工程师处理这些原始数据,创建这些特征,运行模型。

如果性能过大,无法接受,他们可能会尝试一组新的特征或只是。

当前模型中使用的特征。同样,需要大量领域专业知识。

如果你查看某些类型的数据,理解这些数据是什么非常困难。

提取正确的特征。尤其是对于某些类型的非结构化数据,如图像、声音、论文。

理解某些内容可能需要相当多的领域专业知识或关于知识领域的专业知识。

如何将这些原始非结构化数据转换为可用特征。

其中一个例子可能是医学诊断成像。

想象一张X光片,你试图理解如何使用这些数据来预测某人是否。

有某种病症。如果你想象一张X光片,并考虑你可能想要从中提取什么。

X光或该图像以预测某人是否有某种病症,需要大量专业知识。

需要特别的医学专业知识来理解你所看到的内容以及如何知道什么。

在该图像中值得识别的内容。

这可能与颜色阴影或图像的某些部分有关,或观察。

对于图像中出现的一些可能不常见的内容。

但需要具备大量医学专业知识的人才能知道这一点。

然后那个人需要与开发者合作,帮助理解如何处理一个。

这样的图像并提取相关数据。这是一个例子,你可能需要多种不同类型的专业知识。

处理原始数据,如医疗图像,并提取可以放入列的数据。

用于预测的格式。对于某种医疗结果。

比如一个人是否真的有病。而且,再一次,这需要领域专业知识。

它需要开发者时间。它需要大量资源。

这也可能非常容易出错,因为你可以提取的特征数量庞大。

图像的复杂性是巨大的。因此,确保你拥有正确的图像是一个固有易错的过程。

到错误。我们谈论深度学习。深度学习所做的就是消除了对特征提取的需求。

因此,在正常的机器学习工作流程中,你有某种输入数据,然后你。

有一个特征提取过程,人们必须坐下来弄清楚要使用哪些特征。

从输入数据中提取出数据,以便将其放入那种列式的电子表格格式中。

然后可以用于预测,然后你得到你的输出。当你使用深度学习时。

你跳过特征提取步骤。深度学习将使我们能够直接从这种原始非结构化输入数据中进行。

以做出对我们有价值的预测。

那么,深度学习为什么是一个颠覆性的游戏规则?原因在于这个特征工程步骤特别昂贵。

再次,它需要大量领域专业知识。容易出错。高度不确定。

因此,当我们能够使用深度学习跳过特征工程步骤时,它。

相对于我们必须手动编码的过程,这可以带来巨大的改进。

或手动选择要使用的特征。我们将讨论的价格是计算。

但计算成本在下降,使深度学习在各种应用中变得更加可行。

这将使我们能够在规模上对非结构化数据进行预测。因此,再一次。

想想图像或在线文本,如评论或客户满意度表,健康数据,音频。

等等。因此,对于任何预测或分类任务。

这将是一个替代的应用。

越来越多的数据与标记示例的专业知识。

我们不再需要手动编码或提取特征所需的领域专业知识,因为。

我们有大量的数据可以让机器学习。

这部分本身。所以这里有几个例子。例子一是图像识别之类的。

所以如果你想要一种能够基本上识别面孔的软件,这就是一个例子。

你可以直接使用原始图像数据来训练它识别面孔,而无需。

去识别,比如说人们的。

眼睛或面部宽度的长度。你不需要做任何这些。

你可以直接使用标记的原始图像数据。

与合适的人合作,它将基本上学会自动识别人。

另一个例子是检测假新闻。你怎么判断一则新闻是假的还是实的?

需要特征工程的过程可能需要你坐下来尝试理解。

或者找出消息或新闻帖子中可能表明某些东西是假的内容。

这很难做,假新闻的真实性正在越来越好。

深度学习将使我们能够处理大量的新闻示例。

我们不需要知道在预测中什么是重要的,只需原始新闻帖子本身。

关于它是否是假的或真实的标签,并且给了这两个信息。

深度学习引擎将找出帖子中相关的信息。

判断某些东西是否是假的,我们不需要告诉它那部分。

第三个例子是,识别奢侈品的仿制品。

你拥有奢侈品的图像,而你正在尝试开发某种东西来判断是否。

或者它是否真实,或者是否伪造。

在这种情况下,你可能会拥有大量特定产品的图像。

产品,可能是一条围巾或一个包,以及是否该产品是真品的标签。

我们不需要坐在那里告诉机器学习引擎在图像中寻找什么。

我们只是给它输入大量的图像和正确的答案,标签,以及这些。

在这种情况下,深度学习引擎可以自动找出答案。

图像中可能表明某些东西是仿制品或伪造品的内容是什么。

它是否真实。谢谢。[沉默]。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.ryyt.cn/news/73329.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈,一经查实,立即删除!

相关文章

沃顿商学院全套笔记-三十三-

沃顿商学院全套笔记(三十三) 沃顿商学院《实现个人和职业成功(成功、沟通能力、影响力)|Achieving Personal and Professional Success》中英字幕 - P8:7_成功的两面.zh_en - GPT中英字幕课程资源 - BV1VH4y1J7Zk When you unpack the word success for the first time,…

沃顿商学院全套笔记-三十二-

沃顿商学院全套笔记(三十二) 沃顿商学院《实现个人和职业成功(成功、沟通能力、影响力)|Achieving Personal and Professional Success》中英字幕 - P68:4_从德梅洛获取的启示.zh_en - GPT中英字幕课程资源 - BV1VH4y1J7Zk What can we learn about power and influence …

沃顿商学院全套笔记-三十-

沃顿商学院全套笔记(三十) 沃顿商学院《实现个人和职业成功(成功、沟通能力、影响力)|Achieving Personal and Professional Success》中英字幕 - P37:9_建立信任-脆弱性.zh_en - GPT中英字幕课程资源 - BV1VH4y1J7Zk We often think that once we trust somebody, we c…

10.18 %你赛总结

10.18 日模拟赛总结 T1 一维围棋 思路 由于本人太蒟了,不会 \(O(n)\)。求教。 简单题目。首先,看到数据范围 \(|s| \le 100\),于是得到可以有 \(O(n^4)\) 做法。先 \(O(n)\) 枚举 \(s_i\) 对于是 . 的位置变成 W。然后 \(O(n^2)\) 枚举修改后的数组的每个子串,对于 \([l,r]…

帆软报表-数据权限控制与实现

1、组织表设计(同数据库设计)工号用户名监管机构code监管机构名大区code大区名区域code区域名机构等级机构.S(user_code)机构.G(user_name)机构.G(org1_code)机构.G(org1_name)机构.G(org2_code)机构.G(org2_name)机构.G(org3_code)机构.G(org3_name)机构.G(level)2、登陆人信…

VMware Data Services Manager 2.1 - 数据库管理和数据服务管理

VMware Data Services Manager 2.1 - 数据库管理和数据服务管理VMware Data Services Manager 2.1 - 数据库管理和数据服务管理 在 vSphere 环境中按需配置和自动管理 PostgreSQL 和 MySQL 数据库 请访问原文链接:https://sysin.org/blog/vmware-data-services-manager/ 查看最…

Eclipse Symphony

Eclipse Symphony 是一个Eclipse 基金会下的多功能的开源工具链协调器,旨在将各种边缘软件和硬件堆栈无缝集成为一个完整的端到端体验。它允许开发者和采用者在不进行任何更改的情况下使用他们当前的系统,并将这些分散的系统统一为一个连贯的整体。Symphony 是一个基于标准的…

读数据工程之道:设计和构建健壮的数据系统13无服务器

无服务器1. 无服务器 1.1. 云供应商的一个大趋势是无服务器,允许开发人员和数据工程师无须在后台管理服务器即可运行应用程序1.1.1. 无服务器快速将价值投入到其正确的用例1.2. 无服务器真正开始流行是在2014年AWS Lambda全面投入使用之后1.2…