Внутренний тайлан Сиэтлийн 911 дуудлагад хиймэл оюун ашиглахтай холбоотой эрсдэлийг анхааруулсан ч анхаарал хандуулаагүй

Бурхан жилийн өмнө Сиэтлийн засгийн газрын нэгэн технологийн ажилтан хотын Галын албанд хиймэл оюун ухааныг 911-ийн эмнэлгийн дуудлагад ашиглах туршилт тэгш байдлын эрсдэл дагуулна гэж анхааруулжээ.

Тэрээр хиймэл оюун ухаан арьс үндэс, хүйс зэрэг шинж чанарт суурилсан ялгаварлалыг үргэлжлүүлэх эсвэл нэмэгдүүлж болзошгүйг харуулсан судалгаануудтай танилцсан бөгөөд ийм ялгаварлал амь насыг шийдвэрлэх шийдвэрт нөлөөлж болзошгүйд санаа зовжээ. Тиймээс тэрээр 2019 онд нэмэлт эрсдэлийг бууруулах арга хэмжээ зөвлөж, тэр дундаа албанаас олон нийтэд мэдээлэл хүргэх төлөвлөгөөтэй байхыг санал болгосон.

Эдгээр зөвлөмжүүд бараг хэрэгжээгүй бололтой.

Үүний оронд Галын алба хожим 911-ийн эмнэлгийн дуудлагыг шинжилж, эрэмбэлэхэд хиймэл оюун ухаан ашиглаж эхэлсэн боловч дуудлага хийгчдэд мэдэгдэлгүй, олон нийтийн хяналтгүй, олон янзын дуудлага хийгчдэд тэгш үйлчилнэ гэдгээ нотлоогүй байжээ.

2023 оноос хойш хиймэл оюун ухаан Сиэтлийн бүх 911-ийн эмнэлгийн дуудлагыг “сонсож”, диспетчерт аль дуудлагад шуурхай хариу арга хэмжээ шаардлагагүйг шийдэхэд тусалж байна.

Технологи нь зарим 911-ийн өвчтөнийг шууд тусламж илгээхийн оронд Техасын эмнэлгийн зөвлөгөөний утсанд (nurse line) чиглүүлэхийг диспетчерт зөвлөдөг. Эмнэлгийн утсаар захиалсан түргэн тусламжийн машин Сиэтлийн хариу өгөх хугацааны стандартаас чөлөөлөгдсөн байдаг. Нэг тохиолдолд, Галын алба хиймэл оюун ухааны зөвлөмж ашиглаж эхлэхээс өмнө эмнэлгийн утсанд чиглүүлэгдсэн нэг эмэгтэй 10 гаруй цаг хүлээсний эцэст нас барсныг олжээ.

Дуудлага хийгчид Галын албаны хиймэл оюун ухааны хэрэглээг Seattle Times сонинд 6-р сард гарсан мэдээ гарах хүртэл мэдээгүй байжээ. Тэр үед Хотын дарга Кэти Вилсон хотын захиргаа Сиэтлийн агентлагууд хиймэл оюун ухааныг хэрхэн ашиглаж байгааг үнэлэх “хүрээ боловсруулж байгаа” гэж хэлсэн. Хотын зөвлөл саяхан энэ асуудлаар сонсгол хийсэн.

Дараа нь Times сонин олон нийтийн мэдээлэл авах хүсэлтээр хотын тэгш байдлын талаарх олон жилийн өмнөх санаа зовнилыг мэдсэн.

Галын албаны удирдлагууд 911-ийн системээ аюулгүй гэж үздэг, учир нь бүх дуудлагыг хүний диспетчерууд хянаж, тэгш байдлаар зохицуулах сургалт авсан гэж хэлдэг.

Гэвч 2019 онд хиймэл оюун ухааны асуудлыг анх дэвшүүлсэн технологийн ажилтан болон хэд хэдэн бие даасан шинжээчид системийн талаар эргэлзээтэй хэвээр байгаагаа хэлж байна. Тэд эрсдэлийн бүрэн үнэлгээ хийж, олон нийтэд танилцуулах хүртэл Галын алба амьд 911-ийн дуудлагад хиймэл оюун ухаан ашиглахаа зогсоох ёстой гэж үзэж байна.

“Энэ бол би болон бусад хүмүүс удаан хугацаанд санаа зовсон асуудал” гэж Вашингтоны их сургуулийн компьютерийн хэл шинжлэлээр мэргэшсэн профессор Эмили Бендер хэлэв. “Яриа таних технологи бүх хэлний хувилбарт адил сайн ажилладаггүйг бид мэднэ.”

Вилсон энэ нийтлэлд зориулсан ярилцлага өгөхөөс татгалзсан.

“Хотын дарга Вилсон хиймэл оюун ухааны алгоритмуудын олон нийтэд үзүүлэх ялгаатай нөлөөд ихээхэн санаа зовдог бөгөөд энэ талаар SFD-тэй хамтран ажиллаж байна” гэж Вилсоны хэвлэлийн төлөөлөгч Ансел Херц өнгөрсөн долоо хоногт имэйлээр бичсэн бөгөөд Сиэтлийн засгийн газрын хиймэл оюун ухааны бүх хэрэглээний талаар 2027 оны эхээр олон нийтэд шинэчилсэн мэдээлэл өгөхөө амлажээ.

Ерөнхийдөө Вилсон “хэрэглэгчдийн хувийн нууцыг хамгаалж, оршин суугчдад илүү сайн үйлчлэхийн тулд хиймэл оюун ухааныг сайтар бодож, хязгаарлалттай нэвтрүүлэх нь урагшлах зам мөн” гэдэгт итгэдэг.

Хяналтын байгууллагын 2019 оны санаа зовнил

Джинжер Армбрустер 2019 онд Сиэтлийн хувийн нууцын ерөнхий ажилтан байсан бөгөөд хотын Мэдээллийн технологийн хэлтэст ажиллаж байхдаа Галын алба хиймэл оюун ухаан нэвтрүүлэхээр төлөвлөж байгааг мэдсэн юм. Армбрустер өнгөрсөн сард өгсөн ярилцлагадаа хэлснээр,

Дани улсын Corti компани тус албанд шинэ 911 дуудлага хүлээн авах платформ бүтээж байсан бөгөөд Галын алба дуудлагын чанарыг хянахын тулд Corti-ийн хиймэл оюун ухааныг ашиглахыг хүссэн байна. Түүнд энэ нь амь насанд аюултай дуудлагууд биш, дууссан дуудлагуудыг хянах туршилтын төсөл гэж хэлсэн байна.

Туршилтын төсөл байсан бөгөөд хот шинэ технологийг үнэлэх арга барилаа боловсруулж байсан тул энэ төсөл Сиэтлийн үйлчилгээ худалдан авах ердийн журмаар явагдаагүй, бүрэн технологийн үнэлгээ хийгдээгүй гэж Мэдээллийн технологийн хэлтэс мэдэгдсэн.

Энэ нь магадгүйгээс бага хяналттай байсан. Хожим хот цагдаагийн 911 дуудлагад Corti программ хангамжийг ашиглахыг авч үзэхэд хяналтын технологийн тодорхойлолтын тайлан олон нийтэд нийтлэгдэж, зөвлөлийн гишүүдэд товч мэдээлэл өгсөн байна.

Гэсэн хэдий ч Армбрустер 2019 онд Галын албаны хиймэл оюун ухааны төслийг судалсан. “Хувийн нууцын эрсдэлийн шинжилгээ”-ний санамжид тэрээр мэдээллийн эзэмшил, хуваалцах, зөрчил, тэгш байдалтай холбоотой асуудлыг тодорхойлжээ.

Хиймэл оюун ухааны загварууд “үйлчилгээ үзүүлэх, дуудлагад хариу өгөх тэгш байдлын талаар иргэний эрхийн асуудал үүсгэж болзошгүй” гэж Армбрустер бичсэн байна. Тэдний шийдвэрт хэл яриа, аксент, хөгжлийн бэрхшээл нөлөөлж болзошгүй гэжээ.

Эрсдэлийг бууруулах арга хэмжээ болгож Армбрустер Галын албанд Corti төслөө арьс үндэс, нийгмийн шударга ёсны үнэлгээгээр шалгахыг зөвлөсөн. Мөн тэрээр тус алба “олон нийтийн удирдагчидтай хамтран энэ технологийн хэрэглээг баталгаажуулж, олон нийтэд таниулах” ёстойг санал болгосон.

Эцэст нь Армбрустер тус алба “судалгаа, жишиг тохиолдол, технологийн ашиг тус, хэрэглээний бодит жишээгээр баримжаа бүхий баримт бичгээр хэвлэл мэдээлэл болон олон нийтийн асуулгад бэлтгэх” ёстойг зөвлөсөн.

Галын албаны удирдлагууд 2019 оны Corti-тай байгуулсан өгөгдлийн гэрээгээр түүний санаа зовнилыг хэсэгчлэн шийдсэн. Тэрээр тэгш байдлын талаарх санаа зовнилынхоо хариуг хэзээ ч авч байгаагүй гэжээ.

Хэдийгээр албанд дагаж мөрдөх хатуу шаардлага байгаагүй ч Армбрустер 2023 онд, албаны хөтөлбөрт хиймэл оюун ухаан дуудлагад хэрэглэж эхэлсэн үед түүнтэй дор хаяж дахин зөвлөлдөх ёстой байсан гэж үзэж байна.

“Анхны хэлэлцүүлэг амьд өгөгдөлтэй ямар ч холбоогүй байсан” гэж тэрээр өнгөрсөн сард хэлсэн бөгөөд энэ нь түүний санаа зовнилыг улам нэмэгдүүлэх байсан.

Галын албаны үзэл бодол

2019 оны санамжийн талаар асуухад Галын алба хиймэл оюун ухааны хэрэглээтэй холбоотой тэгш байдлын эрсдэлийг бууруулах арга хэмжээ авсан эсэхэд шууд хариулаагүй. Харин хэвлэлийн төлөөлөгч Кристин Хэнсон ерөнхий арга барилуудыг тодорхойлсон.

Хэнсоны хэлснээр албаны диспетчерүүд албаны эмнэлгийн захирлын хяналтан дор боловсруулсан дуудлага хүлээн авах журмыг ашигладаг. Диспетчерүүд нь галын ажилтнууд бөгөөд хиймэл оюун ухааны зөвлөмж авсан ч эмнэлгийн 911 дуудлагын шийдвэрийг өөрсдөө гаргадаг хэвээр байна.

Хэнсоны хэлснээр диспетчерүүд муж улсын гэрчилгээний хөтөлбөрийг хамран 911 дуудлагад хариулах тусгай сургалт авдаг. Мөн тэд хөгжлийн бэрхшээлтэй болон англи хэлнээс өөр хэлээр ярьдаг дуудлага хийгчдэд үйлчлэхэд туслах зорилготой муж улсын 911 зохицуулах газрын журмыг дагадаг.

Хэнсон нэмж хэлэхдээ тус алба Сиэтлийн арьс үндэс, нийгмийн шударга ёсны санаачилгын “сэтгэл санааг хүндэтгэдэг” бөгөөд далд ойлголтыг бууруулах, үйлчилгээнд саад хаах ажлаа эрчимжүүлсэн.

Галын алба Дани улсын судалгаанд тулгуурлан 2023 онд Corti-ийн хиймэл оюун ухаан нас, хүйсээс үл хамааран яаралтай дуудлагад цус харвалтыг хүний диспетчерээс илүү сайн илрүүлдэг болохыг харуулсныг дурдаж байна (Сиэтлийн Галын албаны эмнэлгийн захирал тэр судалгааны хамтран зохиогч байсан). Гэвч тэд Corti-ийн хиймэл оюун ухаан, эмнэлгийн утсаар чиглүүлэх, тэгш байдал эсвэл угсаатны гарал, аксент зэрэг шинж чанаруудын талаарх судалгаагаа нийтлээгүй байна.

Хэнсон UW Medicine нь Галын албаны хиймэл оюун ухаан болон эмнэлгийн утасны хэрэглээнд холбогдох үнэлгээ хийж байгааг тэмдэглэв. Тус алба болон UW Medicine хоёул дэлгэрэнгүйг эсвэл дуусах ойролцоо хугацааг хуваалцаагүй байна.

“Сиэтлийн 911 системийн ажиллагаанд олон нийтийн сонирхол тавигдаж байгаа нь талархалтай. Олон нийтийн хяналт заримдаа таатай бус байж болох ч систем сайжрахын тулд чухал” гэж Хэнсон Times-ийн асуултад хариулахдаа бичсэн.

Хэнсон нэмж хэлэхдээ Галын алба саяхан Мэдээллийн технологийн хэлтэст Corti платформынхоо хувийн нууцын хойшлуулсан үнэлгээг хийхийг хүссэн байна.

Corti нийтлэлд холбогдох хүсэлтэд хариу өгөөгүй.

Шинжээчдийн үзэл

Вашингтоны их сургуулийн Бендер Corti шиг хэл загвар, хөгжлийн бэрхшээл, аксент эсвэл стрессээс шалтгаалан ярианы хэв маяг өөр байдаг дуудлага хийгчдэд бага сайн ажиллах вий гэдгээс санаа зовдог гэжээ.

Мичиганы их сургуулийн технологи, шинжлэх ухаан, бодлогын хөтөлбөрийг удирддаг профессор Шобита Партасарати Бендертэй санал нэгджээ. Хиймэл оюун ухааны загварууд оюун ухаан болон хөгжлийн бэрхшээлтэй хүмүүсийн яриаг ойлгоход бэрхшээлтэй байдгийг судалгаанууд харуулсан гэж Партасарати хэлэв.

UW-ийн судлаачдын 2022 оны Microsoft-ийн яриа таних системийн судалгаанд Вашингтон дахь янз бүрийн ярианы хүмүүсийн гүйцэтгэлийг шинжилжээ. Тэд хар арьст болон уугуул ярьдаг хүмүүст цагаан арьстнуудтай харьцуулахад илүү өндөр алдааны түвшин илэрсэн.

Corti өөрсдийн загварууд эмнэлгийн яриан дээр сургагдсан тул илүү сайн гэж үздэг. Гэсэн хэдий ч Corti-ийн хиймэл оюун ухаан аксенттай тулгарсан нотолгоо байдаг.

“Хэрэв танд Сиэтлээс 911 руу залгаж буй хүмүүсийн сонгосон ярианы дээж дээр сургагдсан загвар байсан ч энэ нь зарим хүмүүсийг бусдаас илүү төлөөлөх болно” гэж Бендер хэлэв.

Хиймэл оюун ухааны загвар ердийн бус ярианы хэв маягтай хүмүүст муу ажиллах эрсдэл Сиэтлийн 911 системд улам нэмэгдэж болзошгүй, учир нь энэ технологийг Галын албаны эмнэлгийн утсыг тэжээхэд ашиглаж байна.

Эмнэлгийн утсыг ихэвчлэн эмнэлгийн үйлчилгээнд хялбар хүрч чадахгүй хүмүүс, тэр дундаа орон гэргүй хүмүүс болон тусгаарлагдсан өндөр настнууд 911 руу залгахад ашигладаг. Тэд илүү эмзэг байж, ойлгоход хэцүү байж болно гэж Бендер хэлэв.

Ялангуяа 911 дуудлага шиг ноцтой нөхцөлд “Загварууд хүмүүсийн ярианы хэв маяг эсвэл залгаж буй хороо зэрэг хүчин зүйлд үндэслэн ялгаварлахгүй байхаар ажиллаж байгааг сайтар шалгах хэрэгтэй” гэж Вашингтоны Иргэний эрхийн холбооны (ACLU) технологийн бодлогын захирал Ти Сэннон хэлэв.

Галын албаны диспетчерүүд хяналтанд байгаа ч автомат зөвлөмжүүд тэдний сонголтод “нөлөөлөх” гэж Бендер нэмж хэлэв.

Хүмүүс машиныг хэдийгээр тийм биш байсан ч объектив, ухаантай гэж үздэг гэж Бендер хэлэв. Тэрээр 2021 онд том хэл загварууд юу болж байгааг ойлгохгүйгээр статистик ашиглан хүний ярианыг дуурайдаг талаар “стохастик тоть” гэдэг нэр томьёог анх бий болгосон.

Судалгаанаас харахад “Хиймэл оюун ухаан ийм зөвлөмж өгөхөд хүн бие даасан дүгнэлтэдээ итгэх магадлал буурдаг” гэж Партасарати хэлэв.

Бендер Галын албаны технологийн хэрэглээ буруу зүйл тохиолдоход хариуцлагын асуултыг бүрхэж болзошгүйд санаа зовдог.

Тэр Армбрустерийг 2019 онд тэгш байдлын асуудлыг дэвшүүлсэнд талархаж байгаа ч хотын захиргаа эдгээр асуудлыг шийдвэрлэхэд хангалттай ажил хийгээгүй юм шиг санагдаж байгаад санаа зовж байна, ялангуяа 2023 онд амьд 911 дуудлагад автомат зөвлөмж ашиглаж эхлэхээс өмнө.

“Хэрэв энэ нь бодит цагт ашиглагдаж байвал бүр ч дордоно” гэж тэр хэлэв.

Юу хийх ёстой вэ

Тэгш байдлын эрсдэлийг арилгахын тулд шилдэг туршлага бол зөвшөөрсөн оролцогчдоос ардчилсан мэдээлэл цуглуулж, технологи бүлгүүдэд хэрхэн ажиллаж байгааг үнэлж, үр дүнгийн талаар ил тод байх явдал гэж Бендер хэлэв. Ийм үнэлгээ хийх амар биш ч нууц ч биш гэж тэр хэллээ.

“Хэрэв Галын алба энэ нь сайн ажиллаж байна гэж хэлбэл” гэж Бендер хэлэв, “Сиэтлийн оршин суугчид “За, тэгвэл батлаач” гэж хэлэх нь зохистой.”

Бендер болон Партасарати хоёр нэг мөр, албан галын хиймэл оюун ухааны технологийг бүрэн нэвтрүүлэхээс өмнө олон нийтийн үнэлгээ хийгдсэн байх ёстой байсан гэжээ.

“Үнэлэх цаг нэлээд өмнө байсан” гэж Партасарати хэлэв.

Олон нийтийн аудит хийгдэх ёстой гэж Сэннон хэлэв. Үнэлгээ хийгдэж, оршин суугчдын итгэлийг олж авах хүртэл Сиэтл Corti-ийн шууд зөвлөмжийг түр зогсоох ёстой гэж Сэннон, Армбрустер, Бендер, Партасарати нар хэлэв.

Армбрустер Галын алба хиймэл оюун ухааныг 911 системээ илүү үр дүнтэй, хурдан болгох сайн санаатай нэвтрүүлсэн гэж үзэж байна.

Тэрээр 2019 онд дэвшүүлсэн тэгш байдал, ил тод байдлын асуудлыг завгүй албан тушаалтнууд төлөвлөгөөгөө урагшлуулах явцад орхигдуулсан, журам өөрчлөгдөж, мэдлэгтэй хүмүүс ирж, явсан гэж үзэж байна.

“Туршилтын төслүүдэд энэ нь ховорхон биш тохиолддог” гэж 2025 оны 9-р сард хувийн нууцын ерөнхий ажилтны албан тушаал татан буулгагдсаны улмаас ажлаасаа гарсан Армбрустер хэлэв. “Ийм зүйлс ямар ч эзэнгүй орон зайд үлддэг.”

Энэхүү мэдээллийг Microsoft Philanthropies хэсэгчлэн санхүүжүүлсэн. The Seattle Times энэ болон бүх мэдээллийн редакцийн хяналтыг хадгалдаг.

Дэниел Бикман: 206-464-2164 эсвэл dbeekman@seattletimes.com. Дэниел Бикман The Seattle Times-ийн сурвалжлагч бөгөөд улс төр, нийгмийн асуудлыг хамруулж, засгийн газрын шийдвэрүүд Вашингтоны олон хүмүүст хэрхэн нөлөөлдгийг тайлбарладаг.